اینتل اولین بهروزرسانی نرمافزاری خود را برای پروژه Battlematrix، ابتکار متمرکز بر ایستگاههای کاری هوش مصنوعی، منتشر کرده است. این بهروزرسانی شامل LLM Scaler 1.0 است، یک پشته نرمافزاری مبتنی بر لینوکس که برای بهینهسازی عملکرد بارهای کاری هوش مصنوعی بر روی پردازندههای گرافیکی Arc Pro B-series اینتل در ایستگاههای کاری چند GPU طراحی شده است. ایستگاههای کاری Project Battlematrix با پردازندههای Xeon، حداکثر هشت GPU و تا 192 گیگابایت VRAM عرضه میشوند و قیمت آنها بین 5000 تا 10000 دلار است.
LLM Scaler 1.0 بر توانمندسازی اولیه مشتری تمرکز دارد و شامل بهینهسازیهایی برای انواع مختلف مدلهای هوش مصنوعی، از جمله رمزگشایی حدسی و torch.compile است. این نرمافزار بهبودهای قابل توجهی در عملکرد، مانند افزایش سرعت تا 4.2 برابر برای طولهای ورودی بلند و بهبود 10 درصدی توان خروجی، ارائه میدهد. همچنین، کوانتیزاسیون آنلاین لایهبهلایه برای کاهش نیازهای حافظه GPU برای LLMها اضافه شده است. پشتیبانی از مدلهای embedding و rerank، پشتیبانی بهبود یافته از مدلهای چندگانه و موازیسازی دادهها نیز گنجانده شده است.
اینتل ابزار بنچمارک OneCLL و یک مدیر XPU را نیز در این نسخه قرار داده است. اینتل برنامههایی برای انتشار نسخههای مقاومسازی شده و کاملتر LLM Scaler در سهماهههای سوم و چهارم دارد و قابلیتهای بیشتری مانند SRIOV و VDI نیز در آینده اضافه خواهند شد. این انتشار زودتر از موعد مقرر اولیه صورت گرفته است.
- کولبات
- مرداد 24, 1404






