Intel releases new software for GPU-powered Project Battlematrix workstations — Arc Pro B-series GPUs get LLM Scaler 1.0 software to optimize performance in AI workloads | Tom's Hardware

اینتل نرم‌افزار جدیدی را برای ایستگاه‌های کاری Project Battlematrix مجهز به GPU منتشر کرد

اینتل اولین به‌روزرسانی خود را برای بخش نرم‌افزاری پروژه Battlematrix معرفی کرده است. پشته نرم‌افزاری جدید و بهینه‌سازی شده برای استنتاج این شرکت، هماهنگی بارهای کاری هوش مصنوعی را بر روی پردازنده‌های گرافیکی Arc Pro B-series این شرکت در ایستگاه‌های کاری چند GPU بهینه می‌کند. این مجموعه شامل یک LLM Scaler مبتنی بر لینوکس برای جریان‌های کاری استنتاج هوش مصنوعی است.

پروژه Battlematrix یک ابتکار متمرکز بر هوش مصنوعی از اینتل است که برای ارائه ایستگاه‌های کاری هوش مصنوعی بسیار توانمند و مجهز به اینتل به بازار طراحی شده است. این پروژه سخت‌افزار و نرم‌افزار اینتل را ترکیب می‌کند تا یک راه‌حل ایستگاه کاری منسجم شامل چندین پردازنده گرافیکی Arc Pro B-series در یک سیستم واحد ایجاد کند. ایستگاه‌های کاری Project Battlematrix با پردازنده‌های مرکزی Xeon، حداکثر هشت پردازنده گرافیکی و حداکثر 192 گیگابایت VRAM کلی عرضه خواهند شد، با قیمتی برای ایستگاه‌های کاری هوش مصنوعی ‘Project Battlematrix’ که از 5000 تا 10000 دلار متغیر است.

قدرت‌بخش این سیستم‌ها Arc Pro B60 است که همتای ایستگاه کاری Arc B580 اینتل با حافظه بیشتر و پشتیبانی از PCIe 5.0 می‌باشد. Pro B60 دارای 20 هسته Xe، 24 گیگابایت حافظه GDDR6، 160 موتور XMX، پشتیبانی از PCIe 5.0، پشتیبانی از چند GPU و TDP متغیر (از 120 تا 200 وات) است.

پشتیبانی از ایستگاه‌های کاری Project Battlematrix یک راه‌حل لینوکس کانتینری شده کامل و تأیید شده است که شامل هر آنچه برای راه‌اندازی سریع و آسان سرورها لازم است، خواهد بود. LLM Scaler تنها یکی از چندین کانتینری است که اینتل برای راه‌حل لینوکس کانتینری شده کامل خود در حال توسعه آن است.

LLM Scaler نسخه 1.0 در GitHub بر “توانمندسازی اولیه مشتری” تمرکز دارد و شامل بهینه‌سازی‌هایی برای چندین نوع مدل هوش مصنوعی، و همچنین پشتیبانی از ویژگی‌های اضافه شده، از جمله رمزگشایی حدسی (speculative decoding) و torch.compile است. ده بهینه‌سازی و ویژگی در نسخه 1.0 گنجانده شده است.

طول ورودی‌های بلند TPOP تا 1.8 برابر سریع‌تر برای طول‌های متوالی 40K در مدل‌های 32 میلیارد KPI و تا 4.2 برابر سریع‌تر برای طول‌های متوالی 40K در مدل‌های 70 میلیارد KPI هستند. بهبود عملکرد توان خروجی 10 درصدی برای مدل‌های هشت میلیارد تا 32 میلیارد KPI اضافه شده است.

کوانتیزاسیون آنلاین لایه‌به‌لایه برای کاهش نیازهای حافظه GPU برای LLMها اضافه شده است. پشتیبانی از مدل‌های embedding و rerank، پشتیبانی بهبود یافته از مدل‌های چندگانه، تشخیص خودکار حداکثر طول، و موازی‌سازی داده‌ها، علاوه بر رمزگشایی حدسی و torch.compile که قبلاً ذکر شد، اضافه شده است.

اینتل همچنین فعال‌سازی ابزار بنچمارک OneCLL را در نسخه 1.0 اضافه کرده است، و همچنین یک مدیر XPU که دارای قابلیت به‌روزرسانی فریمور، نظارت بر توان GPU و پهنای باند حافظه، و قابلیت‌های تشخیص GPU است.

اینتل همچنین اعلام کرد که نسخه مقاوم‌سازی شده LLM Scaler خود با قابلیت‌های بیشتر تا پایان سه‌ماهه سوم منتشر خواهد شد، در حالی که انتشار مجموعه کامل ویژگی‌ها برای سه‌ماهه چهارم برنامه‌ریزی شده است.

LLM Scaler از نظر فنی زودتر از موعد مقرر منتشر شده است؛ اینتل قبلاً وعده داده بود که اولین استقرار کانتینرهای آن در سه‌ماهه سوم و نه سه‌ماهه دوم خواهد بود. با این حال، توسعه‌دهندگان اینتل هنوز کارشان تمام نشده است. اینتل وعده قابلیت‌های بیشتری از جمله SRIOV، VDI و استقرار نرم‌افزار مدیریت را داده است که در سه‌ماهه چهارم عرضه خواهند شد.