استارتاپ d-Matrix فناوری حافظه سهبعدی پشتهای 3DIMC را معرفی کرده که ادعا میکند در استنتاج هوش مصنوعی (AI inference) تا ۱۰ برابر سریعتر و کارآمدتر از HBM است. این فناوری محاسبات درون حافظهای، گلوگاه حافظه در مدلهای هوش مصنوعی را هدف قرار میدهد. d-Matrix نمونه اولیه Pavehawk را در آزمایشگاه فعال کرده و نسل بعدی Raptor را توسعه میدهد که وعده میدهد HBM را با ۱۰ برابر سرعت بیشتر و ۹۰ درصد مصرف انرژی کمتر در وظایف استنتاج پشت سر بگذارد. این شرکت معتقد است سختافزار اختصاصی برای وظایف خاصی مانند استنتاج هوش مصنوعی ضروری است.
جایگزینی برای HBM از نظر مالی نیز جذاب است. HBM توسط تعداد محدودی از شرکتها تولید شده و قیمت بالایی دارد. با رشد ۳۰ درصدی سالانه بازار HBM تا سال ۲۰۳۰ و افزایش قیمتها، یک جایگزین مقرونبهصرفه برای خریداران هوش مصنوعی جذاب خواهد بود، هرچند حافظههای اختصاصی ممکن است برای برخی مشتریان ریسکپذیر به نظر برسند.
اینتل اولین بهروزرسانی نرمافزاری خود را برای پروژه Battlematrix، ابتکار متمرکز بر ایستگاههای کاری هوش مصنوعی، منتشر کرده است. این بهروزرسانی شامل LLM Scaler 1.0 است، یک پشته نرمافزاری مبتنی بر لینوکس که برای بهینهسازی عملکرد بارهای کاری هوش مصنوعی بر روی پردازندههای گرافیکی Arc Pro B-series اینتل در ایستگاههای کاری چند GPU طراحی شده است. ایستگاههای کاری Project Battlematrix با پردازندههای Xeon، حداکثر هشت GPU و تا 192 گیگابایت VRAM عرضه میشوند و قیمت آنها بین 5000 تا 10000 دلار است.
LLM Scaler 1.0 بر توانمندسازی اولیه مشتری تمرکز دارد و شامل بهینهسازیهایی برای انواع مختلف مدلهای هوش مصنوعی، از جمله رمزگشایی حدسی و torch.compile است. این نرمافزار بهبودهای قابل توجهی در عملکرد، مانند افزایش سرعت تا 4.2 برابر برای طولهای ورودی بلند و بهبود 10 درصدی توان خروجی، ارائه میدهد. همچنین، کوانتیزاسیون آنلاین لایهبهلایه برای کاهش نیازهای حافظه GPU برای LLMها اضافه شده است. پشتیبانی از مدلهای embedding و rerank، پشتیبانی بهبود یافته از مدلهای چندگانه و موازیسازی دادهها نیز گنجانده شده است.
اینتل ابزار بنچمارک OneCLL و یک مدیر XPU را نیز در این نسخه قرار داده است. اینتل برنامههایی برای انتشار نسخههای مقاومسازی شده و کاملتر LLM Scaler در سهماهههای سوم و چهارم دارد و قابلیتهای بیشتری مانند SRIOV و VDI نیز در آینده اضافه خواهند شد. این انتشار زودتر از موعد مقرر اولیه صورت گرفته است.