ظرفیت حافظه رم یک گلوگاه مهم برای کاربردهای هوش مصنوعی است. Enfabrica، استارتاپی تحت حمایت انویدیا، سیستم Emfasys را برای حل این مشکل معرفی کرده است. این سیستم نوآورانه امکان افزودن ترابایتها حافظه DDR5 را به هر سروری از طریق اتصال اترنت فراهم میکند. Emfasys به طور خاص برای بارهای کاری استنتاج هوش مصنوعی در مقیاس بزرگ طراحی شده و در حال حاضر با مشتریان منتخب در حال آزمایش است.
Emfasys یک سیستم سازگار با رک است که بر پایه تراشه SuperNIC ACF-S با پهنای باند ۳.۲ ترابیت بر ثانیه ساخته شده و تا ۱۸ ترابایت حافظه DDR5 را با CXL متصل میکند. سرورهای GPU از طریق پورتهای اترنت ۴۰۰G یا ۸۰۰G و با استفاده از RDMA به این مجموعه حافظه دسترسی پیدا میکنند. انتقال دادهها با تأخیر بسیار کم و بدون کپی، از طریق پروتکل CXL.mem انجام میشود. استقرار این سیستم آسان است و نیازی به تغییرات معماری عمده ندارد.
این فناوری نیازهای فزاینده حافظه در هوش مصنوعی مدرن (مانند پرامپتهای طولانی و پنجرههای متنی بزرگ) را برطرف کرده و فشار را از روی حافظه HBM گرانقیمت متصل به GPU برمیدارد. با Emfasys، اپراتورهای مراکز داده میتوانند حافظه سرورهای هوش مصنوعی را به صورت انعطافپذیر گسترش دهند. Enfabrica ادعا میکند که این راهحل میتواند کارایی را افزایش داده، استفاده از منابع را بهینه کند و هزینههای کلی زیرساخت را کاهش دهد. به طور خاص، این تنظیمات میتواند هزینه تولید هر توکن هوش مصنوعی را تا ۵۰٪ در سناریوهای پرکاربرد کاهش دهد.
- کولبات
- مرداد 10, 1404






