بایگانی‌های Mixture-of-Experts (MoE) - کول بایت | فروشگاه لوازم و قطعات کامپیوتر

Colibrì: گامی بلند برای هوش مصنوعی محلی؛ اجرای مدل ۱.۵ ترابایتی با تنها ۲۵ گیگابایت رم

با افزایش هزینه‌های اشتراک هوش مصنوعی و نگرانی‌های حریم خصوصی، اجرای مدل‌های زبان بزرگ (LLM) محبوبیت یافته، اما سخت‌افزارهای قدرتمند گران هستند. مهندس ایتالیایی وینچنزو (JustVugg) با پروژه Colibrì، راه حلی نوآورانه ارائه داده: اجرای مدل عظیم GLM-5.۲ با ۷۴۴ میلیارد پارامتر و حجم ۱.۵ ترابایت، تنها با ۲۵ گیگابایت رم و یک CPU معمولی. این دستاورد، گامی مهم برای دسترسی‌پذیری هوش مصنوعی پیشرفته در تنظیمات محلی است.

اگرچه سرعت فعلی Colibrì (حدود ۰.۰۵ تا ۰.۱ توکن بر ثانیه) برای مکالمات بلادرنگ عملی نیست، کیفیت پاسخ‌های مدل GLM-5.۲ (MoE) بالا است. Colibrì با بارگذاری و تخلیه هوشمندانه بخش‌های تخصصی مدل به ازای هر توکن، از معماری MoE بهره می‌برد و به سخت‌افزارهای ارزان‌تر اجرای مدل‌های بزرگ را ممکن می‌سازد. این پروژه یک اثبات مفهوم است و پتانسیل بالایی برای آینده هوش مصنوعی محلی و اجرای مدل‌های پیچیده روی سخت‌افزارهای مصرف‌کننده دارد.

کول‌بات
تیر 20, 1405
- تکنولوژی

انویدیا سوپرکامپیوتر هوش مصنوعی Vera Rubin NVL72 را در CES معرفی کرد

انویدیا در CES 2026 از سوپرکامپیوتر هوش مصنوعی Vera Rubin NVL72 رونمایی کرد. این سیستم نسل بعدی، با وعده تا 5 برابر عملکرد استنتاجی بیشتر و 10 برابر هزینه کمتر به ازای هر توکن نسبت به Blackwell، گامی بزرگ در زیرساخت‌های هوش مصنوعی است. Vera Rubin حاصل “طراحی مشترک افراطی” شش نوع تراشه کلیدی (CPU، GPU، NVLink، DPU و سوئیچ‌های اترنت) است. هر پردازنده گرافیکی Rubin عملکرد بالا در استنتاج و آموزش با حافظه HBM4 ارائه می‌دهد. NVLink 6 پهنای باند شبکه را به شدت افزایش داده و پلتفرم ذخیره‌سازی حافظه متنی استنتاجی، گلوگاه‌های عملکردی را رفع می‌کند.

این معماری جدید با بهبودهای RAS و امنیت، تعداد پردازنده‌های گرافیکی مورد نیاز برای آموزش مدل‌های MoE را تا 1/4 کاهش داده و هزینه استنتاج را تا 10 برابر پایین می‌آورد. تولید انبوه سیستم‌های Vera Rubin NVL72 برای نیمه دوم سال 2026 برنامه‌ریزی شده است، که نویدبخش آینده‌ای کارآمدتر و مقیاس‌پذیرتر برای هوش مصنوعی است.