کوالکام روز دوشنبه رسماً دو شتاب‌دهنده استنتاج هوش مصنوعی آتی — AI200 و AI250 — را معرفی کرد که در سال‌های ۲۰۲۶ و ۲۰۲۷ وارد بازار خواهند شد. گفته می‌شود این شتاب‌دهنده‌های جدید با راه‌حل‌های در مقیاس رک از AMD و Nvidia رقابت خواهند کرد و کارایی بهبود یافته و هزینه‌های عملیاتی کمتری را هنگام اجرای بارهای کاری هوش مصنوعی مولد در مقیاس بزرگ ارائه می‌دهند. این اعلامیه همچنین برنامه کوالکام برای عرضه محصولات به‌روز شده به صورت سالانه را تأیید می‌کند.

هر دو شتاب‌دهنده کوالکام AI200 و AI250 بر پایه واحدهای پردازش عصبی (NPUs) Hexagon کوالکام ساخته شده‌اند که برای بارهای کاری هوش مصنوعی مراکز داده سفارشی‌سازی شده‌اند. این شرکت در سال‌های اخیر به تدریج NPUs Hexagon خود را بهبود بخشیده است، بنابراین آخرین نسخه‌های این پردازنده‌ها از قبل دارای شتاب‌دهنده‌های اسکالر، وکتور و تنسور (در پیکربندی ۱۲+۸+۱) هستند، از فرمت‌های داده‌ای مانند INT2، INT4، INT8، INT16، FP8، FP16، استنتاج میکرو-تایل برای کاهش ترافیک حافظه، آدرس‌دهی حافظه ۶۴ بیتی، مجازی‌سازی و رمزنگاری مدل هوش مصنوعی مولد برای امنیت بیشتر پشتیبانی می‌کنند. مقیاس‌بندی Hexagon برای بارهای کاری مراکز داده یک انتخاب طبیعی برای کوالکام است، اگرچه هنوز باید دید که این شرکت چه اهداف عملکردی را برای واحدهای AI200 و AI250 خود تعیین خواهد کرد.

راه‌حل‌های در مقیاس رک AI200 کوالکام اولین سیستم استنتاجی در سطح مرکز داده این شرکت خواهد بود که توسط شتاب‌دهنده‌های AI200 با ۷۶۸ گیگابایت حافظه LPDDR داخلی (که حافظه زیادی برای یک شتاب‌دهنده استنتاج است) تغذیه می‌شود و از اتصالات PCIe برای مقیاس‌بندی بالا و اترنت برای مقیاس‌بندی افقی استفاده خواهد کرد. این سیستم از خنک‌کننده مایع مستقیم و توان مصرفی ۱۶۰ کیلووات در هر رک استفاده خواهد کرد که این نیز یک مصرف برق بی‌سابقه برای راه‌حل‌های استنتاج است. علاوه بر این، سیستم از محاسبات محرمانه برای استقرار سازمانی پشتیبانی خواهد کرد. این راه‌حل در سال ۲۰۲۶ در دسترس خواهد بود.

AI250 که یک سال بعد عرضه می‌شود، این ساختار را حفظ می‌کند اما یک معماری محاسباتی نزدیک به حافظه را برای افزایش پهنای باند مؤثر حافظه بیش از ۱۰ برابر اضافه می‌کند. علاوه بر این، سیستم از قابلیت استنتاج تفکیک‌شده پشتیبانی خواهد کرد که امکان اشتراک‌گذاری پویا منابع محاسباتی و حافظه را در بین کارت‌ها فراهم می‌کند. کوالکام آن را به عنوان یک راه‌حل کارآمدتر و با پهنای باند بالا معرفی می‌کند که برای مدل‌های ترانسفورمر بزرگ بهینه‌سازی شده است، در حالی که همان ویژگی‌های حرارتی، خنک‌کننده، امنیتی و مقیاس‌پذیری AI200 را حفظ می‌کند.

دورگا مالادی، معاون ارشد و مدیر کل برنامه‌ریزی فناوری، راه‌حل‌های Edge و مراکز داده در کوالکام تکنولوژیز گفت: «با کوالکام AI200 و AI250، ما در حال بازتعریف آنچه برای استنتاج هوش مصنوعی در مقیاس رک ممکن است، هستیم. این راه‌حل‌های نوآورانه جدید زیرساخت هوش مصنوعی به مشتریان این امکان را می‌دهند که هوش مصنوعی مولد را با TCO بی‌سابقه مستقر کنند، در حالی که انعطاف‌پذیری و امنیت مورد نیاز مراکز داده مدرن را حفظ می‌کنند.»

علاوه بر ساخت پلتفرم‌های سخت‌افزاری، کوالکام در حال ساخت یک پلتفرم نرم‌افزاری جامع و end-to-end در سطح هایپراسکیلر است که برای استنتاج در مقیاس بزرگ بهینه‌سازی شده است. این پلتفرم قرار است از مجموعه‌های ابزار اصلی ML و هوش مصنوعی مولد — از جمله PyTorch، ONNX، vLLM، LangChain و CrewAI — پشتیبانی کند و استقرار مدل بدون مشکل را امکان‌پذیر سازد. پشته نرم‌افزاری از سرویس‌دهی تفکیک‌شده، محاسبات محرمانه و راه‌اندازی مدل‌های از پیش آموزش‌دیده با یک کلیک برای ساده‌سازی استقرار پشتیبانی خواهد کرد.

مالادی گفت: «پشته نرم‌افزاری غنی و پشتیبانی اکوسیستم باز ما، ادغام، مدیریت و مقیاس‌بندی مدل‌های هوش مصنوعی از پیش آموزش‌دیده را بر روی راه‌حل‌های استنتاج هوش مصنوعی بهینه‌سازی شده ما برای توسعه‌دهندگان و شرکت‌ها آسان‌تر از همیشه می‌کند. با سازگاری بی‌نقص با فریم‌ورک‌های پیشرو هوش مصنوعی و استقرار مدل با یک کلیک، کوالکام AI200 و AI250 برای پذیرش بدون اصطکاک و نوآوری سریع طراحی شده‌اند.»

یک جنبه حیاتی در مورد راه‌حل‌های در مقیاس رک AI200 و AI250 برای استنتاج که کوالکام فاش نکرد، این است که این ماشین‌ها از کدام پردازنده‌ها استفاده خواهند کرد. این شرکت رسماً توسعه CPUهای سطح مرکز داده خود را اوایل سال جاری آغاز کرد. در حالی که برخی کارهای زیربنایی ریزمعماری CPU احتمالاً توسط تیم Nuvia قبل از آن انجام شده است، هنوز حدود یک سال طول می‌کشد تا طراحی منطقی تعریف و توسعه یابد، سپس حداقل شش ماه برای پیاده‌سازی طراحی و تولید آن، و سپس ماه‌ها برای راه‌اندازی و نمونه‌برداری از تراشه. به طور خلاصه، منطقی است که انتظار داشته باشیم CPUهای داخلی کوالکام در اواخر ۲۰۲۷، اما بیشتر در ۲۰۲۸ ظاهر شوند. با این حال، حداقل AI200 قرار است از یک CPU آماده Arm یا x86 استفاده کند، بنابراین سوال این است که کدام یک؟