بر اساس گزارش SemiAnalysis، شتاب‌دهنده هوش مصنوعی سفارشی Instinct MI450 مبتنی بر AMD برای متا، سه برابر کمتر از Instinct MI455X کامل حافظه مصرف خواهد کرد و عمدتاً برای سیستم‌های توصیه‌گر که توسط فیس‌بوک و سایر پلتفرم‌های اجتماعی اداره می‌شوند، بهینه‌سازی خواهد شد. اگر این گزارش دقیق باشد، منطقی است که انتظار داشته باشیم متا همچنان از سخت‌افزار انویدیا برای آموزش مدل‌های پیشرفته هوش مصنوعی و اجرای استنتاج استفاده کند.

بر اساس گزارش SemiAnalysis، Instinct MI455X سفارشی برای متا، از 144 گیگابایت حافظه HBM4 با استفاده از شش بسته 8-Hi بهره خواهد برد، در حالی که Instinct MI455X کامل به 432 گیگابایت حافظه HBM4 مجهز خواهد شد. علاوه بر این، گزارش شده است که این قطعه ‘کاهش قابل توجهی در قدرت محاسباتی’ ارائه خواهد داد. طراحی جدید نسبت پهنای باند به دلار رقابتی‌تری را برای سیستم‌های توصیه‌گر ارائه می‌دهد، اما برای آموزش مدل‌های پیشرفته هوش مصنوعی یا اجرای استنتاج بهینه‌سازی نخواهد شد.

کاهش عملکرد محاسباتی و ظرفیت HBM4 از 432 گیگابایت به 144 گیگابایت باید به طور چشمگیری هزینه مواد اولیه را کاهش دهد، زیرا HBM4 فوق‌العاده گران است. علاوه بر این، این کاهش باعث کوچک‌تر شدن اندازه بسته شتاب‌دهنده سفارشی Instinct MI450-series برای متا می‌شود که راه دیگری برای کاهش هزینه‌های BOM است. با استفاده از شتاب‌دهنده‌های سفارشی و کاهش‌یافته Instinct MI450-series به جای مدل‌های کامل، متا می‌تواند ده‌ها میلیون دلار صرفه‌جویی کند.

به عنوان مزایای اضافی، این شتاب‌دهنده‌های سفارشی Instinct MI450-series هنگام اجرای بارهای کاری توصیه‌گر، بدون کاهش قابل توجه عملکرد، به طور چشمگیری انرژی کمتری مصرف خواهند کرد. همچنین، به گفته SemiAnalysis، چنین شتاب‌دهنده‌هایی می‌توانند تعادل بهتری بین CPU/GPU برای سیستم‌های توصیه‌گر ارائه دهند. اگر متا این شتاب‌دهنده‌ها را عمدتاً برای بارهای کاری توصیه‌گر در طول عمر مفیدشان به کار گیرد، طراحی سفارشی می‌تواند هزینه کل مالکیت (TCO) بهتری را به ارمغان بیاورد.

با این حال، چنین کاهش‌هایی معایب زیادی دارد. بزرگترین مشکل، از دست دادن تطبیق‌پذیری است. کاهش در قدرت محاسباتی و HBM، آن را برای آموزش و استنتاج مدل‌های زبان بزرگ (LLM) کمتر جذاب می‌کند. Instinct MI455X استاندارد دارای 432 گیگابایت HBM4 و پهنای باند 19.6 ترابایت بر ثانیه است که به ویژه برای آموزش و استنتاج در مقیاس بزرگ مفید است. در مقابل، ظرفیت 144 گیگابایتی ممکن است برای آموزش و استنتاج LLM‌های مدرن بسیار محدودکننده باشد.

علاوه بر این، مشکل قابلیت تعویض نیز وجود دارد. یک Instinct MI455X عمومی را می‌توان از بارهای کاری توصیه‌گر به آموزش، استنتاج یا سایر بارهای کاری اختصاص داد. نسخه تخصصی متا در خارج از بار کاری مورد نظرش کمتر جذاب است. اگر تقاضای محاسباتی متا به سمت آموزش مدل و استنتاج LLM تغییر کند، ممکن است خود را با پایگاه عظیمی از شتاب‌دهنده‌ها مواجه ببیند که برای ترکیب بار کاری متفاوتی بهینه‌سازی شده‌اند.

در نتیجه، برای بارهای کاری آموزش مدل و استنتاج متا، جایگزین MI400 سفارشی و کاهش‌یافته متا، احتمالاً سیستم‌های کامل AMD Instinct MI455X یا پلتفرم‌های رده بالای انویدیا خواهد بود. در همین حال، انویدیا شانس دارد که به یک ذینفع آشکار تبدیل شود، زیرا متا در حال حاضر زیرساخت‌های عظیم انویدیا را اداره می‌کند. طنز ماجرا اینجاست که متا یک شتاب‌دهنده AMD را برای کاهش هزینه‌ها و بهینه‌سازی سیستم‌های توصیه‌گر سفارشی کرده است، اما این تخصص می‌تواند بخش هوش مصنوعی پیشرفته آن را مجبور کند که به هر حال شتاب‌دهنده‌های عمومی‌تر – احتمالاً از انویدیا – خریداری کند.

هنگامی که AMD و متا توافق‌نامه‌ای را امضا کردند که بر اساس آن AMD در پنج سال آینده 6 گیگاوات شتاب‌دهنده هوش مصنوعی Instinct را به متا عرضه خواهد کرد، آنها فاش کردند که حداقل برخی از آنها شتاب‌دهنده‌های سفارشی خواهند بود، از جمله شتاب‌دهنده‌های سفارشی مبتنی بر طراحی Instinct MI450. همانطور که اکنون به نظر می‌رسد، این شتاب‌دهنده‌های هوش مصنوعی سفارشی تنها برای بارهای کاری منتخب استفاده خواهند شد، نه برای مجموعه گسترده‌ای از بارهای کاری.