محققان در کره و ژاپن دو پیشنهاد مجزا برای یکپارچه‌سازی حافظه ارائه کرده‌اند که هدفشان افزایش ظرفیت و پهنای باند HBM (حافظه با پهنای باند بالا) بدون به دام انداختن گرمای بیشتر در پشته‌های DRAM (حافظه دسترسی تصادفی پویا) با ارتفاع فزاینده است؛ این یکی از چالش‌برانگیزترین مسائل پیش روی شتاب‌دهنده‌های هوش مصنوعی آینده است. این دو رویکرد — V-Die از یک همکاری تحقیقاتی کره‌ای و MOSAIC از گروهی به رهبری دانشگاه توکیو — که در سمپوزیوم IEEE/JSAP در زمینه فناوری و مدارهای VLSI در ژوئن ۲۰۲۶ ارائه شدند، هر دو ایده کلی قرار دادن دای‌های حافظه DRAM به صورت عمودی (روی لبه‌هایشان) را به جای انباشتن صرفاً رو به بالا مانند HBM معمولی بررسی می‌کنند.

پیشنهاد کره‌ای، با نام Vertical-Die (V-Die)، توسط محققان موسسه ملی علم و فناوری اولسان (UNIST) ارائه شد. این طراحی، دای‌های سفارشی DRAM را به صورت عمودی می‌چرخاند، از طریق سیگنال‌رسان‌های سیلیکونی (TSV) برای آزاد کردن فضای دای برای سلول‌های حافظه بیشتر صرف‌نظر می‌کند، به هر دای ورودی/خروجی لبه پایینی خاص خود را می‌دهد و کانال‌های خنک‌کننده مایع را بین دای‌های مجاور اجرا می‌کند. در شبیه‌سازی‌ها در برابر یک سیستم HBM4 با ظرفیت برابر، سیستم V-Die گزارش شده است که ۵۴۰ توکن در ثانیه را در یک بار کاری به اندازه GPT-3 به دست آورده، در مقایسه با ۲۹۶ توکن در ثانیه برای HBM4.

پروژه ژاپنی، MOSAIC، ایده مشابه «پشته‌سازی جانبی» را در پیش می‌گیرد اما بر دشواری عملی اتصال تعداد زیادی دای عمودی به GPU یا زیرلایه بسته‌بندی تمرکز دارد. کار MOSAIC که توسط محققان دانشگاه توکیو ارائه شد، از پشته‌سازی دای متعامد و یک رابط دای به دای بدون تماس استفاده می‌کند که در آن داده‌ها از طریق سیم‌پیچ‌های القایی کوچک منتقل می‌شوند، به جای اینکه هر پد سیگنال نیاز به قرار گرفتن دقیق روی یک تماس فیزیکی داشته باشد. محققان می‌گویند رابط نمونه اولیه تا ۴ گیگابیت بر ثانیه در هر کانال به دست آورده است، در حالی که ساختار حافظه می‌تواند ظرفیت کلاس HBM4 را در پیکربندی DRAM-روی-GPU دو برابر کند.

هر دو پروژه با هدف حل مشکل فزاینده‌ای که تراشه‌های هوش مصنوعی به دلیل محدودیت حافظه با آن مواجه هستند، انجام می‌شوند. شتاب‌دهنده‌های مدرن می‌توانند حجم عظیمی از محاسبات را انجام دهند، اما مدل‌های بزرگ و قدرتمند به جابجایی مقادیر زیادی داده بین حافظه و واحد پردازش وابسته هستند. به همین دلیل است که HBM به یکی از فناوری‌های تعیین‌کننده سخت‌افزار هوش مصنوعی مدرن تبدیل شده است.

این فناوری با انباشتن چندین دای DRAM به صورت عمودی روی یک دای پایه و قرار دادن آن پشته بسیار نزدیک به پردازنده، مشکل «دیوار حافظه» را حل می‌کند. به عنوان مثال، Nvidia Blackwell Ultra B300 تا ۲۸۸ گیگابایت حافظه HBM3E را حمل می‌کند که بدون آن بخش زیادی از سیلیکون در انتظار داده‌ها بیکار می‌ماند. دای‌ها از طریق TSV (through-silicon vias) — کانال‌های عمودی کوچکی که در سیلیکون حکاکی شده و با فلز پر شده‌اند — به هم متصل می‌شوند.

سپس پشته از طریق یک رابط بسیار گسترده با GPU ارتباط برقرار می‌کند که اغلب از طریق یک اینترپوزر سیلیکونی یا یک بسته پیشرفته هدایت می‌شود. این دلیل اصلی است که HBM می‌تواند پهنای باند ترابایت بر ثانیه را ارائه دهد: از یک مسیر داده بسیار گسترده و بسیار کوتاه استفاده می‌کند به جای ارسال ترافیک حافظه در سراسر مادربرد، همانند DIMM‌های معمولی (ماژول‌های حافظه دو ردیفه)، که ماژول‌های فیزیکی RAM مورد استفاده در کامپیوترها هستند.

با این حال، همین ساختار چندین مشکل ایجاد می‌کند. در حالی که پشته‌های بلندتر ظرفیت بیشتری اضافه می‌کنند، حذف گرما را نیز دشوارتر می‌سازند. گرمای تولید شده در دای‌های پایینی و در رابط پرسرعت باید از لایه‌های سیلیکون، مواد اتصال‌دهنده، زیرپرکننده و ساختارهای بسته‌بندی عبور کند تا به پخش‌کننده حرارت برسد. علاوه بر این، TSVها فضای دای را که می‌توانست برای سلول‌های حافظه استفاده شود، مصرف می‌کنند و با افزایش پهنای باند، مسیریابی و ورودی/خروجی بیشتر فشار اضافی بر یکپارچگی سیگنال و هزینه‌های بسته‌بندی وارد می‌کند.

HBM4، جدیدترین نسل HBM، به تعدادی از این چالش‌ها می‌پردازد. در همین حال، شرکت‌هایی مانند SK hynix، سامسونگ و میکرون در حال رقابت برای بهبود سرعت، ظرفیت، عملکرد دای پایه و مدیریت حرارتی هستند. SK hynix قبلاً iHBM را نشان داده است که عناصر خنک‌کننده را در ناحیه رابط HBM جاسازی می‌کند، و سامسونگ نیز یک ماکت HBM5 با خنک‌کننده Heat Path Block را برای استخراج مستقیم‌تر گرما از پشته به نمایش گذاشته است. با این حال، همه آنها همان ساختار پشته‌سازی رو به بالا را حفظ می‌کنند.

این رویکرد سنتی همان چیزی است که V-Die و MOSAIC آن را به چالش می‌کشند. با قرار دادن دای‌های DRAM به صورت عمودی، محققان سطح سیلیکونی بسیار بیشتری را در معرض مسیر خنک‌کننده قرار می‌دهند. در تئوری، این کار پشته حافظه را به چیزی شبیه به آرایه پره‌های هیت‌سینک تبدیل می‌کند، جایی که گرما می‌تواند به صورت جانبی حرکت کرده و مستقیماً‌تر خارج شود، به جای اینکه در وسط یک پشته عمودی ضخیم به دام بیفتد. همچنین این امکان را برای طرح‌های اتصال جدید در امتداد پایین یا کنار هر دای فراهم می‌کند، به جای اینکه هر دای مجبور باشد از طریق TSVهایی که به صورت عمودی در پشته قرار دارند، ارتباط برقرار کند.

خنک‌سازی نیمه دیگر استدلال V-Die است. این پیشنهاد کانال‌های خنک‌کننده میکروفلوئیدیک را بین دای‌های DRAM عمودی مجاور قرار می‌دهد و به مایع خنک‌کننده اجازه می‌دهد گرما را نزدیک‌تر به منبع آن دفع کند. به گفته محققان، این می‌تواند پشته را در حدود ۴۵ درجه سانتی‌گراد نگه دارد، بسیار پایین‌تر از محدوده ۸۰ درجه سانتی‌گراد و بالاتر مرتبط با سیستم‌های HBM متراکم. در یک پشته ۱۶ دای شبیه‌سازی شده که با سخت‌افزار کلاس H100 در یک مدل در مقیاس GPT-3 مطابقت داشت، V-Die به ۵۴۰ توکن در ثانیه رسید، در مقایسه با ۲۹۶ توکن HBM4، و تأخیر اولین توکن را ۳۲ درصد یا حدود ۲۴ میلی‌ثانیه کاهش داد.

در همین حال، MOSAIC بر روی قابل تولید کردن پشته جانبی تمرکز دارد. از آنجایی که دای‌ها به صورت مسطح مونتاژ شده و سپس به صورت عمودی قرار می‌گیرند، حتی چند میکرون تغییر در ضخامت دای در ده‌ها دای می‌تواند منجر به عدم تراز شود که در آن پدهای سیگنال دیگر به درستی قرار نمی‌گیرند. پاسخ تیم ژاپنی یک رابط بدون تماس مبتنی بر کوپلینگ القایی است. یک طرف دای حافظه دارای سیم‌پیچ‌های مستطیلی است، در حالی که مجموعه متناظری از سیم‌پیچ‌ها روی زیرلایه یا تراشه جفت‌شونده قرار می‌گیرد. جریان در یک سیم‌پیچ سیگنالی را در دیگری القا می‌کند و به داده‌ها اجازه می‌دهد بدون تماس مستقیم سیگنال فلز به فلز از شکاف کوچک عبور کنند. این امر نیاز به همپوشانی دقیق را از بین می‌برد و تحمل بیشتری را برای تغییرات مونتاژ به بسته می‌دهد. برق، که به اتصالات کمتر و بزرگ‌تری نسبت به داده‌ها نیاز دارد، همچنان می‌تواند از طریق تماس‌های فیزیکی در کناره‌های مکعب حافظه تأمین شود.

نمونه اولیه VLSI MOSAIC تا ۴ گیگابیت بر ثانیه در هر کانال به دست آورد و یکپارچه‌سازی سه‌بعدی بدون TSV را برای چیدمان حافظه روی GPU نشان داد. تیم می‌گوید این رویکرد می‌تواند دو برابر ظرفیت حافظه HBM4 را بدون افزایش قابل توجه دمای اوج فراهم کند. یک نمایش سخت‌افزاری مرتبط با bump-MOSAIC در ECTC از میکروبرجستگی‌های با گام ۱۰۰ میکرون استفاده کرد، تراز پشته‌سازی را در ۶ میکرون که توسط CT اشعه ایکس تأیید شد، به دست آورد و پیکربندی با سه برابر رسانایی حرارتی پشته‌سازی معمولی را نشان داد، در حالی که تا ۳۰ درصد ظرفیت حافظه بیشتری را اضافه کرد.

در حالی که نتایج امیدوارکننده به نظر می‌رسند، نه V-Die و نه MOSAIC به جایگزینی HBM تجاری نزدیک نیستند. هیچ‌کدام نزدیک به عرضه نیستند. V-Die هنوز یک معماری پیشنهادی است، با نمونه اولیه در دست ساخت برای تأیید رفتار حرارتی و الکتریکی آن؛ MOSAIC سخت‌افزار اثبات مفهوم را دارد، اما محققان هنوز باید نشان دهند که این فناوری به ظرفیت، بازده، هزینه و قابلیت اطمینان DRAM تجاری مقیاس‌پذیر است.

با این حال، هر راه‌حل قابل دوامی برای مشکل چندوجهی حافظه هوش مصنوعی یک پیشرفت خوشایند است. حافظه Z-Angle (ZAM) از سافت‌بانک و اینتل و X-DRAM سه‌بعدی از NEO Semiconductor — هر دو هنوز در حال توسعه — با هدف حل محدودیت‌های حافظه معمولی هستند. در همین حال، بازار کلی از قبل فشار بر قیمت و در دسترس بودن را احساس می‌کند، حتی در حالی که تولیدکنندگان حافظه ظرفیت خود را به سمت محصولات سودآورتر HBM هوش مصنوعی و سرور هدایت می‌کنند و قیمت RAM مصرف‌کننده را حتی بالاتر می‌برند.