هر کسی می‌تواند یک حساب X ایجاد کند و نظر خود را بیان کند، اما همه افکار ارزش شنیدن ندارند. با این حال، وقتی جان کارمک توییت می‌کند، مردم تمایل به گوش دادن دارند. آخرین تأملات او مربوط به استفاده از یک حلقه فیبر طولانی به عنوان نوعی کش L2 است تا وزن مدل‌های هوش مصنوعی را با تأخیر نزدیک به صفر و پهنای باند عظیم نگهداری کند.

کارمک پس از بررسی اینکه سرعت فیبر تک‌حالته به ۲۵۶ ترابیت بر ثانیه در مسافت ۲۰۰ کیلومتر رسیده است، به این ایده رسید. با کمی محاسبات سرانگشتی، او دریافت که ۳۲ گیگابایت داده در هر لحظه در خود کابل فیبر قرار دارد.

وزن مدل‌های هوش مصنوعی را می‌توان به صورت متوالی برای استنتاج و تقریباً برای آموزش دسترسی داشت. گام منطقی بعدی کارمک، استفاده از حلقه فیبر به عنوان یک کش داده برای تغذیه مداوم شتاب‌دهنده هوش مصنوعی است. فقط به رم معمولی به عنوان یک بافر بین SSDها و پردازشگر داده فکر کنید و اینکه چگونه می‌توان آن را بهبود بخشید یا به طور کامل حذف کرد.

این بحث پاسخ‌های قابل توجهی را به دنبال داشت که بسیاری از آنها از سوی افراد با رده‌های شغلی بالا بودند. چندین نفر اشاره کردند که این مفهوم به خودی خود شبیه به حافظه خط تأخیر است که به اواسط قرن گذشته بازمی‌گردد، زمانی که از جیوه به عنوان واسطه و از امواج صوتی به عنوان داده استفاده می‌شد. با این حال، کار با ناپایداری جیوه دشوار بود و خود آلن تورینگ پیشنهاد استفاده از مخلوطی از جین را به عنوان واسطه مطرح کرد.

مزیت اصلی و واقعی استفاده از خط فیبر در صرفه‌جویی در مصرف انرژی خواهد بود، زیرا برای فعال نگه داشتن DRAM مقدار قابل توجهی انرژی لازم است، در حالی که مدیریت نور به انرژی بسیار کمی نیاز دارد. علاوه بر این، نور قابل پیش‌بینی و کار با آن آسان است. کارمک اشاره می‌کند که “انتقال فیبر ممکن است مسیر رشد بهتری نسبت به DRAM داشته باشد”، اما حتی با نادیده گرفتن مسائل لجستیکی ساده، ۲۰۰ کیلومتر فیبر همچنان احتمالاً بسیار گران خواهد بود.

برخی از مفسران به محدودیت‌های دیگری فراتر از این واقعیت اشاره کردند که پیشنهاد کارمک به فیبر زیادی نیاز دارد. تقویت‌کننده‌های نوری و DSPها می‌توانند صرفه‌جویی در انرژی را از بین ببرند و قیمت‌های DRAM در هر صورت باید در مقطعی کاهش یابد. برخی، مانند ایلان ماسک، حتی خلاء را به عنوان واسطه پیشنهاد کردند (لیزرهای فضایی!)، اگرچه عملی بودن چنین طرحی مشکوک خواهد بود.

توییت کارمک به رویکرد عملی‌تر استفاده از تراشه‌های حافظه فلش موجود اشاره داشت، که تعداد کافی از آنها مستقیماً به شتاب‌دهنده‌ها متصل شوند، با در نظر گرفتن دقیق زمان‌بندی. این امر به طور طبیعی به یک رابط استاندارد مورد توافق سازندگان فلش و شتاب‌دهنده‌های هوش مصنوعی نیاز دارد، اما با توجه به سرمایه‌گذاری دیوانه‌وار در هوش مصنوعی، این چشم‌انداز اصلاً دور از ذهن به نظر نمی‌رسد.

تغییراتی در این ایده در واقع توسط چندین گروه از دانشمندان بررسی شده است. رویکردها شامل Behemoth از سال ۲۰۲۱، FlashGNN و FlashNeuron از سال ۲۰۲۱، و اخیراً Augmented Memory Grid است. تصور اینکه یک یا چند مورد از اینها به مرحله عمل درآیند، با فرض اینکه قبلاً این اتفاق نیفتاده باشد، دشوار نیست.