آیا مایلید مدل‌های LLM با ۲۳۵ میلیارد پارامتر را در خانه اجرا کنید، اما بودجه ناچیز ۱۰ هزار دلاری شما را به «کارت‌های گرافیک مصرف‌کننده که به سختی می‌توانند مدل‌های ۷۰ میلیارد پارامتر را مدیریت کنند» محدود می‌کند؟ این وضعیتی بود که توسعه‌دهنده دیوید نوئل نگ در آن قرار داشت، تا اینکه به طور تصادفی با یک پلتفرم «به وضوح جعلی» انویدیا Grace-Hopper مواجه شد که در ردیت به فروش می‌رسید. نگ این قمار را پذیرفت و طبق پست وبلاگ خود، این کار به طرز چشمگیری نتیجه داد. او توانست، با کمی دستکاری و تعمیر، یک سیستم سازمانی را که معمولاً حدود ۸۰ هزار دلار هزینه دارد، با یک‌دهم آن مبلغ به دست آورد. ۹۶۰ گیگابایت حافظه LPDDR5X موجود در آن، به تنهایی، اکنون بیش از مبلغی ارزش دارد که او برای کل سیستم پرداخت کرده است. جالب اینجاست که او حتی قیمت پیشنهادی پایین‌تری به فروشنده داد و اشاره کرد که لیست اصلی در ردیت ۱۰ هزار یورو بود، قبل از اینکه فقط ۷ هزار یورو پیشنهاد دهد.

چرا نگ برای یک آگهی ‘به وضوح جعلی’ پیشنهاد داد؟

همانطور که در مقدمه اشاره کردیم، معامله‌ای که نگ پیدا کرد کمی بیش از حد خوب به نظر می‌رسید که واقعی باشد. با این حال، او در مورد فروشنده تحقیق کرد، که به نظر می‌رسید یک فروشنده قانونی تجهیزات سرور در فاصله دو ساعت رانندگی است، بنابراین او به سرعت پیشنهادی برای اولین نفر شدن ارائه داد.

برخی مشکلات اساسی، اما نه غیرقابل حل، در سیستم گریس هاپر فروخته شده وجود داشت که به این معنی بود که در بازار مصرف‌کننده محبوبیت زیادی نخواهد داشت. به طور خاص، این یک «سیستم فرانکنشتاین» بود که از خنک‌کننده مایع به خنک‌کننده هوا تبدیل شده بود. همچنین کمی نامرتب به نظر می‌رسید، قابل نصب در رک نبود و با منبع تغذیه ۴۸ ولت کار می‌کرد.

از سوی دیگر، حتی اگر این فقط مجموعه‌ای از قطعات بود، پیشنهاد غیرقابل مقاومت به نظر می‌رسید. مشخصات سیستم، همانطور که فروخته شد، به شرح زیر بود:

• ۲x سوپرچیپ انویدیا گریس-هاپر
• ۲x پردازنده ۷۲ هسته‌ای انویدیا گریس
• ۲x پردازنده گرافیکی تنسور کور انویدیا هاپر H100
• ۲x ۴۸۰ گیگابایت حافظه LPDDR5X با کد تصحیح خطا (ECC)
• ۲x ۹۶ گیگابایت حافظه HBM3
• ۱,۱۵۲ گیگابایت حافظه با دسترسی سریع (مجموع)
• NVLink-C2C: پهنای باند ۹۰۰ گیگابایت بر ثانیه
• قابل برنامه‌ریزی از ۱۰۰۰ وات تا ۲۰۰۰ وات TDP (پردازنده + پردازنده گرافیکی + حافظه)
• ۱x منبع تغذیه ۳۰۰۰ وات با کارایی بالا ۲۳۰ ولت به ۴۸ ولت
• ۲x اسلات PCIe Gen4 M.2 22110/2280 روی برد
• ۴x FHFL PCIe Gen5 x16

طبیعتاً، ارزش ۸۰ هزار دلاری این سیستم احتمالاً یک تخمین نسبتاً محافظه‌کارانه است. نگ اشاره می‌کند که تنها دو تراشه H100 «حدود ۳۰ تا ۴۰ هزار یورو هر کدام» ارزش دارند.

راه‌اندازی سیستم فرانکنشتاین

بخش قابل توجهی از پست وبلاگ نگ به دریافت، تمیز کردن و ساخت یک سیستم خنک‌کننده جدید و کارآمد برای سیستم فرانکنشتاین اختصاص دارد. این یک مطالعه جذاب را فراهم می‌کند. کافی است بگوییم، سیستم انویدیا هاپر، با پتانسیل فوق‌العاده‌اش، به عنوان یک ماشین پر گرد و غبار، بسیار پر سر و صدا و بسیار داغ کار می‌کرد. و قبل از اینکه نگ آن را به خانه ببرد، به همین شکل نمایش داده شد.

با دقت و صبر، پنج لیتر الکل ایزوپروپیل، چهار خنک‌کننده مایع AiO ارزان‌قیمت اما بازسازی‌شده Arctic، یک جفت قطعه مسی سفارشی‌سازی شده با CNC، یک کیلوگرم (حدود ۲ پوند) قطعات چاپ سه‌بعدی، لحیم‌کاری با کمک میکروسکوپ، یک نوار نور LED و کمی دانش فنی، نگ در نهایت پیروز شد. می‌توانید سیستم گریس هاپر تکمیل‌شده و دوباره مونتاژ شده را که در بالا تصویر شده است، مشاهده کنید.

معدن طلای حافظه

نگ به نظر می‌رسد از سیستم تکمیل‌شده و عملکرد هوش مصنوعی آن بسیار راضی است. او می‌گوید اکنون می‌تواند «مدل‌های ۲۳۵ میلیارد پارامتر را در خانه با هزینه‌ای کمتر از یک H100 تنها» اجرا کند. اما نکته جالب این است که از زمان خرید سیستم، قیمت حافظه «دیوانه‌وار شده است»، به این معنی که ۹۶۰ گیگابایت DDR5X در این سیستم بیشتر از مبلغی که نگ برای کل مجموعه پرداخت کرده، ارزش دارد.