انویدیا گروهی متشکل از حدود دوازده خبرنگار را به مقر اصلی شرکت دعوت کرد تا درباره پردازنده Vera و نحوه جای‌گیری آن در طراحی بزرگ‌تر رک Vera Rubin NVL72 که در قلب پلتفرم هوش مصنوعی عامل نسل بعدی انویدیا قرار دارد، اطلاعات بیشتری کسب کنند. بخشی از این بازدید، مشاهده Vera Rubin در عمل بود؛ نه به عنوان یک سینی جدا شده روی صحنه یا یک رک با چند چراغ چشمک‌زن در یک نمایشگاه تجاری، بلکه رَک‌های واقعی که بارهای کاری واقعی را در یک دیتاسنتر (تا حدی) واقعی اجرا می‌کردند. و ما توانستیم این رک‌ها را در آزمایشگاه فوق‌مهندسی انویدیا (Engineering SuperLab) در حال کار ببینیم.

این یک دیتاسنتر واقعی یا حداقل یک دیتاسنتر با عملکرد بهینه نیست. انویدیا به وضوح اعلام کرد که آزمایشگاه فوق‌مهندسی برای مهندسان ساخته شده است تا به آن‌ها اجازه دهد به سرعت رک‌ها را راه‌اندازی و تعویض کنند تا سخت‌افزار را در عمل ببینند. می‌توانستید کمی حس عدم اطمینان را در فضا حس کنید؛ اگر انویدیا یک دیتاسنتر واقعی می‌ساخت، اینگونه به نظر نمی‌رسید. این آزمایشگاه جایی است که مهندسان در آن زندگی می‌کنند، و اگر تا به حال در کنار گروهی از مهندسان با سخت‌افزارهای زیادی برای کار بوده‌اید، می‌دانید که اوضاع همیشه آنقدر که در یک دیتاسنتر واقعی انتظار دارید، مرتب نیست.

آزمایشگاه فوق‌العاده‌ای که انویدیا به ما نشان داد، یکی از چهار مکان بی‌نام و نشان در نزدیکی مقر اصلی انویدیا است. این مکان‌ها تا به امروز فاش نشده بودند. هر یک از این چهار مکان طی دو سال گذشته پدیدار شده‌اند و فضای کاری را برای انویدیا فراهم کرده‌اند تا سخت‌افزارهای جدید خود را عرضه کند.

سخت‌افزار مورد بحث در اینجا رک Vera Rubin NVL72 است، اما ما چند نمایش دیگر را نیز مشاهده کردیم. مهم‌تر از همه، انویدیا یک سایدکار (sidecar) را به ما نشان داد که برق 800VDC را به یک رک NVL72 منتقل می‌کرد. انویدیا همچنین برخی قطعات را به نمایش گذاشت و فرآیند مونتاژ یک سینی Vera Rubin را نشان داد که با بازوهای نگهدارنده مختلف در عرض چند دقیقه به هم متصل می‌شود.

این نگاهی است از پشت صحنه تور ما، نحوه راه‌اندازی آزمایشگاه فوق‌مهندسی و برخی جزئیات جذاب دیتاسنتر. ما یک بررسی کامل از پردازنده Vera و نحوه جای‌گیری آن در زیرساخت بزرگ‌تر هوش مصنوعی انویدیا را منتشر کرده‌ایم که به جزئیات فنی پلتفرم می‌پردازد. در اینجا، ما عمدتاً نگاهی اجمالی به پشت پرده به شما ارائه می‌دهیم.

Vera Rubin NVL72 انویدیا در حال کار واقعی

Vera Rubin در حال تولید کامل است و ما ویدئوهای کوتاهی از راه‌اندازی رک‌ها در دیتاسنترها دیده‌ایم. اما این اولین نگاه ما به یک رک است که بار کاری واقعی را در عمل اجرا می‌کند. انویدیا می‌گوید رک‌های اینجا در واقع برخی از بارهای کاری OpenAI را اجرا می‌کنند، و همانطور که از تصویر بالا می‌بینید، به نظر می‌رسد برخی از سینی‌ها در حال اجرای مدل GPT‑Rosalind از OpenAI هستند.

در جلوی هر سینی، پورت‌های دوگانه ConnectX-9 NIC و همچنین DPU Bluefield-4 را در وسط مشاهده می‌کنید. در پشت، ستون فقرات NVLink انویدیا قرار دارد، یک سازه تقریباً قرون وسطایی، با پین‌های تیز که سینی‌های مختلف را به هم متصل می‌کند. این ستون فقرات شامل 5000 کابل مسی با طول بیش از دو مایل است که تا 3.6 ترابایت بر ثانیه پهنای باند برای هر GPU و 260 ترابایت بر ثانیه پهنای باند مقیاس‌پذیری (scale-up) برای هر رک را، بر روی NVLink نسل ششم انویدیا، ارائه می‌دهد.

هر رک Vera Rubin NVL72 شامل 18 سینی محاسباتی و 9 سینی سوئیچ NVLink است که دومی ارتباط بین سینی‌های مختلف را برای عملکرد به عنوان یک سیستم بزرگ و یکپارچه هماهنگ می‌کند. انویدیا طراحی MGX NVL را به ما نشان داد که یک رک مرجع واحد با 72 GPU Rubin و 36 CPU Vera است. طراحی MGX ETL انویدیا، ستون فقرات NVLink را با یک ستون فقرات اترنت Spectrum-X یا ستون فقرات مستقیم تراشه به تراشه برای یک سیستم مقیاس‌پذیر (scale-out) با حداکثر 256 GPU جایگزین می‌کند.

با این حال، بخش اصلی کار در پشت رک‌ها قرار دارد. اگرچه به لطف ستون فقرات NVLink، پشت رک‌ها از کابل‌کشی پاک است، اما تامین برق و خنک‌کننده همچنان یک عامل اصلی است. هرج و مرج سازمان‌یافته لوله‌کشی و کابل‌کشی که در تصاویر زیر می‌بینید، نشان می‌دهد که چقدر تلاش برای راه‌اندازی حتی یک رک، چه رسد به ده‌ها یا صدها رک در یک دیتاسنتر، لازم است.

رک‌های NVL72 نسل قبلی انویدیا، یعنی GB200 و GB300، دارای خنک‌کننده هیبریدی بودند، اما سینی‌های Vera Rubin کاملاً با مایع خنک می‌شوند. هیچ فن‌ای وجود ندارد، که انویدیا می‌گوید می‌تواند در نهایت به دیتاسنترهای بسیار آرام‌تری منجر شود. این مورد در آزمایشگاه اینجا صدق نمی‌کرد، که همچنان نیاز به محافظت از چشم و گوش داشت. من یک دسیبل‌متر در دسترس نداشتم – تصور کنید اگر یکی را به طور معمول با خود حمل می‌کردم – اما حدس من این است که صدای داخل آن حدود 80 تا 90 دسیبل بود؛ بلندتر از یک واحد تهویه مطبوع، اما آرام‌تر از یک موتورسیکلت. این یک سطح نویز نسبتاً معمولی برای یک دیتاسنتر است.

با این حال، سینی‌های Vera Rubin کاملاً با مایع خنک می‌شوند، با فرآیندی به نام “خنک‌سازی خشک” (dry cooling). انویدیا می‌گوید با فرض اینکه دمای ورودی مایع خنک‌کننده 45 درجه سانتی‌گراد یا کمتر باشد، می‌تواند کل سیستم را با یک مبدل حرارتی خنک کند. اگر این درست باشد، چیلرهای پرهزینه (از نظر مصرف برق، فضا، نویز، مصرف آب و هزینه واقعی) از معادله خنک‌سازی حذف خواهند شد.

لوله‌کشی‌های عظیم، مایع خنک‌کننده (معمولاً ضد یخ یا آب دیونیزه) را از بالا وارد می‌کنند و خروجی‌هایی در پایین رک برای خارج کردن مایع خنک‌کننده گرم شده وجود دارد. در طول مسیر، مجموعه‌ای از اتصالات ورودی وجود دارد که به سینی‌ها اجازه می‌دهد به طور خودکار به سیستم خنک‌کننده متصل شوند و تنها اتصالات اصلی در ابتدا و انتهای حلقه باقی بمانند. انویدیا همه چیز را در یک رک Vera Rubin NVL72 با پروژه محاسبات باز (OCP) استانداردسازی کرده است، حتی تا مشخصات حمل و نقل. این شرکت می‌گوید تنها 47 دقیقه از زمان رسیدن کامیون تا روشن شدن رک می‌گذرد.

برق 800VDC برای زیرساخت هوش مصنوعی نسل بعدی

انویدیا همچنین یک “سایدکار” 800VDC را در حال کار به ما نشان داد. اگر آشنایی ندارید، انویدیا (همراه با سایر شرکت‌های زیرساخت هوش مصنوعی) برای سیستم جدید تامین برق 800VDC برای دیتاسنترهای مدرن تلاش کرده‌اند تا ناکارآمدی‌های تبدیل AC/DC را کاهش دهند و همچنین توان لازم را به رک‌ها برسانند بدون اینکه به محدوده‌های جریان هزاران آمپر برسند.

یک رک Vera Rubin NVL72 به راحتی می‌تواند بیش از 200 کیلووات مصرف کند، که این یک چالش برای زیرساخت برق سنتی در یک دیتاسنتر است. با رک‌های Grace Blackwell فعلی، قفسه‌های برق، برق AC ورودی به تاسیسات (با 415 ولت یا 480 ولت) را به جریان مستقیم 48 ولت/54 ولت برای توزیع در داخل رک تبدیل می‌کنند. مشکل اینجا کاملاً واضح است. اگر ولتاژ ثابت بماند و توان افزایش یابد، جریان نیز باید افزایش یابد. و جریان بیشتر به معنای باس‌بارهای ضخیم‌تر، ناکارآمدی‌های تبدیل بیشتر و فضای رک بیشتر اختصاص یافته به تامین برق است.

باز هم، راه‌حلی که 800VDC ارائه می‌دهد کاملاً ساده است. اگر توان افزایش یابد و جریان ثابت بماند، ولتاژ نیز باید افزایش یابد. ایده این است که برق AC از شبکه را یک بار به برق DC تبدیل کنیم و سپس از مجموعه‌ای از مبدل‌های DC به DC در داخل رک استفاده کنیم، که امکان محاسبات متراکم‌تر و بهره‌وری بهتر انرژی را فراهم می‌کند.

این یک مشکل آسان برای حل نیست، زیرا دیتاسنترها باید نحوه ورود برق به تاسیسات را تغییر دهند، نه فقط نحوه تبدیل، کاهش ولتاژ و جابجایی آن را. در اینجا، انویدیا یک سایدکار را به نمایش گذاشت که یک رک است که صرفاً با تجهیزات برق پر شده است. این یک “بازسازی” (retrofit) است، همانطور که شرکت تحلیلی SemiAnalysis آن را می‌نامد، و اولین مرحله از یک سری فازهای گذار به 800VDC را نشان می‌دهد. برق 415V/480VAC همچنان در سراسر تاسیسات توزیع می‌شود، اما به جای منابع تغذیه داخل رک، به این سایدکار جریان می‌یابد. سایدکار برق 415V/480VAC را به 800VDC تبدیل کرده و به رک‌های مجاور تغذیه می‌کند.

این همه توضیحات برای نشان دادن زیرساخت برق بسیار جالبی است که در این آزمایشگاه در حال کار است. انویدیا اولین و تنها شرکتی نیست که به سمت زیرساخت 800VDC حرکت می‌کند، و شرکت‌هایی مانند گوگل، متا و مایکروسافت در طراحی‌های سایدکار باز مانند مشخصات Mt. Diablo مشارکت داشته‌اند. با این حال، دیدن یکی از این سایدکارها در عمل جالب است.

اگر تا به حال نگاهی به پشت یک رک نینداخته‌اید، می‌توانید کانکتورهای بزرگ قرمز رنگ را در گالری بالا ببینید که برق را به رک‌ها می‌آورند. همچنین می‌توانید کابل‌ها و کانکتورهای برق عظیم را در پشت سایدکار 800VDC مشاهده کنید.

نمایش زیرساخت هوش مصنوعی نسل بعدی انویدیا

در جلوی تاسیسات، انویدیا تمام اجزای زیرساخت هوش مصنوعی نسل بعدی خود را به نمایش گذاشت. هیچ چیز جدیدی در اینجا وجود نداشت که قبلاً ندیده باشیم، اگرچه معمولاً در نمایشگاه‌های تجاری یا روی صحنه در طول سخنرانی‌های اصلی دیده می‌شوند.

اولین مورد، خود سینی Vera Rubin NVL72 است که در بالا در کنار یک سینی GB300 مشاهده می‌کنید. هر دو طراحی DGX هستند، به این معنی که به طور کامل توسط انویدیا ساخته و یکپارچه شده‌اند، و می‌توانید تفاوت فاحش در مونتاژ را بلافاصله ببینید. سینی Vera Rubin NVL72 تنها دارای دو کابل، بدون شلنگ و بدون فن است. در قسمت پشتی که دو برد Super Chip قرار دارند، انویدیا یک بازوی نگهدارنده را به نمایش گذاشت که به بردها اجازه می‌دهد در عرض چند ثانیه به داخل و خارج بلغزند.

سینی Vera Rubin بسیار تمیزتر است، اما از فضا نیز بهتر استفاده می‌کند. این سینی شامل فن نیست، که در طراحی GB300 می‌بینید بخش قابل توجهی از وسط سینی را اشغال می‌کنند. در Vera Rubin، این فن‌ها با یک صفحه میانی ضخیم که در بالا می‌بینید جایگزین شده‌اند و یک کانال ارتباطی بین دو ConnectX-9 NIC و Bluefield-4 DPU در جلوی سینی ارائه می‌دهند.

یکی از دو کابل داخل سینی محاسباتی Vera Rubin NVL72، باس‌بار است که مسیریابی برق را برای تراشه‌های مختلف داخل سینی انجام می‌دهد.

سینی Vera Rubin NVL72 البته تنها استقرار سخت‌افزار هوش مصنوعی نسل بعدی انویدیا نیست. این شرکت همچنین یک سینی فقط CPU با هشت تراشه Vera را به ما نشان داد که تا 256 تراشه را در یک رک ارائه می‌دهد. این به ما نگاهی دقیق‌تر نه تنها به خود تراشه، بلکه به سیستم حافظه SOCAMM2 LPDDR5X می‌دهد که چگالی و ماژولار بودن مشابه RDIMM‌های سنتی را با هزینه برق بسیار کمتر ارائه می‌کند.

اگرچه بیشتر ماژول‌ها بدون برچسب بودند، اما توانستیم تصویری را که در بالا می‌بینید، ثبت کنیم که نشان می‌دهد ماژول‌ها از کجا آمده‌اند. اینها ماژول‌های 128 گیگابایتی SOCAMM2 از Micron هستند که با سرعت 6400 MT/s کار می‌کنند، و همانطور که از عکس می‌بینید، همه اسلات‌ها پر نشده‌اند. این پیشرفت بزرگ SOCAMM2 است که ماژولار بودن را برای یک استاندارد حافظه که در غیر این صورت لحیم شده است، ارائه می‌دهد.

NVLink انویدیا ارتباطات مقیاس‌پذیری (scale-up) را مدیریت می‌کند که بین سوئیچ‌های NVLink در رک و ستون فقرات NVLink که در بالا می‌بینید، تقسیم شده است. انویدیا NVLink نسل ششم را به عنوان “قرار دادن فر در ماشین” توصیف می‌کند. هدف آن این است که تمام تراشه‌های یک رک با یکدیگر ارتباط برقرار کنند و اطمینان حاصل شود که عملیات حیاتی (مانند پخت پیتزا) تا حد امکان نزدیک به مقصد انجام شود.

از سوی دیگر، ارتباطات مقیاس‌پذیری (scale-out) با ConnectX-9 NIC در سینی و سینی سوئیچ Spectrum-X CPO (اپتیک‌های هم‌بسته‌بندی شده) مدیریت می‌شود. سینی سوئیچ Spectrum-X عظیم است و به خوبی نشان می‌دهد که چقدر فضای فیزیکی در یک دیتاسنتر هوش مصنوعی مدرن به ارتباطات (بیش از محاسبات خام) اختصاص داده شده است.

البته، اندازه سینی سوئیچ به وسعت زیرساخت مقیاس‌پذیری (scale-out) بستگی دارد. انویدیا همچنین یک سینی Spectrum-X CPO کوچک‌تر را برای استقرارهای کوچک‌تر نشان داد. این تمام چیزی بود که ما توانستیم در آزمایشگاه فوق‌العاده دیتاسنتر هوش مصنوعی انویدیا ببینیم. Vera Rubin در حال تولید است و در نیمه دوم سال 2026 عرضه خواهد شد.