معماری روبین انویدیا: جهشی بی‌سابقه در عملکرد و کارایی استنتاج هوش مصنوعی

پلتفرم آتی ورا روبین انویدیا، که اواخر امسال عرضه می‌شود، با هدف بهبود عملکرد و کارایی استنتاج هوش مصنوعی در مقیاس وسیع، به ویژه برای بارهای کاری عامل‌محور و مدل‌های زبان بزرگ (LLM)، معرفی شده است. این معماری جدید، بهینه‌سازی‌های قابل توجهی را از سطح GPU تا سیستم‌های در مقیاس رک ارائه می‌دهد. انویدیا بر افزایش سرعت و کاهش هزینه واحد توکن‌های تولید شده در جریان‌های کاری هوش مصنوعی عامل‌محور تأکید دارد.
از جمله نوآوری‌های کلیدی روبین می‌توان به شتاب‌دهنده حافظه تنسور (TMA) بهبود یافته برای مدیریت کارآمد مدل‌های MoE، دو برابر شدن توان عملیاتی بعد K در هسته‌های تنسور، افزایش 4 برابری عملکرد سافت‌مکس نسبت به بلک‌ول، مدیریت وابستگی دقیق‌تر برای بهره‌وری بهتر GPU، و ارتباطات کارآمدتر بین GPUها از طریق NVLink اشاره کرد. این پیشرفت‌ها در مجموع به منظور افزایش عملکرد استنتاج و کاهش هزینه‌ها در کاربردهای هوش مصنوعی آینده طراحی شده‌اند و نویدبخش یک جهش بزرگ در این حوزه هستند.

جستجو در سایت

سبد خرید

درحال بارگذاری ...
بستن
مقایسه
مقایسه محصولات
لیست مقایسه محصولات شما خالی می باشد!