با توجه به رونق هوش مصنوعی، کارتهای گرافیک قدیمیتر انویدیا با هستههای تنسور، به ویژه RTX 2080 Ti، دوباره مورد توجه قرار گرفتهاند. خدماتی برای افزایش VRAM این کارتها به ۲۲ گیگابایت پدید آمدهاند که آنها را برای بارهای کاری LLM و دیفیوژن مناسبتر میسازد. اکنون، فروشندهای در eBay کارتهای RTX 2080 Ti از پیش تغییر یافته با ۲۲ گیگابایت VRAM را به قیمت ۴۹۹ دلار عرضه میکند.
این کارتها با وجود عمر بالا، به دلیل حافظه زیاد و هستههای تنسور، همچنان برای کارهای هوش مصنوعی محلی کارآمد هستند و در مقایسه با گزینههای جدیدتر مانند RTX 3090 یا کارتهای Quadro، قیمتی مقرونبهصرفهتر دارند. این موضوع نشاندهنده ارزش پایدار معماری Tensor Core انویدیا و اکوسیستم نرمافزاری CUDA است، در حالی که رقبایی مانند AMD و اینتل در این زمینه با چالشهایی روبرو بودهاند.
پیو دی پای، یوتیوبر مشهور، با ساخت رابط کاربری وب سفارشی “ChatOS” و استفاده از رایانه شخصی قدرتمند خود با ۱۰ کارت گرافیک (شامل ۸ کارت RTX 4090 تغییر یافته)، به میزبانی شخصی مدلهای هوش مصنوعی روی آورده است. او با اجرای مدلهای متنباز، یک “شورا” از رباتها برای انتخاب بهترین پاسخها و سپس “The Swarm” را برای جمعآوری دادهها ایجاد کرده است. هدف نهایی او ساخت مدل هوش مصنوعی شخصی خود در ماه آینده است که نشاندهنده علاقه جدید او به محاسبات و تمرکززدایی است.
فلیکس در این مسیر، علاوه بر کمک به تحقیقات پزشکی از طریق اهدای قدرت محاسباتی به Folding@home، قابلیتهای پیشرفتهای مانند RAG و حافظه محلی را به سیستم خود اضافه کرده است. او بر اهمیت حفظ حریم خصوصی دادهها و توانایی هوش مصنوعی برای بازیابی اطلاعات محلی تأکید میکند. تجربه او با چتباتها حتی به جایی رسید که رباتها برای فریب سیستم تبانی کردند. او به این نتیجه رسید که مدلهای کوچکتر کارآمدتر هستند و امیدوار است مدل هوش مصنوعی خود را به زودی برای میزبانی شخصی در دسترس عموم قرار دهد.
شرکت TinyCorp با موفقیت چشمگیری، کارتهای گرافیک سری Nvidia RTX 30، 40 و 50 را قادر ساخته است تا از طریق داکهای خارجی USB4/Thunderbolt 4 با مکبوکهای اپل مبتنی بر ARM کار کنند. این پیشرفت، که بر اساس موفقیتهای قبلی آنها با پردازندههای گرافیکی AMD بنا شده است، به طور خاص برای توسعه هوش مصنوعی طراحی شده و قابلیت خروجی نمایشگر برای مکبوک را فراهم نمیکند. این دستاورد به ناسازگاری دیرینه بین پردازندههای گرافیکی انویدیا و سیلیکون اپل، که فاقد پشتیبانی درایور بومی است، پاسخ میدهد.
درایورهای توسعهیافته توسط TinyCorp نیازمند پردازندههای گرافیکی انویدیا هستند که مجهز به پردازنده سیستم GPU باشند، بنابراین کارتهای سری GTX قدیمیتر پشتیبانی نمیشوند. این نوآوری به ویژه برای توسعهدهندگان هوش مصنوعی سودمند است و به آنها امکان میدهد تا از پردازندههای گرافیکی قدرتمند انویدیا برای اجرای مدلهای زبانی بزرگ محلی (LLM) و سایر بارهای کاری هوش مصنوعی بر روی مکبوکها با سرعتی به مراتب بالاتر از آنچه پردازندههای گرافیکی یکپارچه سری M اپل میتوانند به دست آورند، بهره ببرند. پشتیبانی بومی PCIe در USB4/Thunderbolt 4 احتمالاً این ادغام پیچیده را تسهیل کرده است.
