یک توسعه‌دهنده و علاقه‌مند به ماینکرافت، پروژه‌ای به نام CraftGPT را در گیت‌هاب به نمایش گذاشته است. در یک شاهکار مهندسی ردستون ماینکرافت، سامیوری — که به خاطر ساخت یک CPU 1 هرتزی در داخل بازی مشهور است — یک مدل زبان کوچک ساخته است که روی یک کامپیوتر در داخل ماینکرافت اجرا می‌شود و با مجموعه داده TinyChat آموزش دیده است. پروژه CraftGPT از ۱۰۲۰ در ۲۶۰ در ۱۶۵۶ بلوک در بازی (در مجموع ۴۳۹ میلیون بلوک) ساخته شده است و همانطور که تبلیغ شده عمل می‌کند، اما یک نقطه ضعف عمده در قابلیت استفاده این است که باید “چند ساعت برای تولید پاسخ منتظر بمانید.”

ویدیوی بالا کامپیوتر عظیم درون بازی را نشان می‌دهد که برای اجرای CraftGPT ساخته شده است. سامیوری توضیح می‌دهد که برای ثبت این فیلم “پرواز از کنار” ساختار کامپیوتر، به ماد Distant Horizons بازی نیاز بوده است.

طبیعتاً، حتی با چنین پروژه ردستون چشمگیری، CraftGPT قرار نیست جایگزین روش‌های سنتی‌تر راه‌اندازی یک LLM روی رایانه شخصی شما شود. سامیوری از کاربران/آزمایش‌کنندگان می‌خواهد که انتظارات خود را تعدیل کنند. توسعه‌دهنده پروژه اذعان می‌کند: “این مدل بسیار مستعد خارج شدن از موضوع، تولید پاسخ‌هایی که از نظر گرامری صحیح نیستند، یا صرفاً خروجی بی‌معنی است.”

پس، سامیوری چگونه از ردستون برای کنار هم قرار دادن این پروژه استفاده کرد؟ ردستون قطعات الکترونیکی را در محیط ماینکرافت فراهم می‌کند. ویدیو نشان می‌دهد که دستگاه CraftGPT درون بازی جزء به جزء مونتاژ می‌شود. این دستگاه دارای توکنایزرها، ضرب‌کننده‌های ماتریس و غیره است. سامیوری توضیح می‌دهد که مدل زبان کوچک استفاده شده بدون بلوک‌های فرمان یا بسته‌های داده در ماینکرافت ایجاد شده است. علاوه بر این، توسعه‌دهنده می‌گوید: “این مدل دارای ۵,۰۸۷,۲۸۰ پارامتر است که در پایتون بر روی مجموعه داده TinyChat از مکالمات پایه انگلیسی آموزش دیده است.”

علاقه‌مندان به هوش مصنوعی ممکن است همچنین علاقه‌مند باشند بدانند که CraftGPT با ۵ میلیون پارامتر “دارای ابعاد جاسازی ۲۴۰، واژگان ۱۹۲۰ توکن و شامل ۶ لایه است. اندازه پنجره زمینه ۶۴ توکن است که برای مکالمات (بسیار) کوتاه کافی است.” سامیوری اضافه می‌کند که “اکثر وزن‌ها به ۸ بیت کوانتیزه شده‌اند، اگرچه وزن‌های جاسازی و LayerNorm به ترتیب در ۱۸ و ۲۴ بیت ذخیره می‌شوند.”

نیاز به سرعت

CraftGPT مسلماً به هیچ وجه رقیبی برای سایت‌ها و برنامه‌های چت‌باتی که ممکن است روزانه استفاده کنید، نیست. ما قبلاً به برخی از محدودیت‌های کیفیت چت، عمق و حتی دقت اشاره کردیم. اما احتمالاً بزرگترین مشکل آن مربوط به عملکرد است.

یک پردازنده یا کامپیوتر ساخته شده با ردستون ماینکرافت ممکن است یک شگفتی مدرن باشد، اما در مقایسه با سخت‌افزار واقعی ناچیز است. بنابراین، تجربه چت CraftGPT به شدت توسط زمان پاسخگویی مختل می‌شود. سامیوری می‌گوید، به طور معمول، سیستم برای پاسخ به یک درخواست ساده حدود دو ساعت زمان نیاز دارد. این حتی با افزایش نرخ تیک به حدود ۴۰,۰۰۰ برابر سرعت با استفاده از MCHPRS (سرور ردستون با عملکرد بالا ماینکرافت) است.

شاهکارهای قبلی ردستون ماینکرافت که ذهن را به خود مشغول می‌کردند شامل CPUهای ۱۶ بیتی مستقل و کامپیوتر IRIS بودند که قادر به اجرای نسخه‌ای از DOOM (1993) در ماینکرافت بود.