اجرای مدل هوش مصنوعی عظیم روی میکروکنترلر ارزان ESP32-S3 با ترفند گوگل

یک توسعه‌دهنده اوکراینی (slvDev) موفق شد یک مدل هوش مصنوعی ۲۸.۹ میلیون پارامتری را روی میکروکنترلر ۱۰ دلاری ESP32-S3 اجرا کند. این دستاورد با توجه به حافظه محدود ESP32-S3 (۵۱۲ کیلوبایت SRAM و ۱۶ مگابایت فلش) بسیار چشمگیر است. او با استفاده از تکنیک “Per-Layer Embeddings” گوگل، مدل را به ۴ بیت کوانتیزه کرده و جدول جاسازی ۲۵ میلیون پارامتری را در حافظه فلش ذخیره کرد. این روش هوشمندانه به پردازنده اجازه می‌دهد تا با خواندن تنها چند ردیف در هر توکن، بدون گلوگاه کار کند.
مدل مورد استفاده یک “میکرو LM” است که فقط داستان‌های تخیلی ساده تولید می‌کند و فاقد دانش عمومی است. با این حال، اهمیت پروژه در اثبات امکان اجرای شبکه‌های عصبی واقعی روی سخت‌افزارهای تعبیه‌شده ارزان با معماری هوشمندانه است. این امر کاربردهای جدیدی برای هوش مصنوعی آفلاین و تخصصی، مانند دستگاه‌های قهوه‌ساز هوشمند، باز می‌کند و نشان می‌دهد که این ایده‌ها می‌توانند هوش مصنوعی را در طیف وسیعی از سخت‌افزارها، از دستگاه‌های کوچک تا مراکز داده، عملی‌تر سازند.

جستجو در سایت

سبد خرید

درحال بارگذاری ...
بستن
مقایسه
مقایسه محصولات
لیست مقایسه محصولات شما خالی می باشد!