EXO Labs فریم‌ورک متن‌باز EXO را برای اجرای کارآمد مدل‌های زبان بزرگ (LLM) روی سخت‌افزارهای ترکیبی معرفی کرده است. این فریم‌ورک بار کاری را بین دستگاه‌های مختلف توزیع می‌کند. در یک نمایش، دو سیستم NVIDIA DGX Spark با مک استودیو M3 Ultra اپل ترکیب شدند. این ترکیب از قدرت محاسباتی Spark و پهنای باند بالای مک استودیو بهره می‌برد و 2.8 برابر افزایش عملکرد را نشان داده است.

این رویکرد “استنتاج غیرمتمرکز” نام دارد و با تقسیم مراحل LLM (پیش‌پر کردن برای محاسبات، رمزگشایی برای پهنای باند) بین دستگاه‌ها کار می‌کند. EXO، اگرچه آزمایشی است، اثبات مفهوم قدرتمندی است که نشان می‌دهد هوش مصنوعی با کارایی بالا لزوماً نباید در انحصار مراکز داده باشد و با استفاده هوشمندانه از سخت‌افزارهای موجود، دستاوردهای قابل توجهی حاصل می‌شود.