InferenceMax، بنچمارک متن‌باز جدید SemiAnalysis، رویکردی نوین در ارزیابی هوش مصنوعی ارائه می‌دهد. این ابزار به جای تمرکز بر سخت‌افزار، کارایی پشته‌های نرم‌افزاری هوش مصنوعی را در سناریوهای استنتاجی واقعی اندازه‌گیری می‌کند. نتایج روزانه منتشر شده و هدف آن ارائه معیارهای بی‌طرفانه و شبیه‌سازی کاربردهای دنیای واقعی است. تمرکز اصلی بر هزینه کل مالکیت (TCO) بر حسب دلار در هر میلیون توکن است، که به ارزیابی جامع‌تر و ردیابی تکامل نرم‌افزاری کمک می‌کند.
این بنچمارک تعادل توان عملیاتی و تعامل‌پذیری را بررسی کرده، نشان می‌دهد کارآمدترین GPU لزوماً سریع‌ترین نیست. InferenceMax رقابت MI335X AMD با B200 انویدیا را از نظر TCO برجسته می‌کند و به نیاز به بهبود در کرنل‌های FP4 AMD اشاره دارد. پروژه با همکاری فروشندگان، اشکالاتی را در تنظیمات هر دو شرکت کشف کرده است. InferenceMax از شتاب‌دهنده‌های اصلی AMD و Nvidia پشتیبانی کرده و قصد دارد پشتیبانی از Tensor گوگل و AWS Trainium را نیز اضافه کند.