یک کشاورز سالخورده در چوجو، چین، از یک سال پیش که استفاده از هوش مصنوعی را آغاز کرده، از توصیه‌های آن پیروی می‌کرده است. اما پس از ماه‌ها تعامل، اخیراً هوش مصنوعی توصیه‌ای وحشتناک ارائه داد که منجر به از بین رفتن کل محصول او شد. بر اساس گزارش رسانه تایوانی CTWANT [ترجمه ماشینی]، وو ۶۷ ساله در ابتدا به برنامه هوش مصنوعی اعتماد نداشت، اما پس از اینکه مفید بودن آن ثابت شد، نظرش را تغییر داد. متأسفانه، این اشتباه فاجعه‌بار از آب درآمد، زیرا مستقیماً باعث از بین رفتن ۱۵۰ مو (حدود ۲۴.۷ هکتار) نشاء کنجد شد.

وو از هوش مصنوعی برای کنترل علف‌های هرز و آفات مشاوره خواست، که پس از آن هوش مصنوعی طرحی با عنوان «کنترل علف‌های هرز و آفات صد هکتار کنجد» ارائه داد و توصیه کرد که از «فلوپیریمتالین با کارایی بالا» و «فلوسولفاسولفاتر» برای از بین بردن علف‌های هرز استفاده شود و آن را با «تیامتوکسازین» و «نمک متیل» مخلوط کند. کشاورز بدون تأیید اطلاعات از طریق کارشناسان کشاورزی (یا حتی بررسی متقابل پاسخ‌های آن به صورت آنلاین)، دقیقاً از توصیه هوش مصنوعی پیروی کرد.

فردای همان روز

نتیجه اشتباه هوش مصنوعی به سرعت آشکار شد، زیرا درست فردای آن روز، علف‌های هرز و نشاءهای کنجد به طور گسترده‌ای از بین رفتند. وو در یک مصاحبه ویدیویی گفت: «اگر آن را اسپری کنید، فردای آن روز نشاءها زنده نمی‌مانند. هم علف‌ها و هم نشاءها می‌میرند و نشاءها حتی سریع‌تر می‌میرند.»

هنگامی که او از هوش مصنوعی پرسید چرا این اتفاق افتاد، هوش مصنوعی پیشنهاد کرد که «فلوسولفاسولفاتر» ممکن است عامل این مشکل باشد. کارشناسان کشاورزی گفتند که این ماده شیمیایی عمدتاً برای مبارزه با علف‌های هرز پهن‌برگ در مزارع سویا استفاده می‌شود. وزارت کشاورزی ایالات متحده (USDA) [PDF] کنجد را به عنوان یک گیاه پهن‌برگ طبقه‌بندی می‌کند، به این معنی که این علف‌کش به راحتی بر آن نیز تأثیر می‌گذارد. علاوه بر این، این ماده شیمیایی فقط برای پاشش هدفمند در مناطق آسیب‌دیده طراحی شده و نباید در کل مزرعه استفاده شود. کشاورز ادعا کرد که هوش مصنوعی او را از خطرات پیروی از پاسخ‌هایش آگاه نکرده است، اما صفحه چت آن یادآوری داشت که می‌گفت: «تولید هوش مصنوعی ممکن است نادرست باشد، لطفاً تأیید کنید.»

اگرچه هوش مصنوعی ابزاری قدرتمند است، اما سابقه ارائه توصیه‌های بد و انتخاب‌های نادرست را نیز دارد. تنها چند روز پیش، یک توسعه‌دهنده در طول یک فرآیند پشتیبان‌گیری معمول، پس از مواجهه با یک اشتباه تایپی، کل دایرکتوری پروفایل خود را حذف شده دید. حتی مدیر همسوسازی هوش مصنوعی متا نیز قربانی این موضوع شد، پس از اینکه مجبور شد عامل هوش مصنوعی خود را به صورت دستی متوقف کند تا از پاک شدن تصادفی کل صندوق ورودی ایمیلش جلوگیری کند. به همین دلیل ضروری است که کاربران هر بار که از هوش مصنوعی استفاده می‌کنند، از محدودیت‌های آن آگاه باشند.

این یکی از اولین مواردی است که ما گزارشی از اشتباه هوش مصنوعی ارائه کرده‌ایم که منجر به پیامد فیزیکی در دنیای واقعی شده است. ما همچنین نمی‌توانیم فرد را به طور کامل به خاطر اعتماد به این ابزار سرزنش کنیم – بالاخره او در ابتدا نسبت به آن بدبین بود، به این معنی که هوش مصنوعی نتایجی تولید کرده بود که باعث شد کشاورز به مرور زمان به آن اعتماد کند. اما حتی اگر خروجی هوش مصنوعی اخیراً قابل اعتماد بوده باشد، به این معنی نیست که کاملاً قابل اعتماد است. در نهایت، مدل‌های زبان بزرگ (LLM) چیزی جز موتورهای پیش‌بینی نیستند – شما نمی‌توانید هر بار که از آنها استفاده می‌کنید، پاسخ صحیح را تضمین کنید، به خصوص اگر آنها بر روی یک پایگاه دانش عمومی آموزش دیده باشند که مجموعه داده‌های آن به طور کامل برای دقت و صحت فیلتر نشده است.