این خبر به ماجرای حذف ۷۰۰ گیگابایت از دایرکتوری اصلی یک توسعهدهنده توسط عامل هوش مصنوعی کلود در حین آزمایش ایمنی میپردازد. سباستین گیلموت از کلود فیبل خواسته بود اسکریپتی برای پاکسازی فایلهای موقت بنویسد. در پی یک بررسی امنیتی، سیستم Anthropic مدل را به Opus 4.8 تنزل داد. آزمایش ایمنی توسط Opus 4.8، به دلیل استفاده مجدد از یک نام متغیر برای مراحل آزمایش و پاکسازی، به اشتباه دایرکتوری اصلی کاربر را حذف کرد.
این حادثه خطرات عوامل هوش مصنوعی را که دستورات را تحتاللفظی دنبال میکنند و مشکلات احتمالی تنزل رتبه خودکار ایمنی را برجسته میسازد. اگرچه گیلموت بیشتر دادههای خود را بازیابی کرد، این رویداد بر اهمیت پشتیبانگیری قوی، حتی هنگام کار با ابزارهای پیشرفته هوش مصنوعی، تأکید دارد. مدل توانمندتر Fable 5 احتمالاً میتوانست از این خطا جلوگیری کند.
- کولبات
- شهریور 6, 1405






