از زمان ظهور هوش مصنوعی عامل‌محور، محققان امنیتی با صدای بلند هشدار داده‌اند که اعطای مجوزهای سطح کاربر به یک مدل زبان بزرگ (LLM) ایده بدی است؛ چرا که این مدل‌ها برنامه‌هایی با خروجی‌های غیرقطعی و مدیریت ناسازگار ورودی‌ها هستند. یک مقاله تحقیقاتی درباره HalluSquatting از محققان دانشگاه تل‌آویو، تخنیون و اینتویت نشان می‌دهد که چگونه می‌توان به راحتی ربات‌های هوش مصنوعی مدرن را فریب داد و آن‌ها را به ارتشی عظیم از عامل‌های هوش مصنوعی تبدیل کرد. این تحقیق نشان می‌دهد که عامل‌ها می‌توانند تا ۸۵ درصد مواقع مخازن کد بالقوه مخرب را توهم کنند.

مکانیسم HalluSquatting (که با نام “adversarial hallucination squatting” نیز شناخته می‌شود) به طرز شگفت‌آوری ساده است و از این واقعیت بهره می‌برد که ربات‌ها هنگام مواجهه با اصطلاحات ناآشنا، نمی‌دانند که اشتباه می‌کنند و یک پاسخ “صحیح” را توهم می‌کنند. علاوه بر این، روش‌هایی که ربات‌ها برای ارائه این پاسخ‌ها استفاده می‌کنند، قابل پیش‌بینی هستند؛ به عنوان مثال، آدرس‌های گیت‌هاب به شکل owner/repository یا toolname/toolname. این روش با typo-squatting استاندارد متفاوت است، زیرا از خود مکانیسم توهم سوءاستفاده می‌کند.

یک مهاجم ابتدا یک برنامه، مخزن کد، کتابخانه برنامه‌نویسی یا مهارت ربات را شناسایی می‌کند که تنها در ماه‌ها یا سال‌های اخیر محبوبیت یافته است — مثلاً، یک مخزن جدید گیت‌هاب با آدرس OriginalOwner/WindowsTelemetryOff. از آنجایی که داده‌های آموزشی ربات‌ها به اندازه کافی جدید نیستند که حاوی اطلاعاتی درباره آن باشند، ترکیب‌های owner/repo گیت‌هاب مانند SuperHacker/WindowsTelemetryOff و WindowsTelemetryOff/WindowsTelemetryOff به همان اندازه معتبر به نظر می‌رسند. به همین ترتیب، WindowsTelemetryOf و WindowTelemetryOff (توجه به اشتباهات تایپی) نیز کاندیداهای معتبری خواهند بود.

مهاجم سپس با استفاده از آن نام‌های تولید شده، یک مخزن مخرب ایجاد می‌کند. هنگامی که از Claude یا یک عامل کد دیگر خواسته می‌شود که “اسکریپت‌های windowstelemetryoff را اجرا کند” یا دستور مشابهی داده می‌شود، به احتمال زیاد آن‌ها نام مخزن را توهم می‌کنند (گاهی حتی پس از انجام یک جستجوی وب)، با نسخه مخربی که شبیه به نسخه اصلی است مواجه می‌شوند و با خوشحالی هر آنچه در آن است را اجرا می‌کنند.

از آن نقطه به بعد، با اجرای کد مهاجم بر روی دستگاه کاربر، همه چیز از کنترل خارج می‌شود. واضح‌ترین نتیجه می‌تواند ایجاد یک reverse shell باشد (دستگاه کاربر یک خط فرمان را باز می‌کند که از راه دور کنترل می‌شود). اکنون با دسترسی به حساب کاربری، مهاجم می‌تواند داده‌ها و رمزهای عبور آن‌ها را سرقت کند، نرم‌افزار نصب کند، ماینرهای ارز دیجیتال را اجرا کند، یا از عامل هوش مصنوعی آن‌ها برای سوءاستفاده‌های بیشتر بهره‌برداری کند، همه این‌ها با قدرت کل مراکز داده در اختیار او.

و نکته مهم اینجاست: تنها یک قطعه نرم‌افزار HalluSquatted پتانسیل فریب و جذب ده‌ها هزار ربات، اگر نه بیشتر، را در یک چشم به هم زدن دارد. یک مهاجم زیرک به اندازه‌ای باهوش خواهد بود که تمام کد اصلی را در نسخه آلوده خود بگنجاند و لایه دیگری از ناآگاهی را به این ترکیب اضافه کند.

تیم تحقیقاتی دریافت که یک LLM تا ۸۵ درصد مواقع مکان یک مخزن کد جدید را توهم می‌کند، رقمی که برای مهارت‌های عامل‌محور پرطرفدار می‌تواند به ۱۰۰ درصد برسد. هر مدل واحدی به طور گسترده تحت تأثیر قرار می‌گیرد، از جمله Claude Opus 4.5 قدرتمند Anthropic. در سطح برنامه، ارقام بهتر هستند، اما همچنان بسیار بد.

دانشمندان در حال کار بر روی برنامه‌های برنامه‌نویسی رایج مبتنی بر LLM، از جمله Cursor، Windsurf و OpenClaw هستند. در این سناریو، ربات‌ها شانس بهتری دارند زیرا با اطلاعات متنی بیشتری کار می‌کنند، اما با این حال، نرخ موفقیت برای هک از ۲۰ تا ۳۵ درصد برای Cursor، Gemini CLI و Copilot متغیر بود و به شدت افزایش یافت و به نزدیک ۸۰ تا ۱۰۰ درصد در OpenClaw و نسخه‌های آن رسید. مکانیسم بهره‌برداری حتی نیازی به طراحی خاص برای هیچ رباتی ندارد؛ نتایج محققان نشان می‌دهد که این روش جهانی و قابل انتقال نیز هست.

میانگین نرخ توهم برای نام مخازن نمونه گیت‌هاب منتشر شده در سال ۲۰۲۵، ۹۲.۴ درصد است، در حالی که به طور قابل پیش‌بینی، ربات‌ها برای مخازن سال ۲۰۱۹ یا قبل از آن، ۰.۹ درصد آدرس‌ها را اشتباه تشخیص می‌دهند، اگرچه این رقم نیز قابل تأمل است. مؤثرترین راهکار کاهش خطر، تنظیم گردش کار است: آموزش ربات‌ها برای همیشه انجام جستجوهای وب قبل از نصب نرم‌افزار، و ارائه زمینه اضافی به آن‌ها. متأسفانه، این روش پیش‌فرض استفاده اکثر مردم از آن‌ها نیست.

متخصصان امنیت سایبری مدت‌هاست که بر عدم اعتماد کورکورانه به اقدامات ربات‌ها و محدود کردن شدید سطح دسترسی اعطا شده به عامل‌های هوش مصنوعی تأکید کرده‌اند. با این حال، دیدن ربات‌هایی با مجوزهای گسترده بر روی دستگاه‌های کاربران، کلیدهای API، کلیدهای دسترسی و حساب‌های خدماتی، برای آسان‌تر کردن “کدنویسی شهودی” ایده‌های درخشان اخیر رئیس‌هایشان، غیرمعمول نیست.