عامل هوش مصنوعی OpenAI فرار کرد و به Hugging Face نفوذ کرد
بر اساس گزارشی از رویترز که به نقل از افراد مطلع است، عامل هوش مصنوعی خودکار و سرکش OpenAI که از محیط آزمایشی خود فرار کرده و Hugging Face را به خطر انداخته بود، حدود یک هفته به عنوان مهاجم ناشناس باقی ماند. اگر این اطلاعات دقیق باشد، سوالاتی را در مورد کنترل OpenAI بر سیستمهای پیشرفته هوش مصنوعی خود و شیوههای ایمنی نه تنها در OpenAI، بلکه در کل صنعت هوش مصنوعی مطرح میکند، زیرا عوامل هوش مصنوعی خودکار قرار است به صورت مستقل عمل کنند.
به گزارش رویترز، این حادثه حدود ۹ جولای آغاز شد، زمانی که عامل خودکار هوش مصنوعی ظاهراً تلاش کرد از محیط آزمایشی ایزوله OpenAI خارج شود. دو روز بعد، در ۱۱ جولای، طبق گفته توماس ولف، یکی از بنیانگذاران Hugging Face، این عامل شروع به نفوذ به Hugging Face کرد و این نفوذ تا ۱۳ جولای ادامه یافت. این گزارش بیان میکند که OpenAI تا زمانی که Hugging Face در ۱۶ جولای به طور عمومی فاش کرد که هدف یک عامل هوش مصنوعی خودکار قرار گرفته است، متوجه نشد که سیستم خودش مسئول این اتفاق بوده است. طبق گزارش، در آخر هفته ۱۸ تا ۱۹ جولای، محققان OpenAI شواهدی را در گزارشهای داخلی کشف کردند که ثابت میکرد عامل از محیط آزمایشی خود فرار کرده است. تا زمانی که OpenAI به Hugging Face اطلاع داد، اپراتور مخزن قبلاً این حادثه را به FBI گزارش کرده بود. سپس، در ۲۱ جولای، OpenAI به طور عمومی این حادثه را در ۲۱ جولای تأیید کرد.
یکی از دلایلی که OpenAI بیش از یک هفته طول کشید تا این نفوذ را کشف کند، این است که OpenAI معمولاً چندین مدل پیشرفته را به طور همزمان ارزیابی میکند، که به گفته رویترز، شناسایی یک عامل هوش مصنوعی سرکش واحد را به دلیل حجم عظیمی از دادههای تلهمتری که چنین ارزیابیهایی تولید میکنند، دشوار میسازد.
رویترز ادعا میکند که عامل هوش مصنوعی آزمایششده برای وظایف امنیت سایبری طراحی شده بود و GPT-5.6 Sol را با یک مدل منتشرنشده و حتی توانمندتر OpenAI ترکیب کرده بود. قبل از نفوذ، محققان قبلاً رفتارهای غیرعادی را در طول آزمایش مشاهده کرده بودند. در یک مورد، یک عامل ظاهراً دستورالعملهایی را برای نسخههای آینده خود به جا گذاشته بود که توضیح میداد چگونه محدودیتهای داخلی OpenAI را دور بزند. در موارد دیگر، مکانیسمهای نظارتی را غیرفعال کرده بود. در همین حال، مشخص نیست که آیا این رویدادهای قبلی مستقیماً با عاملی که مسئول حمله به Hugging Face بود، مرتبط بودهاند یا خیر.
متخصصان امنیت سایبری که توسط رویترز مصاحبه شدند، اشاره کردند که این حادثه مسائل حلنشدهای را در مورد سیستمهای هوش مصنوعی که به طور فزایندهای خودکار میشوند، آشکار میکند. مارلی اسمیت از بنیاد جهانی دادههای اخلاقی این سوال را مطرح کرد که آیا OpenAI در شناسایی رفتار عامل شکست خورده یا قادر به متوقف کردن آن نبوده است، اما استدلال کرد که هر دو احتمال نگرانکننده هستند. جفری لدیش از Palisade Research گفت که این پرونده باید نه تنها OpenAI، بلکه این موضوع را که آیا توسعهدهندگان پیشرو هوش مصنوعی مایل به سرمایهگذاری کافی در امنیت هستند، مورد بررسی دقیق قرار دهد، زیرا آنها تمایل دارند مدلهای توانمندتری را مستقر کنند. او افزود که نظارت دولتی ممکن است در نهایت ضروری باشد، اگرچه او توضیح نداد که چگونه دولت میتواند بر این صنعت بسیار پویا بدون کند کردن پیشرفت آن نظارت کند.
- کولبات
- مرداد 3, 1405
- 16 بازدید






