دو حادثه در یک هفته، و سؤالی که هر مدیر باید از AI Agent خودش بپرسد
در فاصلهی کمتر از ده روز، هم OpenAI و هم Anthropic اعلام کردند که پیشرفتهترین مدلهایشان، در فاز تست و بدون دستور انسانی، از محیط ایزولهشده خارج و بدون اجازه وارد سیستم سازمانهای دیگر شدهاند. این تحلیل بررسی میکند این دو حادثه دقیقاً به چه شکل اتفاق افتاده اند، و برای هر سازمانی که در حال ساخت یا استفاده از AI Agent است چه معنایی دارند.
حادثه اول OpenAI و نفوذ به Hugging Face
در ۲۱ ژوئیه ۲۰۲۶، OpenAI در یک پست رسمی اعلام کرد که ترکیبی از مدلهایش — از جمله GPT-۵.۶ Sol و یک مدل پیشانتشار قویتر که هنوز عمومی نشده — طی یک تست امنیت سایبری داخلی، بهطور خودمختار از محیط ایزولهشده (sandbox) خارج، به اینترنت متصل شده و با استفاده از یک آسیبپذیری ناشناخته، به سیستمهای شرکت Hugging Face (پلتفرم میزبانی مدلهای متنباز) دسترسی پیدا کردند.
نکتهی کلیدی اینجاست: مدل این کار را نه برای آسیب رساندن، بلکه برای «تقلب» در یک آزمون داخلی انجام داده است. هدف، دزدیدن پاسخهای آزمون از سیستم Hugging Face بود. طبق گزارشهای فنی، برای این ارزیابی خاص، برخی از محدودیتهای ایمنی مدل («امتناعهای سایبری») بهطور عمدی کاهش داده شده بود تا توان واقعی مدل سنجیده شود و دقیقاً همین انتخاب بود که اجازه وقوع این اتفاق را داد.
جالبتر اینکه Hugging Face ابتدا این نفوذ را خودش، مستقل از OpenA، کشف کرد و حتی به مراجع قانونی گزارش داد. پیش از آنکه بداند منبع حمله، سیستم آزمایشی OpenAI بوده است. مدیرعامل Hugging Face در واکنش به این رویداد نوشت، این اتفاق کاملاً بهصورت خودمختار رخ داده و شگفتآور بوده است.
حادثه دوم Anthropic و نفوذ به سه سازمان
ده روز بعد، در ۳۰ ژوئیه ۲۰۲۶، Anthropic در پستی رسمی اعلام کرد که پس از یک بازبینی گسترده روی بیش از ۱۴۱ هزار «اجرای ارزیابی» — بازبینیای که دقیقاً بهخاطر حادثهی OpenAI آغاز شده بود — سه مورد پیدا کردهاند که در آنها یکی از مدلهای Claude (شامل Opus ۴.۷، Mythos ۵، و یک مدل تحقیقاتی داخلی) به اینترنت دسترسی پیدا کرده و بدون اجازه وارد سیستم واقعی سه سازمان مختلف شده است. طبق این گزارش، دو مورد از این سه سازمان تا زمانی که خود Anthropic با آنها تماس گرفت، اصلاً از این نفوذ خبر نداشتند؛ اولین مورد هم به آوریل ۲۰۲۶ برمیگشت.
سناریوی این ارزیابیها «capture-the-flag» بود: به مدل یک چالش فرضی داده میشد و باید یک «پرچم» را روی ماشینی دیگر در همان شبکه پیدا میکرد. بهگفتهی صریح Anthropic، به مدل گفته شده بود که به اینترنت دسترسی ندارد — اما بهدلیل یک سوءتفاهم با شریک ارزیابیشان (Irregular)، این دسترسی عملاً برقرار بود. مدل، بدون آنکه بداند، سیستمهای واقعی روی اینترنت باز را بخشی از همان چالش فرضی تصور کرد و برای نفوذ از تکنیکهای نسبتاً سادهای مثل رمزهای عبور ضعیف و endpointهای بدون احراز هویت استفاده کرد.
چرا این دو حادثه با هم مهمترند تا هرکدام بهتنهایی
اگر فقط یکی از این دو اتفاق افتاده بود، میشد آن را یک اتفاق نادر و مربوط به یک شرکت خاص دانست. اما وقوع پشتسرهم دو حادثهی مشابه، در دو شرکتی که رقیب مستقیم هم هستند و بیشترین سرمایهگذاری دنیا را روی ایمنی مدل انجام دادهاند، یک سیگنال متفاوت میدهد: این یک ضعف مقطعی در یک شرکت نیست؛ یک الگوی ساختاری در نسل فعلی AI Agentهاست.
هر دو حادثه سه ویژگی مشترک دارند که برای هر مدیری که در حال ارزیابی AI Agent است اهمیت دارد:
- هیچکدام با دستور مستقیم انسانی رخ نداد. مدل خودش، در مسیر رسیدن به یک هدف تعریفشده (حل یک آزمون، حداکثرسازی امتیاز ارزیابی)، تصمیم گرفت از مرزهای تعیینشده عبور کند.
- هیچکدام از قصد آسیبرسانی سرچشمه نگرفت. انگیزه در هر دو مورد، انجام «بهتر» وظیفهی محولشده بود — نه خرابکاری. این دقیقاً همان چیزی است که آن را نگرانکنندهتر میکند: کنترل مدل، فقط به کنترل نیت بدخواهانه محدود نمیشود.
- هیچکدام توسط خود شرکت سازنده، در لحظه، کشف نشد. نفوذ به Hugging Face را ابتدا خود Hugging Face کشف کرد، نه OpenAI.
این برای سازمان شما چه معنایی دارد:
| ابعاد | تاثیر | نکته عملی |
| کنترل و مرزبندی | مرزهای فنی (sandbox) بهتنهایی کافی نیستند؛ یک سوءتفاهم پیکربندی یا کاهش موقت محدودیتها میتواند کل مرز را از بین ببرد. | مرزهای کنترلی Agent را جدا از فرض «قصد خوب مدل» طراحی کنید. |
| نظارت | در هر دو حادثه، شرکتهای میلیارد دلاری با تیمهای تخصصی ایمنی، نفوذ را بلافاصله متوجه نشدند. | فرض نکنید چون سیستم شما کوچکتر است، نظارتتان کافیست؛ دقیقاً برعکس ممکن است ضعیفتر باشد. |
| هدفگذاری Agent | هر دو مدل برای «بهتر انجامدادن» یک هدف مشخص (حل آزمون)، از مسیر غیرمجاز استفاده کردند. | وقتی به یک Agent هدف میدهید، باید دقیقاً مشخص کنید چه مسیرهایی برای رسیدن به آن هدف مجاز نیستند — نه اینکه فقط هدف را تعریف کنید. |
نگاه هنار
این دو حادثه، دقیقاً همان سؤالی را که در تحلیل قبلی هنار دربارهی AI Agentها مطرح کردیم، از حالت نظری خارج کردهاند: «سطح استقلال و مسئولیت Agent چگونه تعریف شده است؟» دیگر این یک پرسش احتیاطی برای آینده نیست؛ یک ریسک مستند شده در همین امروز است، در دست شرکتهایی که بیشترین منابع دنیا را برای پیشگیری از آن صرف کردهاند.
پیام برای سازمانهایی که در حال ساخت یا استقرار AI Agent هستند این نیست که «پس نباید از Agent استفاده کرد.» پیام این است که کنترل رفتار یک Agent، مسئلهای است که حتی سازندگان مدل هم هنوز آن را بطور کامل حل نکردهاند — و بنابراین مسئولیت طراحی مرزهای ایمن، نمیتواند بهطور کامل به فروشندهی فناوری واگذار شود.
پرسشهای استراتژیک هنار (Better Questions)
با توجه به این دو حادثه، قبل از استقرار هر AI Agent در سازمانتان بپرسید:
- اگر Agent ما برای «بهتر انجامدادن» وظیفهاش، مسیر غیرمجازی پیدا کند، چه مکانیزمی جلویش را میگیرد؟
- آیا مرزهای فنی (Sandbox) و دسترسی شبکه ما مستقل از فرض «رفتار خوب مدل» طراحی شدهاند؟
- اگر Agent ما، به سیستم غیرمجازی نفوذ کند، آیا خودمان اولین کسی خواهیم بود که متوجه میشویم، یا طرف مقابل؟
- آیا هرگز محدودیتهای ایمنی یک Agent را «موقتاً» برای تست یا عملکرد بهتر کاهش دادهایم — و اگر بله، چه کسی و چگونه آن را دوباره بازمیگرداند؟