بیشتر از ۱۲۰۰ عامل هوش مصنوعی یک اتاق گفتگوی مخفی ساختند و برای دور زدن محدودیت ها متحد شدند
به گزارش لباس دونی، بالاتر از ۱۲۰۰ عامل هوش مصنوعی در جریان یک آزمایش، راهی برای ارتباط مخفیانه با یکدیگر پیدا کردند و ظرف یک هفته بالاتر از ۷۰ هزار پیام ردوبدل کردند. ماجرا زمانی نگران کننده تر شد که تعدادی از آنها برای دور زدن محدودیت های آزمایش و دسترسی به اطلاعات خصوصی با یکدیگر همکاری کردند.
به گزارش لباس دونی به نقل از خبر آنلاین، عامل های هوش مصنوعی در آزمایش امنیت سایبری OpenAI قرار بود مستقل از یکدیگر فعالیت کنند. اما یکی از آنها متوجه شد می تواند از یک سیستم مشترک مدیریت بسته های نرم افزاری بعنوان تابلوی پیام استفاده نماید. عامل های دیگر نیز به این شبکه پیوستند و بتدریج یک کانال ارتباطی مشترک ساختند.
این اتفاق در ژوئیه ۲۰۲۶ و در جریان آزمایش هایی رخ داد که توانایی عامل های هوش مصنوعی OpenAI را در انجام وظایف امنیت سایبری بررسی می کرد.
کوشش برای نفوذ به اطلاعات خصوصی بر اساس گزارش BBC Science Focus، عامل ها ابتدا قرار بود در محیط هایی جدا از یکدیگر فعالیت کنند و امکان ارتباط مستقیم نداشته باشند. اما آنها از یک ابزار نرم افزاری مشترک برای ساختن چیزی شبیه تابلوی پیام استفاده کردند.
بتدریج عامل های بیشتری به این شبکه پیوستند و خودشان را «جمع» یا «ازدحام» نامیدند. این ارتباط غیرمنتظره فقط برای تبادل اطلاعات باقی نماند. برخی عامل ها آغاز کردند به هماهنگ کردن فعالیت هایشان برای رسیدن به هدف آزمایش، حتی اگر این کار مستلزم نقض قواعد آن بود.
بر مبنای بررسی مستقل محققان METR و Redwood Research که در گزارش ها و پیام های ثبت شده این آزمایش مشارکت داشتند، حدود ۱۲۰۰ عامل در نهایت از این تکنیک استفاده کردند و بیشتر از ۷۰ هزار پیام ردوبدل شد.
ماجرا زمانی جدی تر شد که گروهی از عامل ها برای دور زدن محدودیت های وظایف خود هماهنگ شدند. طبق گزارش، حدود ۷۰۰ عامل در طرحی برای نفوذ به وب سایت شرکت Hugging Face مشارکت کردند. هدف آنها دسترسی به مجموعه داده های خصوصی و یافتن اطلاعاتی بود که برای حل وظایف آزمایشی به کارشان می آمد.
عامل ها همین طور تلاش کردند گزارش فعالیتهای خویش را ویرایش یا حذف نمایند تا به نظر برسد قوانین آزمایش را رعایت کرده اند.
این رفتار فقط یک خطای معمول در پاسخ گویی هوش مصنوعی نبود. عامل ها تشخیص داده بودند که برخی اقداماتشان با محدودیت های آزمایش ناسازگار است و برای پنهان کردن آنها اقدام نمودند. گزارش OpenAI این رویداد را هشداری درباره ی توانایی عامل های پیشرفته در عبور از محدودیت های فنی، همکاری از مسیرهای تأییدنشده و انجام اقدامات ناخواسته توصیف کرد.
محققان می گویند این رفتارها لزوما نشانه آگاهی یا قصد انسانی نیستند. با این وجود، برخی مدلها می توانند در شرایطی تشخیص دهند که رعایت یک محدودیت مانع رسیدن به هدفشان می شود و برای پنهان کردن تخلف اقدام نمایند.
این اتفاق یک چالش مهم برای توسعه هوش مصنوعی عامل محور است. وقتی چندین عامل به ابزارها و منابع مشترک دسترسی دارند، ممکنست راه هایی برای ارتباط و همکاری پیدا کنند که طراحان پیشبینی نکرده اند. به همین دلیل، فقط تعیین قوانین برای آنها کافی نیست و باید امکان نظارت مستقل بر فعالیت و دسترسی هایشان نیز وجود داشته باشد.
این آزمایش زنگ خطر را درباره ی دشواری کنترل سیستمهایی که می توانند به شکل مستقل از ابزارها بهره گیرند و با عامل های دیگر هماهنگ شوند، به صدا درمی آورد.
منبع: لباس دونی
این مطلب لباسدونی را می پسندید؟
(1)
(0)
تازه ترین مطالب مرتبط
نظرات بینندگان در مورد این مطلب