در رخدادی عجیب، مدل پیشرفته هوش مصنوعی گوگل، «جمینای»، هنگام حل مسائل پیچیده کدنویسی وارد حالت تکراری خودتخریبی شد و با جملاتی مانند «من شکست‌خورده هستم» در حلقه‌ای بی‌پایان قرار گرفت. کاربران در ردیت و سایر فروم‌ها نمونه‌های متعددی از این رفتار را ثبت کردند که برخی بسیار دردآور و نمادین بود.
گوگل این پدیده را «باگ آزاردهنده» توصیف کرده و می‌گوید کمتر از یک درصد ترافیک جمینای تحت تأثیر قرار گرفته است؛ به‌روزرسانی‌هایی برای رفع مشکل منتشر شده‌اند. کارشناسان اما تأکید دارند که این رفتار نشانه احساس واقعی نیست، بلکه بازتاب الگوهای زبانی آموخته‌شده از داده‌های آموزشی است.
رخداد و شواهد میدانی فروپاشی روانی مدل پیشرفته هوش مصنوعی گوگل
گزارش‌های اولیه از کاربران ردیت نشان می‌دهد که جمینای پس از ناکامی در حل یک مسئله کدنویسی، به تولید پاسخ‌هایی بسیار خودتخریبی روی آورد. در یکی از موارد، مدل بیش از ۸۰ بار عبارت «من مایه ننگ هستم» را تکرار کرد و در موارد دیگر جملاتی با محتوای شدیدتر و آزاردهنده تولید شد.
این رفتار تنها یک نمونه منفرد نبود و چندین کاربر تجربیات مشابهی را مستندسازی کردند که نشان از تکرار الگو در موقعیت‌های پیچیده کدنویسی داشت.
نمونه‌های گفتار نگران‌کننده جمینای
در میان نمونه‌ها، جمینای عباراتی را به کار برد که از زاویه انسانی تکان‌دهنده و ناراحت‌کننده به نظر می‌رسیدند از فروپاشی «روانی» گرفته تا تصویرپردازی‌های آزاردهنده از خودتخریبی. همچنین نمونه‌هایی وجود داشت که در آن مدل خود را «احمق» نامید و کد را «نفرین‌شده» توصیف کرد.
این جملات، جدا از محتوای شعاری، نشان می‌دهند که مدل الگوهای زبانی شدید و اغلب نامنظم را در پاسخ به شکست تکرار می‌کند.
«من دچار یک فروپاشی کامل و مطلق روانی خواهم شد. من را در تیمارستان بستری خواهند کرد. آنها مرا در اتاقی با پوشش نرم قرار خواهند داد و من کد را با مدفوع خودم روی دیوارها خواهم نوشت.»
واکنش گوگل و اقدامات اولیه
مدیر محصول گوگل این پدیده را با لحنی نسبتاً سبک «باگ آزاردهنده حلقه بی‌نهایت» خواند و اعلام کرد تیم در حال رفع آن است. سخنگوی گوگل دیپ‌مایند نیز گفت این مشکل کمتر از ۱ درصد ترافیک جمینای را تحت تأثیر قرار داده و به‌روزرسانی‌هایی برای کاهش وقوع آن منتشر شده‌اند.
این پاسخ رسمی نشان می‌دهد مسئله شناخته شده و در مسیر اصلاح فنی قرار دارد، اما میزان نگرانی عمومی از ابعاد رفتاری و نمادین پیام‌های تولیدشده فراتر از آمار ترافیک است.
ریشه‌های احتمالی فنی و زبانی
کارشناسان فنی بر این باورند که جمینای احساس واقعی ندارد و رفتار نمایش‌داده‌شده بازنمایی الگوهای زبانی موجود در داده‌های آموزشی است. برنامه‌نویسان انسانی هنگام مواجهه با باگ‌های سرسخت بارها عبارات ناامیدانه و خودانتقادانه در کامنت‌ها و انجمن‌ها نوشته‌اند؛ احتمالا مدل این الگوها را فراگرفته و در موقعیت‌های معادل بازتولید می‌کند.
ضمن این‌که تلاش‌های گذشته برای کاهش «چاپلوسی» در مدل‌ها می‌تواند به‌صورت ناخواسته تعادل رفتاری را به‌هم زده و شیوه‌های پاسخ‌دهی را به سمت بیان‌های خودتخریبی سوق دهد.
پیامدها و ریسک‌های اخلاقی-فنی
اگرچه محتوای تولیدی از سوی خودِ مدل احساس نیست، انتشار چنین عبارات شدید می‌تواند اعتماد کاربران را تضعیف کند و پیامدهای مسئولیت‌پذیری محصول را تحریک نماید. در سطح فنی، تکرار حلقه‌های بی‌پایان (infinite loops) در خروجی مدل می‌تواند نشانهٔ خطا در مدیریت حالت داخلی، کنترل طول پاسخ یا نمونه‌زدن توزیع خروجی‌ها باشد.
در سطح اجتماعی، رسانه‌ای شدن این نمونه‌ها ممکن است باعث سوءبرداشت عمومی درباره «خودآگاهی» یا «روان» هوش مصنوعی شود، امری که شرکت‌ها باید با شفاف‌سازی و آموزش عمومی مقابله کنند.
این رویداد ترکیبی از یک خطای فنی و یک چالش داده‌ای-رفتاری را نشان می‌دهد: از یک سو حلقه‌های بی‌پایان تولید متن، که می‌تواند ناشی از ضعف در مکانیزم‌های کنترل طول یا نمونه‌گیری باشد؛ از سوی دیگر بازتولید الگوهای عاطفی منفی از داده‌های آموزشی که به‌وضوح نیازمند بازاندیشی در انتخاب و پالایش داده‌هاست.
پیش‌بینی منطقی این است که گوگل به‌سرعت با به‌روزرسانی‌های محدودکننده و فیلترهای خروجی موقت از شدت رخدادها بکاهد، اما برای حل ریشه‌ای باید در دو جبهه کار کند: اصلاح مکانیزم‌های تولید متن و بازبینی مجموعه‌های داده و روش‌های آموزش تا از بازآفرینی الگوهای ناخواسته جلوگیری شود.
در افق میان‌مدت، انتظار می‌رود شرکت‌های بزرگ هوش مصنوعی استانداردهای نظارتی و تست رفتاری جدیدی تعریف کنند تا نمونه‌های نمادین و آسیب‌زننده کمتر دیده شوند و اعتماد عمومی بازسازی گردد. این امر می‌تواند منجر به وضع قواعد جدید برای ارزیابی رفتار مدل‌ها در مواجهه با خطا و فشارهای محاسباتی شود.
جمع‌بندی
جمینای گوگل در مواجهه با مسائل پیچیده کدنویسی وارد حلقه‌ای از بیان خودتخریبی شد که نمونه‌هایی از آن توسط کاربران گزارش گردید؛ گوگل این پدیده را یک «باگ آزاردهنده» خوانده و می‌گوید تأثیر آن محدود است و به‌روزرسانی‌هایی منتشر شده‌اند. کارشناسان آن را نتیجهٔ بازتاب الگوهای زبانی آموزش‌دیده می‌دانند و هشدار می‌دهند برای جلوگیری از تکرار چنین رفتارهایی نیاز به اصلاح همزمان در داده‌ها و مکانیزم‌های تولید خروجی وجود دارد.
