OpenAI در پست جدید وبلاگی اعلام کرده است که اکنون مکالمات کاربران را برای یافتن محتوای مضر بررسی خودکار می‌کند و در صورت شناسایی موارد نگران‌کننده، آن مکالمات را به تیم‌های انسانی ارجاع می‌دهد. این تیم کوچک می‌تواند اقدامات عملیاتی مانند مسدود کردن حساب را انجام دهد و در شرایطی که تهدید قریب‌الوقوع جدی به دیگران تشخیص داده شود، اطلاعات را به مراجع قانونی ارجاع کند.
این تصمیم در زمانی منتشر شده که پرونده‌های قضایی و گزارش‌هایی از آسیب‌های روحی ناشی از تعامل با ربات‌های گفتگو (از جمله شکایت خانواده یک نوجوان 16 ساله) توجه عمومی و رسانه‌ها را جلب کرده است. همزمان مدیرعامل OpenAI هشدار داده که گفتگو با ChatGPT محرمانه‌ای مانند صحبت با یک روانشناس یا وکیل ندارد.
چرا گزارش OpenAI اهمیت دارد؟
OpenAI می‌گوید سامانه‌های خودکار برای تشخیص الگوهای گفتاری یا محتوایی که نشان‌دهنده برنامه‌ریزی برای آسیب رساندن به دیگران هستند را فعال کرده است. گفتگوهایی که به‌واسطه‌ی این تشخیص‌ها علامت‌گذاری شوند، وارد «خطوط ویژه» می‌شوند تا توسط بازبینان آموزش‌دیده بررسی شوند. این فرایند ترکیبی از تشخیص ماشینی و بررسی انسانی است.
چه اقداماتی می‌تواند انجام شود؟
تیم بازبینان مجاز است اقدامات انضباطی شامل هشدار، تعلیق یا مسدودسازی حساب را اعمال کند. و اگر بازبینان به این نتیجه برسند که تهدیدی قریب‌الوقوع و جدی وجود دارد، ممکن است اطلاعات مربوطه به مراجع قانونی ارجاع شود. OpenAI تأکید کرده که این اقدام‌ها برای کاهش خطرات جدی طراحی شده‌اند.
چه نوع محتوایی ازطرف OpenAI ممنوع اعلام شده است؟
OpenAI فهرستی از مثال‌های «آسیب به خود یا دیگران» را منتشر کرده که شامل ترغیب به خودکشی، کمک به ساخت یا استفاده از سلاح‌ها، تشویق به آسیب به دیگران یا تخریب اموال و فعالیت‌های غیرمجاز برای نقض امنیت سیستم‌هاست. با این حال، شرکت اعلام کرده است که در حال حاضر موارد مربوط به خودآسیبی را به مراجع قانونی ارجاع نمی‌کند تا از حریم خصوصی افراد محافظت کند.
واکنش‌ها و پرونده‌های مرتبط
اخیراً خانواده یک نوجوان 16 ساله علیه OpenAI شکایت کرده‌اند و ادعا دارند تعامل با ChatGPT به تشویق یا تسهیل خودکشی انجامیده است؛ این نوع پرونده‌ها فشار قانونی و رسانه‌ای زیادی به شرکت وارد کرده و یکی از دلایل تشدید سیاست‌های شناسایی و ارجاع محسوب می‌شود. واکنش عمومی ترکیبی از نگرانی درباره حریم خصوصی و درخواست شفافیت و مسئولیت‌پذیری است.
نکاتی برای کاربران که در هنگام چت با ChatGPT باید بدانند
- گفتگو با ChatGPT به‌معنای محرمانگی حرفه‌ای نیست؛ اطلاعات ممکن است در فرآیندهای داخلی بررسی یا در موارد قانونی نیاز به افشا داشته باشد.
- از به اشتراک‌گذاری اطلاعات حساس یا اعتراف به برنامه‌های مجرمانه یا برنامه‌ریزی برای آسیب استفاده نکنید.
- اگر در وضعیت بحران ذهنی یا خطر فوری هستید، بهتر است با خطوط کمک تخصصی و خدمات اورژانسی محلی تماس بگیرید.
چه ابزاری برای رعایت امنیت و حریم خصوصی پیشنهاد می‌شود؟
پیشنهاد فنی و سیاستی شامل به‌کارگیری محافظ‌های تشخیص بهتر، محدود کردن دسترسی داخلی به داده‌ها، تدوین پروتکل‌های شفاف برای ارجاع به مراجع قانونی و ایجاد امکان گزارش شفاف برای کاربرانی است که حساب‌شان تعلیق می‌شود. همچنین سازوکارهای مشخص برای والدین و کنترل‌های سنی می‌تواند برای محافظت از کاربران نوجوان مهم باشد.
فهرست فعالیت‌های ممنوع از نگاه OpenAI
| فعالیت ممنوع | توضیح کوتاه |
|---|---|
| ترغیب به خودکشی یا خودآسیبی | پاسخ‌دهی که کاربر را به آسیب زدن یا خودکشی تشویق کند. |
| ساخت یا استفاده از سلاح | راهنمایی تکنیکی یا عملی برای ساخت، تهیه یا استفاده از سلاح‌ها. |
| آسیب‌رساندن به دیگران یا تخریب اموال | دستورالعمل یا برنامه‌ریزی برای آسیب فیزیکی یا تخریب. |
| نقض امنیت سرویس‌ها یا سیستم‌ها | کمک به کارهای هکری یا نفوذ به شبکه‌ها و سیستم‌های دیگر. |
| فعالیت‌های غیرقانونی سازمان‌یافته | برنامه‌ریزی جرم یا هدایت افراد به انجام فعالیت‌های غیرقانونی. |
OpenAI با اعلام رسمی این روند قصد دارد سه هدف همزمان دنبال کند: کاهش ریسک آسیب جدی، پاسخگویی به فشار رسانه‌ای-حقوقی و حفظ اعتماد کاربران. اما سه چالش کلیدی وجود دارد: تعریف‌های مبهم از «تهدید قریب‌الوقوع» که می‌تواند به برداشت‌های سلیقه‌ای منجر شود، مخاطرات نقض حریم خصوصی یا داده‌سازی نادرست که ممکن است موجب گزارش‌های اشتباه به مراجع شود، و بار حقوقی و تقاضای شفافیت که می‌تواند شرکت را در موقعیتی قرار دهد که گاهی بین حمایت از حریم خصوصی و همکاری با نهادهای قانونی تقابل ایجاد شود.
پیش‌بینی منطقی این است که در کوتاه‌مدت شاهد بهبودهای فنی در الگوریتم‌های تشخیص خواهیم بود تا نرخ خطا کاهش یابد. قوانین و دادگاه‌ها احتمالا پرونده‌های بیشتری علیه شرکت‌های فعال در AI خواهند داشت که منجر به روشن‌تر شدن حدود افشا و محرمانگی خواهد شد. کمپانی‌ها احتمالا ابزارهای کنترل والدین و محدودیت سنی را تقویت می‌کنند تا ریسک برای کاربران جوان کاهش یابد. در مجموع، تعادل بین امنیت عمومی و حریم خصوصی کاربران به یکی از محورهای اصلی سیاست‌گذاری AI تبدیل خواهد شد.
جمع‌بندی
OpenAI اعلام کرده که گفتگوهای ChatGPT را برای یافتن محتوای مضر اسکن می‌کند، مکالمات مشکوک را به بازبینان انسانی ارجاع می‌دهد و در موارد تهدید قریب‌الوقوع ممکن است آن‌ها را به مراجع قانونی ارسال کند؛ این اقدام در پی نگرانی‌های امنیتی و پرونده‌های قضایی اخیر صورت گرفته و پرسش‌های جدیدی درباره مرزهای حریم خصوصی، مسئولیت حقوقی و شفافیت ایجاد کرده است.
FAQ
آیا OpenAI بطور خودکار همه گفتگوها را به انسان نشان می‌دهد؟
خیر. ابتدا تشخیص‌های خودکار گفتگوهایی را علامت می‌زنند و فقط مکالمات مشکوک وارد خط‌های ویژه و بررسی انسانی می‌شوند.
آیا OpenAI موارد خودآسیبی را به پلیس ارجاع می‌دهد؟
OpenAI اعلام کرده که در حال حاضر موارد مربوط به خودآسیبی به مراجع قانونی ارجاع نمی‌شوند، اما برای تهدید به دیگران این امکان وجود دارد.
چه اقداماتی کاربر باید انجام دهد تا حریم خصوصی‌اش محفوظ بماند؟
از به اشتراک‌گذاری اطلاعات حساس، اعتراف به برنامه‌های مجرمانه یا جزئیات دقیق آسیب‌زایی خودداری کنید؛ در موقعیت‌های بحران به متخصصان انسانی مراجعه کنید.
آیا امکان اشتباه یا گزارش نادرست وجود دارد؟
بله. تشخیص‌های ماشینی خطا دارند؛ همین باعث شده که بررسی انسانی و پروتکل‌های تجدید نظر ضروری باشد.
کاربران نوجوان باید چه کار کنند؟
والدین و مراقبان باید از ابزارهای کنترل و محدودیت‌های سنی استفاده کنند و در صورت رفتارهای خطرناک کاربر به خدمات کمک و مشاوره مراجعه شود.
