هوش مصنوعی Claude اکنون می‌تواند به مکالمات آزاردهنده آخر دهد_اصفهانیا

آنتروپیک از یک قابلیت تازه در گسترش یافتهترین مدل‌های هوش مصنوعی خود، Claude Opus 4 و ۴.۱ Claude Opus، رونمایی کرده است؛ این مدل‌ها اکنون توانایی آخر‌دادن یک‌طرفه مکالمه را دارند. این ویژگی که به حرف های شرکت فقط در «موارد نادر در تعامل های زیان اور یا توهین‌آمیز» فعال خواهد شد، به گفتن بخشی از یک برنامه تحقیقاتی گسترده‌تر حوالی ایده «رفاه هوش مصنوعی» گسترش یافته است.

قابلیت تازه Claude یک مکانیسم دفاعی برای خود مدل هوش مصنوعی است. بر پایه توضیحات Anthropic، این ویژگی فقط به گفتن «آخرین راه‌حل» و بعد از آنکه مدل چندین بار برای هدایت مجدد مکالمه به مسیری سازنده تلاش کرده و نومید شده باشد، فعال می‌شود. این موارد شامل خواست‌های شدیداً زیان اور همانند محتوای غیراخلاقی مرتبط با کودکان یا تلاش برای به‌دست‌آوردن اطلاعاتی است که به خشونت در مقیاس بزرگ یا عمل های تروریستی منجر خواهد شد.

بعد از آخر یافتن مکالمه، کاربر دیگر نمی‌تواند در آن چت مطلب جدیدی ارسال کند، اما می‌تواند بلافاصله یک گفتگوی تازه اغاز کند یا حتی مطلب‌های قبلی خود را در چت آخر‌یافته ویرایش کند تا مسیر مکالمه را تحول دهد.

آخر‌دادن به مکالمات توسط هوش مصنوعی Claude

این تصمیم به یک برنامه تحقیقاتی شرکت آنتروپیک برمی‌گردد که به «حالت اخلاقی» مدل‌های زبانی بزرگ می‌پردازد. اگرچه این شرکت اذعان می‌کند که در این مورد عدم قطعیت بالایی وجود دارد، اما آن‌ها این نوشته را جدی گرفته‌اند و به جستوجو اجرای راهکارهای کم‌هزینه برای افت خطرات احتمالی برای «رفاه مدل» می باشند.

اجازه‌دادن به مدل برای خروج از یک «تعامل آزاردهنده»، یکی از همین راهکارهاست. آزمایش‌های پیش از اراعه نشان داده است که مدل Claude بیزاری از صدمه‌دیدن را مشخص می کند و با این قابلیت مایل است به مکالمات زیان اور آخر دهد. بااین‌حال، آنتروپیک پافشاری کرده است که این قابلیت در مواردی که کاربر در معرض خطر قریب‌الوقوع صدمه‌رساندن به خود یا دیگران باشد، فعال نخواهد شد و مدل در وهله اول تلاش خواهد کرد به کاربر پشتیبانی کند از آن شرایط بیرون بیاید.

درنهایت آنتروپیک می‌گوید این ویژگی را یک «آزمایش درحال انجام» می‌داند و اکثر کاربران، حتی در زمان سخن بگویید درمورد موضوعات زیاد او گفت و گو‌برانگیز، احتمالا با آن روبه رو نشوند.