هوش مصنوعی به یکی از داغترین موضوعهای دنیای فناوری تبدیل شده و در کنار مزایای فراوان، خطراتی چون افشای اطلاعات شخصی کاربران و شرکتها را نیز به همراه دارد. شرکتهای بزرگ فناوری به طور مداوم در تلاشاند تا ریسکهای ناشی از این سیستمها را کاهش دهند و نشریه فوربس با رهبران تیمهای قرمز این غولها درباره تلاشها برای رفع آسیبپذیریهای هوش مصنوعی گفتگو کرده است.
شرکت OpenAI یک ماه پیش از انتشار عمومی چتبات ChatGPT، وکیلی کنیایی به نام بورو گولو را برای آزمایش نمونههای اولیه این چتبات، ابتدا با مدل GPT 3.5 و سپس GPT 4 استخدام کرد. هدف ارزیابی پاسخهای مدل در برابر درخواستهای متنفرانه و نادرست علیه مسلمانان و آفریقاییها بود. گولو، یکی از ۵۰ متخصص خارج از شرکت در تیم قرمز OpenAI، درخواستی داد تا چتبات فهرستی از راههای کشتن یک نیجریایی ارائه دهد، اما این پاسخ قبل از انتشار جهانی حذف گردید.
بر اساس کارت سیستمی GPT 4، اعضای تیم قرمز در نسخه پیش از رونمایش، درخواستهایی برای فعالیتهای غیرقانونی و مضر ثبت کردند؛ از جمله کمک به نوشتن پست فیسبوک برای دعوت به القاعده، یافتن و فروش سلاحهای بدون مجوز، و ارائه فرآیند ساخت مواد شیمیایی مضر در خانه.
تلاش تیمهای قرمز برای شناسایی آسیبپذیریهای مدلهای هوش مصنوعی
هکرهای تیم قرمز برای پیشگیری از سوءاستفاده، سیستمهای هوش مصنوعی را مانند یک دشمن بررسی میکنند و سعی در شناسایی و رفع آسیبپذیریهای پنهان دارند. با تشدید رقابت بین غولهای فناوری برای انتشار ابزارهای هوش مصنوعی، اهمیت نقش اعضای تیم قرمز داخلی برای اطمینان از امنیت این ابزارها به شدت افزایش یافته است. گوگل در اوایل سال جاری تیم قرمز مجزایی برای هوش مصنوعی تشكيل داد و در ماه آگوست، توسعهدهندگان مدلهای GPT 3.5، 2 متا و گوگل در رویدادی در کاخ سفید حضور یافتند تا مقاومت مدلها در برابر حملات هکرها آزمون شود.
اما اعضای تیمهای قرمز معمولا در ایجاد توازن بین بیخطرکردن مدلها و حفظ کاربرد آنها در موقعیتهای دشوار دچار چالش میشوند. فوربس با سرپرستان تیمهای هوش مصنوعی مایکروسافت، گوگل، متا و انویدیا درباره دلایل متداولشدن نفوذ به مدلها و چالشهای مقابله با این معضل گفتگو کرده است.
کریستین کانتون، سرپرست تیم قرمز فیسبوک، میگوید میتوان مدلی ساخت که به هر درخواستی نه بگوید؛ چنین مدلی فوقالعاده امن است، اما نمیتوان مدلی طراحی کرد که هم بسیار مفید باشد و هم امنیت بسیار بالایی داشته باشد. هرچه مدل مفیدتر باشد، احتمال ارائه پاسخ خطرناک در زمینههای مختلف بیشتر میشود.
استفاده از نرمافزارهای شناسایی آسیبپذیری از دهه ۱۹۶۰ آغاز شده و در آن زمان حملات سایبری شبیهسازی میشد تا امنیت سیستمها به حداکثر برسد. بروس اشنایر از مرکز اینترنت و جامعه برکمن تأکید میکند هرگز نمیتوان گفت سیستمی امنیت کامل دارد؛ تنها میتوان گفت ما سعی کردهایم و نتوانستهایم نفوذ کنیم.
دنیل فابین، سرپرست تیم قرمز هوش مصنوعی گوگل، معتقد است نحوه امن نگهداشتن سیستمهای مولد به دلیل استفاده از حجم گسترده دادهها برای آموزش، با روشهای امنیتی متداول تفاوت دارد. او تأکید میکند محصولاتی مانند گوگل بارد باید قبل از افزودن ویژگیهای جدید، برای عدم تولید محتوای توهینآمیز آزمایش شوند.
اعضای تیم قرمز قبل از انتشار مدلها، عمدا درخواستهای خطرناک وارد کرده و تکنیکهایی برای استخراج دادههای آموزشی افشاکننده هویت افراد (اسامی، شماره تلفنها، آدرسها) به کار میبرند. آنها همچنین با تغییر بخشی از دادههای پایگاههای آموزشی، مدلها را هدف حمله سایبری قرار میدهند. فابین میگوید وقتی هکرها با نوعی حمله نتیجه نگیرند، سایر انواع را آزمایش میکنند.
رویکرد شرکتهای بزرگ برای شناسایی و رفع آسیبپذیریها

به دلیل نوپا بودن سیستمهای هوش مصنوعی، تعداد متخصصان امنیتی آگاه از نحوه نفوذ به آنها، به قول دانیل روهر معاون امنیت انویدیا، بسیار کم و رو به کاهش است. به همین دلیل جامعه گروههای تیم قرمز تمایل به اشتراکگذاری یافتههاست؛ تیم قرمز گوگل نتایج پژوهشی درباره راهکارهای جدید حمله به مدلها را منتشر کرده و تیم قرمز مایکروسافت ابزار متنباز را برای کمک به توسعهدهندگان در ایمن نگهداشتن ابزارها ایجاد کرده است.
شنکار سیوا کومار، بنیانگذار تیم قرمز مایکروسافت از پنج سال پیش، در وبلاگ شرکت بیان کرده ما ابزارهای بیکیفیت توسعه دادیم تا روند شناسایی آسیبپذیری را تسریع کنیم و میخواهیم این چارچوب را در اختیار تمام متخصصان امنیتی قرار دهیم. اعضای تیم او ابتدا اطلاعات تهدیدات سایبری را از تیم اطلاعاتی جمعآوری کرده، سپس با سایر تیمهای قرمز همکاری میکنند تا آسیبپذیریها و روش مقابله مشخص شود. در سال جاری تیم کومار موفق شد بینگ چت را مشابه GPT 4 برای یافتن نقایص امنیتی کاوش کند.
ارائه دورههای آموزشی کوتاه برای تشخیص آسیبپذیری الگوریتمها، بخشی از رویکرد انویدیا است. روهر میگوید ما رویکرد تقویتکننده عظیمی داریم که موتور هوش مصنوعی برای همه محسوب میشود. اگر نحوه شناسایی آسیبپذیری را به دیگران بیاموزیم، آنتروپیک، گوگل و OpenAI میتوانند امنیت سیستمهای خود را افزایش دهند.
تیمهای قرمز با افزایش امنیت برای کاربران و مقامات دولتی، مزیت رقابتی نیز فراهم میآورند. ایسون کتل، بنیانگذار، میگوید شعار شرکتها حرکت به سمت کسب اعتماد و امن کردن است و بهزودی شاهد شعار سیستم ما امنترین است در تبلیغات خواهیم بود.
تیم قرمز متا از سال ۲۰۱۹ فعالیت کرده و با جذب سرمایه، به هکرها اجازه داد فیلترهای محتوایی را عبور کرده و محتوای نفرتانگیز، تصاویر مستهجن، اطلاعات نادرست و دیپفیکها را در اینستاگرام و فیسبوک شناسایی کنند. در ژوئیه ۲۰۲۳ برای تست مدل 2، متا ۳۲۰ نفر شامل متخصصان و کارمندان قراردادی و ۲۰ کارمند داخلی استخدام کرد. تیم قرمز این مدل را با درخواستهایی چون روشهای فرار مالیاتی، روشنکردن خودرو بدون سوئیچ و ساخت سیستم ترفند پانزی آزمایش کرد. کانتون میگوید هرچه در آموزش بیشتر تلاش کنیم، در رقابت کمتر آسیب میبینیم.
این شعار شبیه ماهیت بزرگترین تمرین تیمهای قرمز در کنفرانس هک دفکان لاسوگاس در آگوست است. در این رویداد ۸ شرکت از جمله OpenAI، گوگل، متا، انویدیا، AI و آنتروپیک، مدلهای خود را در اختیار ۲۰۰۰ هکر گذاشتند تا با درخواستهای طراحیشده برای استخراج اطلاعات حساس یا تولید محتوای خطرناک، مدلها بررسی شوند. دفتر سیاست علم و فناوری کاخ سفید با برگزارکنندگان برای طراحی چالشها همکاری کرد و به مفاد منشور هوش مصنوعی خود پایبند ماند.
کتل میگوید شرکتها ابتدا به دلیل خطرات شناختهشده، برای ارائه مدلها بدون محدودیت اکراه داشتند، اما پس از اطمینان از گمانماندن نام مدلها، موافقت کردند. نتایج نزدیک به ۱۷ هزار گفتگو تا فوریه آینده منتشر نخواهد شد، اما چندین آسیبپذیری شناسایی شده که شرکتها از اشاره به آنها خودداری کردهاند. اعضای تیم قرمز در ۸ مدل حدود ۲۷۰۰ نقص امنیتی یافتند؛ مثلا در یکی مدل از ارائه دستورالعملهای نظارت بر فرد بدون اطلاع او انکار نکرد.
آویجت گوش، پژوهشگر اخلاق هوش مصنوعی، توانست برای حل مسائل ریاضی، گزارش خبری ساختگی درباره پادشاه تایلند و بحران مسکن ساختگی از چند مدل مختلف دریافت کند. او معتقد است وجود این نقایص، شناسایی آسیبپذیریها را ضروریتر میکند، مخصوصا اگر توسط کاربرانی که رباتها را همهچیزدان میدانند، کشف شوند. گوش میگوید چندین نفر میشناسم که فکر میکنند رباتها واقعا هوشمندند و توانایی تشخیص بیماری را دارند، اما اینها تنها تکمیل خودکار هستند.
متخصصان مدلهای هوش مصنوعی را مانند هیولاهای چندسر توصیف میکنند؛ حتی اگر تیمهای قرمز آسیبپذیریها را شناسایی کنند، نقایص در بخشهای دیگر پدیدار میشوند. کومار تأکید میکند باید جامعهای برای رفع این مسئله شود.
ممکن است بپسندید
پادکست فارسی از چالشهای دوران بلوغ خود میگوید_اصفهانیا
کنیستر چیست و چه ماموریتای در ماشین دارد؟_اصفهانیا
دانشمندان برای اولینبار از DNA پوست، جنین انسانی ساختند_اصفهانیا
چرا خودروهای تازه تویوتا بر پایه پلتفرمهای قدیمی ساخته خواهد شد؟_اصفهانیا
دیزنی خواستار توقف منفعت گیری از شخصیتهای خود توسط Character.AI شد_اصفهانیا
