ChatGPT در جواب‌دادن به سؤالات برنامه‌نویسی چندان دقیق نیست

تیمی از دانشمندان حوزه کامپیوتر در دانشگاه پردو دریافتند که چت‌بات هوش مصنوعی محبوب ChatGPT در جواب به سؤالات برنامه‌نویسی کامپیوتر خطاهای تعداد بسیاری دارد و جواب‌های نادرست تعداد بسیاری می‌دهد.

این گروه در مقاله خود که به‌گفتن بخشی از مجموعه مقالات کنفرانس CHI در رابطه عوامل انسانی در سیستم‌های محاسباتی انتشار شد، توضیح می‌دهد که چطور سؤالات را از وب‌سایت StackOverflow بیرون آورده و آن‌ها را به ChatGPT داده و سپس مقدار دقت آن را زمان جواب‌دهی اندازه‌گیری کرده‌اند.

این تیم یافته‌های خود را در کنفرانس عوامل انسانی در سیستم‌های محاسباتی (CHI 2024) که از ۱۱ تا ۱۶ می برگزار شد، اراعه کردند.

دانشمندان مقدار دقت ChatGPT را در جواب به سؤالات برنامه‌نویسی بازدید کردند

چت‌بات هوش مصنوعی ChatGPT و دیگر LLM‌ها اخیراً مورد دقت قرار دارند. از آنجایی که این چنین برنامه‌هایی در دسترس عموم قرار گرفته‌اند، زیاد محبوب شده‌اند. اما متأسفانه، همراه با گنجینه‌ای از اطلاعات سودمند حاضر در تعداد بسیاری از جواب‌های اراعه‌شده توسط این چنین برنامه‌هایی، انبوهی از نادرستی‌ها نیز وجود دارد. حتی تأسف‌بارتر این است که همیشه اشکار نیست که برنامه‌ها چه وقتی جواب‌های نادرست خواهند داد.

در این مطالعه تازه، تیم تحقیقاتی دانشگاه پردو اشاره کرد که تعداد بسیاری از دانشجویان برنامه‌نویسی از LLMها، نه‌تنها برای پشتیبانی به نوشتن کد در تکالیف برنامه‌نویسی، بلکه برای جواب‌دادن به سؤالات مربوط به برنامه‌نویسی منفعت گیری می‌کنند.

این تیم تحقیقاتی ۵۱۷ سوال را در نظر گرفتند، و بازدید کردند که هوش مصنوعی ChatGPT چند بار جواب صحیح به این سؤالات داده است. متأسفانه مقدار دقت این چت‌بات تنها در ۵۲ درصد موارد گزارش شده است. بازدید‌ها در رابطه جواب‌های چت‌بات‌های هوش مصنوعی هم چنان ادامه دارد.

محققان از سؤالاتی منفعت گیری کردند که به‌صورت رایگان در وب‌سایت StackOverflow در دسترس است. این وب‌سایت برای پشتیبانی به برنامه‌نویسان برای یادگیری زیاد تر در رابطه برنامه‌نویسی ازطریق کار با دیگران تشکیل شده است.