Riset Terbaru Mengatakan, ChatGPT Sering Buat Kesalahan
SEBUAH penelitian yang dilakukan oleh Purdue University mengungkap bahwa sebenarnya chatbot bertenaga AI ChatGPT sering melakukan kesalan. Membuat kode pemrograman menggunakan teknologi tersebut dikatakan bukanlah ide yang bagus.
Sebagaimana dihimpun dari Techspot pada Rabu (9/8/2023), para peneliti telah menguji kemampuan ChatGPT dengan menggunakan sejumlah pertanyaan pemrograman perangkat lunak. Hasilnya, setengah dari apa yang direkomendasikan ChatGPT salah.
Mereka juga menganalisis gaya linguistik dan sentimen tanggapan dan terungkap bahwa itu bukan pertunjukan yang bagus untuk ChatGPT. Produk buatan OpenAI itu hanya menjawab 48% pertanyaan dengan benar, sementara 77% jawabannya sangat berbelit-belit.
"Selama penelitian kami, kami mengamati bahwa hanya ketika kesalahan dalam jawaban ChatGPT terlihat jelas, pengguna dapat mengidentifikasi kesalahan tersebut," kata peneliti Samia Kabir, David Udo-Imeh, Bonan Kou, dan asisten profesor Tianyi Zhang.
"Namun, ketika kesalahan tidak siap diverifikasi atau membutuhkan IDE atau dokumentasi eksternal, pengguna sering gagal mengidentifikasi ketidaktepatan atau meremehkan tingkat kesalahan dalam jawaban," lanjutnya.
Banyak jawaban yang salah disebabkan oleh ketidakmampuan ChatGPT untuk memahami konteks yang mendasari pertanyaan yang diajukan. Temuan terbaru ini jelas membuka pikiran banyak orang bahwa tidak semua yang keluar dari ChatGPT merupakan sebuah kebenaran.
Bahkan raksasa teknologi Google telah memperingatkan karyawannya tentang bahaya chatbot, termasuk Bard-nya sendiri, dan untuk menghindari penggunaan langsung kode yang dihasilkan oleh layanan ini. Ketika ditanya mengapa, perusahaan tersebut mengatakan bahwa Bard dapat membuat saran kode yang tidak diinginkan.
(Muhammad Pratama Supriyadillah)
