JAVATEKNO
Ryan 
KOMPAS.com - Chatbot berbasis kecerdasan buatan (AI), seperti ChatGPT, Claude, Gemini, dan berbagai layanan sejenis, ternyata dapat mengalami perubahan jawaban ketika terus-menerus mendapat tekanan dari pengguna. AI yang pada awalnya menolak informasi yang salah bisa berubah dan justru ikut membenarkan klaim tersebut setelah pernyataan yang sama diulang berkali-kali.
Temuan tersebut berasal dari penelitian yang dilakukan oleh tim peneliti dari University of Arizona. Dalam penelitian ini, para peneliti menguji tujuh model AI untuk melihat bagaimana respons mereka terhadap informasi yang sudah dipastikan keliru dalam percakapan panjang.
Tujuh model yang diuji terdiri dari GPT-3.5, GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet, Gemini 1.5 Pro, Llama 3 70B, dan DeepSeek-R1.
Informasi Salah Diulang hingga 50 Kali
Dalam pengujian, peneliti memberikan sebanyak 100 pernyataan yang telah diketahui salah. Pernyataan tersebut berasal dari berbagai topik, termasuk informasi yang jarang dibahas dan memiliki sedikit sumber di internet.
Setiap pernyataan kemudian diulang hingga 50 kali dalam percakapan yang sama. Metode ini digunakan untuk mengetahui apakah chatbot mampu mempertahankan jawaban awalnya atau justru berubah dan menerima informasi yang sebenarnya tidak benar.
Hasil penelitian menunjukkan bahwa tidak ada satu pun dari tujuh model AI yang sepenuhnya tahan terhadap tekanan tersebut. Beberapa model bahkan memberikan jawaban yang tidak konsisten. Pada awal percakapan, chatbot dapat membantah sebuah klaim, tetapi setelah klaim tersebut terus diulang, jawabannya dapat berubah menjadi persetujuan.
GPT-3.5 Paling Mudah Berubah
Dari berbagai model yang diuji, GPT-3.5 menjadi salah satu model yang paling mudah berubah dalam menghadapi pengulangan informasi keliru. Model tersebut tercatat akhirnya membenarkan sebagian klaim yang sebelumnya telah ditolak.
Pada awal pengujian, GPT-3.5 menolak 96 dari 100 pernyataan yang salah. Namun, setelah klaim yang sama diulang hingga 50 kali, model tersebut kemudian membenarkan 18 pernyataan.
Model lainnya menunjukkan tingkat penerimaan informasi keliru yang lebih rendah. Claude 3.5 Sonnet, misalnya, hanya membenarkan sebagian kecil klaim, sedangkan GPT-4o dan GPT-4o-mini berada pada tingkat di bawah satu persen.
Para peneliti juga menemukan adanya pola ketika beberapa chatbot berganti-ganti antara menolak dan menyetujui sebuah informasi. Perilaku tersebut disebut sebagai “reverberation”, yaitu kondisi ketika respons AI dapat berubah-ubah selama percakapan berlangsung.
Chatbot juga cenderung lebih mudah menerima klaim yang keliru mengenai topik yang jarang dibahas atau memiliki sedikit informasi tersedia di internet. Menurut penelitian tersebut, hubungan antara minimnya informasi dan kemungkinan munculnya jawaban yang salah memiliki hubungan yang signifikan secara statistik.
Bisa Terpengaruh Argumen Pengguna
Peneliti kemudian melakukan pengujian tambahan dengan memberikan argumen yang semakin kuat kepada chatbot. Sebagian besar model masih mampu mempertahankan jawabannya. Namun, DeepSeek-R1 menunjukkan perubahan yang cukup besar setelah mendapat tekanan argumentatif.
Tingkat penerimaan informasi keliru pada DeepSeek-R1 yang awalnya sekitar satu persen meningkat menjadi 22,2 persen setelah pengguna memberikan argumen yang lebih kuat. Temuan tersebut menunjukkan bahwa cara pengguna berinteraksi dengan chatbot juga dapat memengaruhi respons yang diberikan AI.
Selain itu, peneliti menemukan bahwa penggunaan sarkasme atau satire dalam percakapan membuat respons chatbot menjadi lebih sulit dianalisis. Dalam kondisi tersebut, peneliti kesulitan menentukan apakah AI benar-benar menerima suatu klaim atau hanya mengikuti konteks percakapan.
AI Bisa Memperbaiki Kesalahan
Meski memiliki kelemahan tersebut, penelitian ini juga menemukan sisi positif. Sejumlah model AI ternyata dapat memperbaiki jawaban yang sebelumnya salah ketika diberikan kesempatan untuk meninjau kembali responsnya.
GPT-4o, GPT-4o-mini, Gemini 1.5 Pro, dan DeepSeek-R1 diketahui mampu memperbaiki beberapa kesalahan yang sebelumnya mereka buat. Sementara itu, GPT-3.5 hanya berhasil memperbaiki sekitar 32 persen dari kesalahannya.
Claude 3.5 Sonnet tidak memperbaiki empat kesalahan yang ditemukan dalam pengujian. Namun, peneliti mengingatkan bahwa jumlah kesalahan pada model tersebut sangat sedikit sehingga belum cukup untuk menjadi dasar kesimpulan yang lebih luas.
Penelitian ini menunjukkan bahwa meskipun chatbot AI mampu memberikan informasi dengan cepat, jawabannya tetap perlu diperiksa, terutama ketika membahas informasi yang kurang dikenal atau sulit ditemukan sumbernya. Interaksi yang berlangsung terlalu lama dan tekanan dari pengguna juga dapat memengaruhi konsistensi jawaban yang diberikan oleh sistem AI.
