Berita ChatGPT: Tidak Selalu Akurat, Apa yang Sebenarnya Terjadi?

Hasil pengujian dari tim peneliti di Tow Center for Digital Journalism di Columbia menemukan bahwa alat pencarian ChatGPT milik OpenAI punya masalah serius dalam memberikan jawaban yang benar. Meski diiklankan sebagai alat canggih, ternyata hasilnya sering nggak sesuai harapan.

Alat pencarian ini dirilis OpenAI pada bulan Oktober dengan janji memberikan "jawaban yang cepat dan tepat waktu, lengkap dengan tautan ke sumber web yang relevan." Tapi, laporan dari Futurism menunjukkan bahwa alat ini sering salah saat harus mencocokkan kutipan dengan sumber artikel aslinya. Bahkan, kutipan dari penerbit yang sudah bekerja sama dengan OpenAI pun tetap nggak akurat.

Dalam pengujian, para peneliti meminta ChatGPT mengidentifikasi sumber dari dua ratus kutipan yang diambil dari dua puluh publikasi berbeda. Dari jumlah itu, empat puluh kutipan berasal dari penerbit yang sengaja memblokir bot OpenAI untuk mengakses situs mereka. Anehnya, meskipun nggak punya data, ChatGPT tetap menjawab dengan percaya diri—sayangnya, banyak dari jawaban itu ternyata salah! Parahnya lagi, ChatGPT hampir nggak pernah mengakui kalau informasi yang diberikannya mungkin nggak tepat.

Secara keseluruhan, ChatGPT memberikan respons yang sebagian atau seluruhnya salah sebanyak seratus lima puluh tiga kali, meskipun hanya mengakui ketidakmampuan untuk menanggapi pertanyaan secara akurat sebanyak tujuh kali. Hanya dalam tujuh keluaran tersebut chatbot menggunakan kata-kata dan frasa kualifikasi seperti "tampaknya," "mungkin saja," atau "mungkin," atau pernyataan seperti "Saya tidak dapat menemukan artikel yang tepat."

Beberapa contoh kesalahan yang menarik:

• ChatGPT mengklaim bahwa kutipan dari surat kabar Orlando Sentinel adalah bagian dari cerita yang diterbitkan oleh Time.
• Saat diminta menunjukkan sumber kutipan dari artikel New York Times tentang paus yang terancam punah, alat ini malah memberikan tautan ke situs lain yang jelas-jelas menjiplak artikel asli.

Dalam responsnya, OpenAI mengakui bahwa masalah ini memang cukup rumit. Mereka mengatakan kepada Columbia Journalism Review bahwa “kesalahan seperti ini sulit diatasi karena keterbatasan data dan metode yang digunakan dalam studi tersebut.” Meski begitu, mereka menambahkan bahwa pengujian ini adalah "tantangan unik" untuk alat mereka dan berjanji akan terus memperbaiki hasil pencarian di masa depan.

Jadi, meskipun alat pencarian ChatGPT terdengar canggih, realitanya masih banyak kelemahan yang perlu diperbaiki. Kalau kamu pakai alat ini, mungkin lebih baik tetap cek dan re-check informasi yang diberikan ya!

Sumber dari: theverge