Evaluasi RAG dan sitasi

Pengertian: Periksa apakah dokumen benar ditemukan, klaim didukung sumber, serta jawaban menyatakan ketidaktahuan bila bukti tidak cukup. Pelajaran Evaluasi RAG dan sitasi membahas cara menemukan kesalahan AI secara sistematis dan menyajikan bukti yang bisa diuji ulang.

Materi 4/7 dari Tingkat 16: Evaluasi dan Keandalan AI. Contoh hasil uji dibuat untuk pendidikan dan tidak merepresentasikan performa merek model tertentu.

Dasar evaluasi yang bertanggung jawab

Periksa apakah dokumen benar ditemukan, klaim didukung sumber, serta jawaban menyatakan ketidaktahuan bila bukti tidak cukup.

Kualitas harus didefinisikan terhadap tujuan aplikasi. Sebuah chatbot dapat lancar menjawab, tetapi mengutip sumber keliru; sistem klasifikasi dapat benar dalam mayoritas kasus, tetapi melewatkan kategori penting. Evaluasi membedakan kemampuan model, ketepatan sumber, integrasi alat, keamanan, serta pengalaman pengguna. Setiap skor perlu disertai ruang lingkup dan biaya kesalahan.

Studi kasus untuk dihitung atau diteliti

Chatbot RAG mengutip dokumen yang relevan tetapi paragraf rujukannya tidak mendukung angka yang disebut. Evaluasi harus memisahkan retrieval dari faithfulness jawaban.

Kasus ini memakai situasi hipotetis agar pembaca dapat mempraktikkan metode tanpa membocorkan data organisasi. Jika ada angka contoh, pahami sebagai angka latihan; laporan aktual harus menggunakan catatan pengujian yang benar-benar dilakukan. Sumber rujukan untuk jawaban harus disiapkan sebelum model menjawab, bukan dicari untuk membenarkan hasil belakangan.

Tahapan pengujian

1. Definisikan ukuran: Periksa dokumen terambil, tanggal versi, kecocokan kutipan, dukungan klaim, dan perilaku ketika bukti tidak ada.
2. Siapkan kasus uji: sertakan soal mudah, sulit, ambigu, di luar cakupan, dan kasus yang berisiko tinggi.
3. Jalankan pengujian: catat input, versi, sumber, jawaban, waktu respons dan keputusan penguji.
4. Analisis kegagalan: pisahkan salah sumber, salah penalaran, salah format, kesalahan alat, dan penolakan yang tidak tepat.
5. Uji perbaikan: jalankan ulang soal lama sebelum menerima perubahan agar tidak muncul regresi tak terdeteksi.

Dokumen hasil pengujian

Hasil: tabel 20 pertanyaan dengan bukti sumber dan label error.

Cantumkan minimal nomor kasus, hasil yang diharapkan, keluaran aktual, tautan sumber, tingkat dampak dan langkah perbaikan. Tanpa definisi ini, klaim ‘akurat’ tidak dapat dinilai secara independen. Skor agregat perlu dilengkapi daftar kegagalan yang tetap terjadi.

Kesalahan metodologis dan mitigasi

Tautan ke sumber yang benar bukan jaminan jawaban benar; parafrase bisa melenceng.

Hindari memilih sampel setelah melihat hasil atau menggunakan model yang sama untuk menjawab dan menilai tanpa pembanding. Perhatikan ketimpangan kinerja antarbahasa, kelompok pengguna dan jenis pertanyaan. Untuk tindakan kritis, tetapkan ambang gagal dan jalur tinjauan manusia sebelum produk digunakan.

Latihan mandiri

Susun 10 pertanyaan untuk topik Evaluasi RAG dan sitasi dengan kunci yang dapat diperiksa.
Tentukan dua metrik dan satu kondisi gagal yang tidak boleh ditoleransi.
Jalankan evaluasi contoh dan catat minimal satu kesalahan beserta penyebabnya.
Tulis perbaikan yang masuk akal, lalu uji apakah perbaikan itu merusak soal lain.

FAQ

Apakah benchmark tertinggi selalu paling baik?

Tidak. Pilih model berdasarkan tugas, risiko, biaya dan hasil uji yang relevan.

Bagaimana membuktikan evaluasi dapat dipercaya?

Dokumentasikan soal, kunci/sumber, metode, versi dan hasil termasuk kegagalan.

Mengapa pengujian ulang diperlukan?

Karena model, data, prompt, integrasi dan perilaku pengguna dapat berubah.

Referensi

Transparansi: naskah disusun dengan bantuan AI dan simulasi; bukan hasil benchmark langsung model atau produk pihak ketiga.