Akurasi, precision, dan recall

Pengertian: Pilih metrik sesuai akibat salah positif atau salah negatif. Untuk generasi bebas, tambahkan rubrik pendukung sumber, kegunaan, dan kepatuhan instruksi. Pelajaran Akurasi, precision, dan recall membahas cara menemukan kesalahan AI secara sistematis dan menyajikan bukti yang bisa diuji ulang.

Materi 3/7 dari Tingkat 16: Evaluasi dan Keandalan AI. Contoh hasil uji dibuat untuk pendidikan dan tidak merepresentasikan performa merek model tertentu.

Dasar evaluasi yang bertanggung jawab

Pilih metrik sesuai akibat salah positif atau salah negatif. Untuk generasi bebas, tambahkan rubrik pendukung sumber, kegunaan, dan kepatuhan instruksi.

Kualitas harus didefinisikan terhadap tujuan aplikasi. Sebuah chatbot dapat lancar menjawab, tetapi mengutip sumber keliru; sistem klasifikasi dapat benar dalam mayoritas kasus, tetapi melewatkan kategori penting. Evaluasi membedakan kemampuan model, ketepatan sumber, integrasi alat, keamanan, serta pengalaman pengguna. Setiap skor perlu disertai ruang lingkup dan biaya kesalahan.

Studi kasus untuk dihitung atau diteliti

Sistem mengklasifikasikan aduan mendesak. Salah menandai aduan normal mengganggu kerja, tetapi gagal mendeteksi aduan mendesak bisa lebih berbahaya. Accuracy saja tidak cukup.

Kasus ini memakai situasi hipotetis agar pembaca dapat mempraktikkan metode tanpa membocorkan data organisasi. Jika ada angka contoh, pahami sebagai angka latihan; laporan aktual harus menggunakan catatan pengujian yang benar-benar dilakukan. Sumber rujukan untuk jawaban harus disiapkan sebelum model menjawab, bukan dicari untuk membenarkan hasil belakangan.

Tahapan pengujian

1. Definisikan ukuran: Hitung confusion matrix, precision, recall dan biaya salah positif/negatif dengan contoh sederhana.
2. Siapkan kasus uji: sertakan soal mudah, sulit, ambigu, di luar cakupan, dan kasus yang berisiko tinggi.
3. Jalankan pengujian: catat input, versi, sumber, jawaban, waktu respons dan keputusan penguji.
4. Analisis kegagalan: pisahkan salah sumber, salah penalaran, salah format, kesalahan alat, dan penolakan yang tidak tepat.
5. Uji perbaikan: jalankan ulang soal lama sebelum menerima perubahan agar tidak muncul regresi tak terdeteksi.

Dokumen hasil pengujian

Hasil: confusion matrix dan alasan memilih metrik utama.

Cantumkan minimal nomor kasus, hasil yang diharapkan, keluaran aktual, tautan sumber, tingkat dampak dan langkah perbaikan. Tanpa definisi ini, klaim ‘akurat’ tidak dapat dinilai secara independen. Skor agregat perlu dilengkapi daftar kegagalan yang tetap terjadi.

Kesalahan metodologis dan mitigasi

Model yang selalu memilih kelas mayoritas bisa punya accuracy tinggi tetapi recall sangat buruk.

Hindari memilih sampel setelah melihat hasil atau menggunakan model yang sama untuk menjawab dan menilai tanpa pembanding. Perhatikan ketimpangan kinerja antarbahasa, kelompok pengguna dan jenis pertanyaan. Untuk tindakan kritis, tetapkan ambang gagal dan jalur tinjauan manusia sebelum produk digunakan.

Contoh perhitungan confusion matrix

Bayangkan sistem hipotetis menandai aduan layanan publik yang mendesak. Dari 100 aduan simulasi, terdapat 20 aduan yang benar-benar mendesak. Model berhasil menandai 16 aduan mendesak, salah menandai delapan aduan biasa sebagai mendesak, dan melewatkan empat aduan mendesak.

Hasil model	Sebenarnya mendesak	Sebenarnya biasa
Ditandai mendesak	16 (TP)	8 (FP)
Ditandai biasa	4 (FN)	72 (TN)

Precision = TP/(TP+FP) = 16/24 ≈ 66,7%. Dari setiap 24 aduan yang ditandai mendesak, delapan ternyata biasa. Recall = TP/(TP+FN) = 16/20 = 80%. Model menangkap 16 dari 20 kasus mendesak. Accuracy = (TP+TN)/total = 88/100 = 88%.

Walaupun accuracy terlihat tinggi, empat aduan mendesak yang terlewat dapat menjadi masalah besar. Keputusan ambang perlu mempertimbangkan konsekuensi false negative, beban petugas menangani false positive, dan kebutuhan jalur pemeriksaan manual. Jangan menganggap skor contoh simulasi ini hasil benchmark model sungguhan.

Latihan: jika batas klasifikasi diturunkan dan recall naik tetapi false positive juga naik, diskusikan apakah perubahan layak dilakukan untuk aduan yang berdampak pada keselamatan. Gunakan konsekuensi layanan, bukan angka skor saja, sebagai dasar argumen.

Latihan mandiri

Susun 10 pertanyaan untuk topik Akurasi, precision, dan recall dengan kunci yang dapat diperiksa.
Tentukan dua metrik dan satu kondisi gagal yang tidak boleh ditoleransi.
Jalankan evaluasi contoh dan catat minimal satu kesalahan beserta penyebabnya.
Tulis perbaikan yang masuk akal, lalu uji apakah perbaikan itu merusak soal lain.

FAQ

Apakah benchmark tertinggi selalu paling baik?

Tidak. Pilih model berdasarkan tugas, risiko, biaya dan hasil uji yang relevan.

Bagaimana membuktikan evaluasi dapat dipercaya?

Dokumentasikan soal, kunci/sumber, metode, versi dan hasil termasuk kegagalan.

Mengapa pengujian ulang diperlukan?

Karena model, data, prompt, integrasi dan perilaku pengguna dapat berubah.

Referensi

Transparansi: naskah disusun dengan bantuan AI dan simulasi; bukan hasil benchmark langsung model atau produk pihak ketiga.