Pengujian regresi

Pengertian: Jalankan kembali contoh penting setelah model, prompt, atau basis dokumen berubah. Catat perbedaan dan apakah perubahan memburuk. Pelajaran Pengujian regresi membahas cara menemukan kesalahan AI secara sistematis dan menyajikan bukti yang bisa diuji ulang.

Materi 6/7 dari Tingkat 16: Evaluasi dan Keandalan AI. Contoh hasil uji dibuat untuk pendidikan dan tidak merepresentasikan performa merek model tertentu.

Dasar evaluasi yang bertanggung jawab

Jalankan kembali contoh penting setelah model, prompt, atau basis dokumen berubah. Catat perbedaan dan apakah perubahan memburuk.

Kualitas harus didefinisikan terhadap tujuan aplikasi. Sebuah chatbot dapat lancar menjawab, tetapi mengutip sumber keliru; sistem klasifikasi dapat benar dalam mayoritas kasus, tetapi melewatkan kategori penting. Evaluasi membedakan kemampuan model, ketepatan sumber, integrasi alat, keamanan, serta pengalaman pengguna. Setiap skor perlu disertai ruang lingkup dan biaya kesalahan.

Studi kasus untuk dihitung atau diteliti

Setelah mengganti prompt, sistem sebelumnya benar menjawab jam layanan tetapi sekarang mengarang hari libur. Jalankan kembali kumpulan uji kritis versi lama dan baru.

Kasus ini memakai situasi hipotetis agar pembaca dapat mempraktikkan metode tanpa membocorkan data organisasi. Jika ada angka contoh, pahami sebagai angka latihan; laporan aktual harus menggunakan catatan pengujian yang benar-benar dilakukan. Sumber rujukan untuk jawaban harus disiapkan sebelum model menjawab, bukan dicari untuk membenarkan hasil belakangan.

Tahapan pengujian

1. Definisikan ukuran: Simpan ID model/prompt/dokumen, gunakan dataset tetap dan catat perbedaan per soal.
2. Siapkan kasus uji: sertakan soal mudah, sulit, ambigu, di luar cakupan, dan kasus yang berisiko tinggi.
3. Jalankan pengujian: catat input, versi, sumber, jawaban, waktu respons dan keputusan penguji.
4. Analisis kegagalan: pisahkan salah sumber, salah penalaran, salah format, kesalahan alat, dan penolakan yang tidak tepat.
5. Uji perbaikan: jalankan ulang soal lama sebelum menerima perubahan agar tidak muncul regresi tak terdeteksi.

Dokumen hasil pengujian

Hasil: tabel sebelum/sesudah dan kriteria rollback.

Cantumkan minimal nomor kasus, hasil yang diharapkan, keluaran aktual, tautan sumber, tingkat dampak dan langkah perbaikan. Tanpa definisi ini, klaim ‘akurat’ tidak dapat dinilai secara independen. Skor agregat perlu dilengkapi daftar kegagalan yang tetap terjadi.

Kesalahan metodologis dan mitigasi

Menaikkan skor satu benchmark tidak cukup jika fungsi penting mengalami regresi.

Hindari memilih sampel setelah melihat hasil atau menggunakan model yang sama untuk menjawab dan menilai tanpa pembanding. Perhatikan ketimpangan kinerja antarbahasa, kelompok pengguna dan jenis pertanyaan. Untuk tindakan kritis, tetapkan ambang gagal dan jalur tinjauan manusia sebelum produk digunakan.

Latihan mandiri

Susun 10 pertanyaan untuk topik Pengujian regresi dengan kunci yang dapat diperiksa.
Tentukan dua metrik dan satu kondisi gagal yang tidak boleh ditoleransi.
Jalankan evaluasi contoh dan catat minimal satu kesalahan beserta penyebabnya.
Tulis perbaikan yang masuk akal, lalu uji apakah perbaikan itu merusak soal lain.

FAQ

Apakah benchmark tertinggi selalu paling baik?

Tidak. Pilih model berdasarkan tugas, risiko, biaya dan hasil uji yang relevan.

Bagaimana membuktikan evaluasi dapat dipercaya?

Dokumentasikan soal, kunci/sumber, metode, versi dan hasil termasuk kegagalan.

Mengapa pengujian ulang diperlukan?

Karena model, data, prompt, integrasi dan perilaku pengguna dapat berubah.

Referensi

Transparansi: naskah disusun dengan bantuan AI dan simulasi; bukan hasil benchmark langsung model atau produk pihak ketiga.