Tingkat 16: Evaluasi dan Keandalan AI

Tingkat 16: Evaluasi dan Keandalan AI merupakan jalur sistem lanjutan di Akademi AI AIGEO.ID. Skor model populer tidak cukup untuk menyatakan sebuah aplikasi AI andal. Pengujian harus memakai pekerjaan nyata, kasus yang gagal, kelompok pengguna berbeda, dan kondisi tak terduga. Tingkat ini mengajarkan pendekatan evaluasi sistematis dengan laporan bukti serta prosedur perbaikan.

Tujuh pelajaran telah diterbitkan. Gunakan halaman ini untuk memilih materi, kemudian ikuti langkah dan latihan dalam halaman pelajaran masing-masing. Tautan sudah mengarah ke konten lengkap.

Hasil belajar

• Menyusun kumpulan pengujian dengan kunci atau rubrik yang dapat dipertanggungjawabkan.
• Memisahkan kualitas model dari kegagalan sumber, antarmuka, dan alat.
• Menentukan ambang untuk rilis, pengawasan, dan pembatalan perubahan.

Baca pelajaran

1. 01. Merumuskan tujuan evaluasi — Tentukan perilaku yang dinilai dan risiko kesalahan. Hasil ‘menarik’ dalam demo tidak cukup sebagai ukuran kelayakan.
2. 02. Membangun dataset uji — Gunakan pertanyaan yang mencerminkan kondisi nyata termasuk bahasa Indonesia, variasi pengguna, dan kasus yang tidak punya jawaban.
3. 03. Akurasi, precision, dan recall — Pilih metrik sesuai akibat salah positif atau salah negatif. Untuk generasi bebas, tambahkan rubrik pendukung sumber, kegunaan, dan kepatuhan instruksi.
4. 04. Evaluasi RAG dan sitasi — Periksa apakah dokumen benar ditemukan, klaim didukung sumber, serta jawaban menyatakan ketidaktahuan bila bukti tidak cukup.
5. 05. Red teaming yang aman — Uji penolakan, kebocoran, prompt injection, dan pembatasan izin di lingkungan pengujian. Fokus pada defensif dan pemulihan, bukan penyalahgunaan sistem nyata.
6. 06. Pengujian regresi — Jalankan kembali contoh penting setelah model, prompt, atau basis dokumen berubah. Catat perbedaan dan apakah perubahan memburuk.
7. 07. Pelaporan mutu dan batasan — Publikasikan versi, tanggal uji, ukuran sampel, jenis kesalahan, dan keterbatasan. Hindari klaim ‘99% akurat’ tanpa definisi metrik.

Proyek tingkat

Sebuah layanan informasi hipotetis menggunakan dua model untuk menjawab 40 pertanyaan publik. Susun daftar soal dengan rujukan resmi, skor ketepatan, dan penanda jika jawaban tidak ditemukan. Laporan harus mencatat kegagalan yang sama pada kedua model, bukan memilih contoh terbaik saja.

Ukuran hasil: Hasil akhir ialah eval sheet berisi versi, soal, rubrik, sumber, skor, error taxonomy, dan keputusan rilis. Minimal satu kasus harus menunjukkan proses perbaikan setelah model gagal.

Risiko dan kekeliruan

• Memilih hanya soal mudah agar skor tinggi.
• Menggunakan jawaban AI lain sebagai satu-satunya kunci.
• Mengabaikan risiko kesalahan yang jarang tetapi berdampak besar.

Bacaan AIGEO

• Apa Itu Benchmark AI? Cara Membandingkan Akurasi, Kecepatan, dan Biaya Model
• NIST Rilis Panduan Uji AI, Bukan Sekadar Benchmark
• Dokumen Berubah, Chatbot Masih Salah: Uji Regresi RAG
• Menguji Chatbot AI dengan 100 Pertanyaan

Rujukan utama

• NIST — AI Risk Management Framework
• Google ML — precision dan recall

Pertanyaan umum

Apakah benchmark umum cukup untuk produksi?

Tidak. Evaluasi yang relevan harus mencerminkan alur dan risiko spesifik.

Apakah satu skor dapat menggambarkan semua kemampuan?

Tidak. Gunakan beberapa ukuran dan pelaporan kegagalan.

Berpindah tingkat: Semua tingkat · Tingkat 15 · Tingkat 17

Catatan: bahan dibuat dengan bantuan AI untuk latihan mandiri dan rujukan terbuka. Contoh tidak diklaim sebagai pengujian lapangan.