Biaya Banding Saat Keputusan AI Salah

Intinya: biaya keputusan AI yang salah meliputi banding, koreksi, waktu tunggu dan dampak warga. Penghematan operasional harus dihitung setelah seluruh biaya tersebut, bukan dari kecepatan model saja.

Keputusan salah bukan hanya metrik model

Sistem artificial intelligence (AI), atau kecerdasan buatan, yang membantu menilai permohonan kredit, bantuan, rekrutmen atau klaim dapat mengurangi pekerjaan administrasi. Tetapi ketika keputusan keliru, biaya tidak berhenti pada angka error. Ada waktu warga untuk mengajukan banding, biaya petugas membaca ulang berkas, biaya pemulihan layanan dan hilangnya kepercayaan.

Organisasi yang hanya menghitung penghematan jam operator berisiko membesar-besarkan manfaat. Kerangka NIST AI RMF menekankan pengelolaan risiko sepanjang siklus hidup, termasuk pengukuran dan mitigasi dampak. Dalam konteks layanan publik, manusia yang menerima keputusan harus punya jalur koreksi yang nyata, bukan tombol formal tanpa kapasitas penyelesaian.

Tiga jenis salah keputusan

False positive terjadi ketika sistem menandai kasus bermasalah padahal sebenarnya sah. False negative terjadi ketika kasus bermasalah tidak terdeteksi. Jenis ketiga adalah keputusan yang mungkin benar secara statistik tetapi tidak dapat dijelaskan atau diperiksa karena data asal tidak lengkap. Ketiganya menimbulkan biaya berbeda dan tidak boleh dijumlahkan tanpa definisi.

Misalnya sistem seleksi bantuan menolak warga yang sebenarnya memenuhi syarat. Kerugiannya bukan hanya satu salah klasifikasi; warga mungkin perlu transportasi, meninggalkan pekerjaan atau kehilangan manfaat selama proses banding. Sebaliknya meloloskan permohonan yang tidak memenuhi syarat dapat menimbulkan biaya fiskal. Model penghitungan harus memisahkan dua arah kesalahan.

Simulasi 100.000 permohonan

Ambil 100.000 permohonan per tahun, dengan tingkat penolakan otomatis 20% atau 20.000. Asumsi hipotetis 5% dari penolakan ternyata salah setelah pemeriksaan independen: 20.000 × 0,05 = 1.000 kasus salah tolak. Bila 60% mengajukan banding, terdapat 600 banding. Biaya administrasi per banding Rp125.000 dan kompensasi rata-rata penanganan tambahan Rp300.000 untuk kasus salah yang dibuktikan.

Biaya banding administrasi = 600 × Rp125.000 = Rp75 juta. Jika 600 banding seluruhnya terbukti salah dalam skenario sederhana, biaya koreksi = 600 × Rp300.000 = Rp180 juta. Total biaya langsung Rp255 juta per tahun. Ini bukan estimasi nasional atau harga layanan aktual; semua input dapat diganti. Biaya warga dan kerugian reputasi belum dihitung.

Mengapa tingkat banding menipu

Bila hanya 20% warga mengajukan banding, biaya internal terlihat lebih rendah tetapi kesalahan yang tidak diperbaiki justru bertambah. Angka banding rendah bisa berarti sistem akurat, tetapi juga bisa berarti akses keberatan buruk. Karena itu metrik ‘jumlah banding’ tidak cukup tanpa tingkat pemberitahuan, akses kanal, waktu penyelesaian dan hasil sampling terhadap warga yang tidak banding.

Gunakan audit acak kasus yang ditolak dan diterima, dengan penilai independen dan definisi kebenaran yang konsisten. Hasil audit menjadi dasar memperkirakan kesalahan yang tersembunyi. Metode sampling harus memperhatikan kelompok dengan risiko ketidakadilan, bukan hanya rata-rata nasional.

Matriks biaya yang perlu masuk anggaran

Tabel AIGEO memisahkan komponen yang dapat dihitung dari yang membutuhkan metode penelitian khusus. Memaksakan nilai rupiah reputasi tanpa data justru menurunkan kredibilitas business case.

Merancang jalur banding yang benar

Keputusan harus memberi alasan yang bisa dimengerti, kanal keberatan yang mudah dijangkau, batas waktu penanganan, serta pejabat yang berwenang mengubah hasil. Petugas banding perlu melihat data yang digunakan, versi model, timestamp dan aturan kebijakan yang berlaku saat keputusan dibuat. Jika jejak tidak ada, proses banding berubah menjadi tebakan.

Pada tahap uji coba, tetapkan target layanan: misalnya 95% banding diselesaikan dalam lima hari kerja. Itu contoh target internal, bukan standar hukum universal. Lakukan pengujian kapasitas menggunakan skenario lonjakan banding, bukan hanya rata-rata harian. Sistem dengan akurasi tinggi tetap dapat menghasilkan ribuan keluhan pada skala nasional.

ROI setelah biaya koreksi

ROI bersih yang lebih realistis = (penghematan tenaga kerja + peningkatan manfaat terukur − biaya model − biaya integrasi − biaya banding − biaya koreksi − biaya audit) ÷ investasi awal. Pastikan semua angka berada pada periode sama dan tidak menghitung manfaat dua kali. Jika organisasi menghemat Rp400 juta setahun tetapi biaya tambahan penanganan kesalahan Rp255 juta, sisa penghematan langsung hanya Rp145 juta sebelum komponen lain.

Kuncinya bukan menolak AI, melainkan membuat kesalahan dapat ditemukan, dipulihkan dan dihitung. Pengambil keputusan harus membandingkan sistem otomatis dengan baseline manusia yang juga memiliki tingkat kesalahan, agar analisis tidak bias seolah proses lama sempurna.

Kesimpulan

Biaya banding adalah bagian nyata dari ekonomi keputusan otomatis. Tanpa menghitungnya, laporan efisiensi dapat terlihat bagus sambil memindahkan beban ke warga. Kerangka audit harus menggabungkan akurasi, distribusi dampak, biaya pemulihan dan hak koreksi manusia.

Salah tolak tidak tersebar merata

Rata-rata akurasi dapat menyembunyikan ketimpangan dampak pada kelompok dengan data tidak lengkap atau pola historis berbeda. Karena itu organisasi harus menghitung kesalahan menurut kategori layanan dan karakteristik yang sah untuk diaudit, sambil menjaga privasi. Misalnya wilayah dengan dokumen administrasi kurang lengkap mungkin mengalami lebih banyak penolakan yang perlu koreksi. Jika hanya melihat agregat, manajemen dapat menyimpulkan sistem berhasil meskipun beban banding terkonsentrasi pada warga yang paling sulit mengakses kanal pengaduan. Penilaian dampak harus menjelaskan populasi, sampel dan keterbatasan datanya.

Perbedaan kesalahan model dan kesalahan kebijakan

Sebuah keputusan bisa salah karena prediksi model keliru, data sumber kedaluwarsa, aturan kelayakan berubah, atau petugas mengimplementasikan kebijakan secara salah. Jalur perbaikan untuk setiap penyebab berbeda. Model mungkin perlu dilatih ulang; data perlu diperbarui; aturan bisnis harus diperbaiki; atau petugas memerlukan pelatihan. Menggabungkan semuanya sebagai ‘kesalahan AI’ menyulitkan penanggungjawaban. Catat asal setiap koreksi dan hubungkan ke versi model, versi data serta dasar keputusan. Hanya dengan cara itu organisasi dapat membuktikan apakah investasi mitigasi benar-benar menurunkan kesalahan.

Menghitung waktu tunggu banding

Selain biaya rupiah, ukur total hari warga menunggu pemulihan. Misalkan 600 banding memerlukan rata-rata tujuh hari kerja sampai keputusan final. Total beban tunggu = 600 × 7 = 4.200 hari-kasus. Angka itu bukan 4.200 hari kalender berurutan, melainkan penjumlahan durasi seluruh kasus. Jika proses baru mengurangi rata-rata menjadi tiga hari, beban menjadi 1.800 hari-kasus atau berkurang 2.400. Ini simulasi hipotetis yang memperlihatkan bahwa perbaikan proses dapat memberi manfaat meski jumlah salah keputusan belum turun.

Menghindari jebakan biaya tersembunyi

Biaya koreksi sering tersebar pada banyak unit: call center menerima keluhan, tim hukum menjawab keberatan, operator data memperbarui berkas, dan pimpinan menanggapi eskalasi. Jika setiap unit mencatat pengeluarannya sendiri tanpa kode kasus yang sama, biaya total sulit dihitung. Solusinya adalah identitas kasus banding yang dapat ditelusuri, dengan pembatasan akses dan retensi sesuai aturan. Laporan bulanan perlu memisahkan biaya langsung, jam kerja, pemulihan manfaat dan kerugian yang belum dapat dimonetisasi secara kredibel.

Desain eksperimen sebelum penerapan penuh

Bandingkan dua kelompok proses yang setara: satu memakai prosedur lama dan satu memakai dukungan AI dengan pengawasan manusia. Tentukan ukuran hasil sebelum uji: waktu penyelesaian, tingkat salah tolak, tingkat banding, biaya per kasus dan kepuasan pemohon. Hindari membandingkan kelompok yang karakteristiknya sangat berbeda. Jika randomisasi tidak mungkin atau tidak etis, jelaskan metode pencocokan dan faktor pengganggu. Jangan mengubah definisi ‘berhasil’ setelah melihat hasil. Kajian seperti ini memberi dasar keputusan investasi yang lebih kuat daripada presentasi demo.

Ketika manfaat tidak boleh dinilai dengan uang saja

Dalam layanan yang memengaruhi hak dasar, penghematan biaya tidak dapat secara otomatis membenarkan risiko yang tidak proporsional. Penilaian perlu mempertimbangkan prosedur hukum, transparansi alasan dan akses koreksi. Misalnya warga yang kehilangan bantuan selama proses banding dapat mengalami dampak yang tidak tercermin dalam anggaran administrasi. Organisasi harus menetapkan ambang keselamatan dan keadilan yang tidak dapat ditukar dengan margin proyek. Di sinilah fungsi tata kelola berbeda dari optimasi keuangan murni.

Pertanyaan untuk direksi dan regulator

Sebelum menyetujui sistem, tanyakan: siapa menandatangani keputusan final; bagaimana warga mengetahui alasan; apakah data dan versi model dapat diaudit; berapa biaya banding per 1.000 keputusan; kelompok mana paling terdampak; serta apa kriteria menghentikan otomatisasi. Jawaban harus berupa dokumen dan hasil uji, bukan janji vendor. Tinjau ulang setiap kali aturan kelayakan, dataset atau model berubah. Sistem yang dapat dikoreksi biasanya lebih berkelanjutan daripada sistem yang hanya mengejar akurasi headline.

Kapasitas banding menentukan hasil

Misalkan satu petugas menyelesaikan delapan banding per hari dan organisasi menerima 600 banding selama 20 hari kerja. Kapasitas minimum rata-rata = 600 ÷ (20 × 8) = 3,75 petugas penuh waktu, atau sedikitnya empat sebelum cuti dan kasus kompleks. Bila hanya dua petugas tersedia, antrean dapat tumbuh meskipun keputusan otomatis diproses sangat cepat. Angka ini simulasi ilustratif, bukan standar resmi. Pengelola harus memakai distribusi kedatangan dan waktu penyelesaian nyata agar kapasitas penanganan tidak menjadi sumber ketidakadilan baru.

Nilai manfaat yang tertunda

Keterlambatan koreksi dapat menunda manfaat yang seharusnya diterima warga. Nilai manfaat yang tertunda perlu dicatat terpisah dari biaya administrasi pemerintah, sebab transfer manfaat tidak selalu setara dengan kerugian ekonomi bersih. Namun keterlambatan dapat memengaruhi likuiditas rumah tangga dan akses kebutuhan dasar. Laporan sebaiknya menampilkan biaya internal, waktu tunggu warga dan jumlah manfaat yang dipulihkan sebagai indikator berbeda. Menggabungkan seluruhnya menjadi satu angka ‘kerugian negara’ tanpa definisi akuntansi dapat menimbulkan interpretasi keliru.

Human-in-the-loop bukan formalitas

Penilai manusia harus memiliki informasi, waktu dan kewenangan untuk membatalkan rekomendasi model. Jika petugas hanya menekan tombol setuju tanpa melihat data sumber, pengawasan tidak substantif. Ukur waktu penelaahan, alasan pembatalan dan tingkat koreksi, kemudian audit sampel keputusan yang tidak dibatalkan. Tingkat pembatalan rendah bisa berarti model akurat atau justru petugas terlalu percaya pada otomatisasi. Kedua penjelasan memerlukan bukti yang berbeda. Organisasi juga perlu melatih petugas mengenali kasus yang harus dinaikkan ke pemeriksaan khusus.

Pelaporan yang bisa diperiksa

Publikasikan jumlah permohonan, definisi salah keputusan, jumlah banding, persentase dikabulkan, rata-rata dan median waktu penyelesaian, serta jumlah kasus belum selesai. Jika angka berasal dari sampel, jelaskan metode dan ketidakpastiannya. Jangan menyatakan AI mengurangi diskriminasi hanya karena penolakan total turun; komposisi pemohon atau aturan kelayakan mungkin berubah. Untuk klaim kausal, bandingkan kelompok yang relevan dan periksa faktor pengganggu. Dengan demikian, evaluasi mengukur manfaat dan dampak nyata, bukan hanya efisiensi dashboard.

Biaya tidak bertindak

Perusahaan sering bertanya berapa biaya membangun jalur banding, tetapi jarang menghitung biaya tidak membangunnya. Keluhan yang tidak terselesaikan dapat berpindah ke pengawas, pengadilan atau media, dengan konsekuensi yang sulit diperkirakan. Untuk membuat business case, buat skenario dasar, moderat dan buruk dengan asumsi terbuka, bukan satu angka pasti. Masukkan biaya investigasi, koreksi, waktu manajemen dan gangguan layanan. Jangan memberi angka reputasi sembarangan; cukup laporkan sebagai risiko kualitatif bila data belum ada.

Ambang keputusan yang perlu ditetapkan

Sebelum peluncuran, tetapkan tingkat kesalahan maksimum, waktu penyelesaian banding, batas kasus tertunda, dan kewenangan menghentikan sistem. Kriteria ini harus diuji dengan kasus sulit, termasuk data tidak lengkap dan perubahan kebijakan mendadak. Evaluasi bulanan sebaiknya membandingkan hasil dengan baseline manusia, bukan menganggap sistem lama tanpa kesalahan. Jika manfaat AI belum melampaui biaya koreksi dan dampak warga, keputusan menunda perluasan adalah langkah tata kelola yang rasional.

Mengukur banding yang tidak diajukan

Warga yang tidak mengajukan keberatan tidak selalu menyetujui keputusan. Sebagian mungkin tidak mengetahui kanal banding, menghadapi biaya transportasi atau menganggap proses sia-sia. Karena itu organisasi perlu mengaudit sampel keputusan yang tidak dibantah, dengan perlindungan data yang sesuai. Jika ditemukan salah tolak yang tersembunyi, estimasi biaya dan dampak harus diperbarui. Tanpa pemeriksaan ini, sistem bisa tampak efisien hanya karena beban koreksi dipindahkan kepada warga yang paling sulit menyampaikan keluhan.

Sumber primer dan bacaan terkait

NIST AI RMF, 2023; NIST Generative AI Profile, 2024.

Baca juga: Akurasi AI 95% belum tentu adil; KPI balik modal AI.