Audit kebijakan publik AIGEO.ID, 27 Oktober 2026. Ketika pemerintah menggunakan artificial intelligence (AI), atau kecerdasan buatan, untuk membantu menentukan penerima bantuan, menilai calon pegawai, memprioritaskan pasien, atau memeriksa kelayakan layanan, pertanyaan terpenting bukan sekadar akurasi model. Pertanyaannya adalah apakah keputusan itu sah, adil, dapat dijelaskan, dapat dibantah, dan memiliki penanggung jawab manusia. Kanada menyediakan salah satu contoh instrumen operasional yang dapat dipelajari Indonesia: Algorithmic Impact Assessment (AIA) yang diwajibkan dalam kebijakan federalnya.
Dokumen primer Pemerintah Kanada tentang Algorithmic Impact Assessment menjelaskan 65 pertanyaan risiko dan 41 pertanyaan mitigasi. Hasilnya mengelompokkan dampak dalam empat tingkat. AIGEO.ID membandingkan desain ini dengan kebutuhan pelayanan publik Indonesia dan menawarkan protokol uji yang dapat direplikasi. Ini bukan klaim bahwa aturan Kanada berlaku di Indonesia; instrumen tersebut adalah studi banding untuk desain kebijakan.
Dari akurasi algoritma ke hak warga
Sebuah model yang mencapai akurasi 95% dalam pengujian dapat tetap bermasalah jika kesalahannya menimpa kelompok tertentu, jika data pelatihan tidak mencerminkan penerima layanan, atau jika seseorang tidak tahu cara mengoreksi keputusan. Bahkan angka akurasi sendiri perlu ditanya: 95% terhadap apa, berapa banyak kasus positif, dan bagaimana distribusi kesalahan? Untuk keputusan yang berdampak pada hak warga, ukuran rata-rata saja tidak cukup. Diperlukan ukuran salah tolak, salah terima, waktu koreksi, penjelasan keputusan, dan proporsi kasus yang diperiksa manusia.
Pemerintah Kanada membangun AIA untuk menilai dampak berdasarkan desain sistem, algoritma, tipe keputusan, data, dan akibat bagi individu. AIA dilakukan pada awal desain dan diulang sebelum produksi. Hasil akhir dipublikasikan melalui portal pemerintah, dengan kewajiban pembaruan saat fungsi atau ruang lingkup sistem berubah. Prinsip ini berharga karena menempatkan evaluasi sebelum sistem diluncurkan, bukan setelah muncul skandal atau protes.
Empat tingkat dampak AIA Kanada
| Tingkat | Rentang skor AIA | Makna kebijakan |
|---|---|---|
| I | 0–25% | Dampak kecil atau hampir tidak ada |
| II | 26–50% | Dampak moderat |
| III | 51–75% | Dampak tinggi |
| IV | 76–100% | Dampak sangat tinggi |
Rentang tersebut berasal dari panduan resmi Kanada. Skor dihitung dari kuesioner berbobot, bukan rata-rata sederhana yang dapat direkayasa dari empat angka. Satu hal yang menarik: tindakan mitigasi tidak otomatis menurunkan tingkat dampak; penilaian baru diperlukan ketika desain dan informasi proyek berubah. Artinya, lembaga tidak dapat menghapus label risiko tinggi hanya karena menambah kotak centang “human oversight”.
Apa yang berubah dalam pembaruan Kanada 2025?
Pemerintah Kanada menyatakan revisi Directive on Automated Decision-Making pada 24 Juni 2025 memperluas cakupan ke layanan internal seperti perekrutan, penilaian kinerja, dan pemeriksaan keamanan pegawai. Revisi juga memperkuat transparansi, tanggung jawab pimpinan, pengujian bias, tata kelola data, serta publikasi hasil penilaian sebelum peluncuran. Pedoman amendemen resmi menegaskan pentingnya telaah sejawat sebelum sistem beroperasi.
Perubahan itu memperluas fokus dari pelayanan warga eksternal ke keputusan yang memengaruhi pegawai. Di Indonesia, penerapan AI untuk seleksi ASN, penilaian kinerja, atau disiplin administrasi juga memerlukan perhatian hak prosedural dan mekanisme keberatan. Namun kerangka hukum nasional harus diperiksa secara terpisah, termasuk kewenangan lembaga, aturan kepegawaian, pelindungan data pribadi, dan ketentuan administrasi pemerintahan.
Simulasi layanan bantuan: mengapa akurasi 95% bisa menyesatkan?
AIGEO.ID membuat contoh hipotetis dengan 10.000 permohonan bantuan. Anggap 2.000 benar-benar memenuhi syarat dan 8.000 tidak. Sistem menghasilkan 1.700 penerima layak yang benar (true positive), 300 warga layak yang ditolak (false negative), 200 warga tidak layak yang diterima (false positive), dan 7.800 penolakan yang benar (true negative). Angka ini tidak berasal dari kementerian atau aplikasi nyata.
| Hasil keputusan | Layak menurut verifikasi | Tidak layak menurut verifikasi |
|---|---|---|
| Sistem menerima | 1.700 | 200 |
| Sistem menolak | 300 | 7.800 |
Akurasi = (1.700 + 7.800) ÷ 10.000 = 95%. Tetapi tingkat salah tolak di antara warga yang sebenarnya layak = 300 ÷ 2.000 = 15%. Tingkat salah terima di antara warga tidak layak = 200 ÷ 8.000 = 2,5%. Dari sudut audit hak warga, 300 orang yang seharusnya memperoleh bantuan tetapi tertolak dapat menjadi masalah besar walaupun judul laporan menampilkan akurasi 95%. Karena itu, evaluasi harus mencantumkan matriks kebingungan, definisi kelayakan, kualitas label verifikasi, dan kelompok rentan yang terdampak.
Jika setiap kasus salah tolak membutuhkan rata-rata dua jam pemeriksaan ulang, beban koreksi = 300 × 2 = 600 jam petugas. Bila kemampuan tim hanya 150 jam per pekan, diperlukan empat pekan kerja untuk menuntaskan pemeriksaan, tanpa menghitung kasus baru. Ini memperlihatkan bahwa biaya algoritma tidak berhenti pada harga lisensi; biaya koreksi, pelayanan pengaduan, dan hilangnya kepercayaan juga penting. Seluruh angka adalah asumsi simulasi dan tidak boleh digunakan untuk menyatakan performa sistem pemerintah tertentu.
Mengapa penilaian dampak tidak boleh digantikan pengadaan vendor?
Dokumen pengadaan menjelaskan spesifikasi, harga, dan deliverables, tetapi belum tentu menjawab apakah jenis keputusan boleh diotomasi, bagaimana warga diberi penjelasan, atau apakah hak keberatan efektif. Pemerintah dapat membeli perangkat lunak yang secara teknis memenuhi kontrak tetapi menghasilkan keputusan administratif yang sulit dipertanggungjawabkan. Karena itu, penilaian dampak perlu dipisahkan dari uji penerimaan teknis dan uji keamanan, walaupun hasilnya saling melengkapi.
Dalam kerangka AIA Kanada, konsultasi dengan unit hukum dimulai pada tahap konsep, bukan setelah kontrak selesai. Penilaian juga perlu tim lintas disiplin yang memahami proses bisnis, data, teknologi, hak warga, dan konteks sektoral. Untuk Indonesia, pendekatan ini bisa diterjemahkan menjadi dokumen satu halaman pra-pengadaan yang berkembang menjadi audit lengkap sebelum sistem digunakan untuk keputusan berdampak tinggi.
Matriks penerapan yang relevan untuk Indonesia
| Kasus | Dampak yang harus diuji | Kontrol awal |
|---|---|---|
| Seleksi bantuan sosial | Salah tolak, diskriminasi wilayah, data usang | Hak banding, audit data, verifikasi manusia |
| Penerimaan sekolah | Bias zonasi, ketidakjelasan skor, akses digital | Penjelasan kriteria dan kanal koreksi |
| Seleksi pegawai | Bias kelompok, relevansi indikator, hak pemohon | Audit kriteria, dokumentasi keputusan |
| Triase administratif kesehatan | Prioritas salah, data sensitif, keterlambatan | Pengawasan profesional, eskalasi cepat |
| Perizinan usaha | Kesalahan klasifikasi dan konsekuensi ekonomi | Jejak audit, jalur keberatan, batas waktu |
Tabel adalah usulan pengelompokan editorial, bukan keputusan resmi tingkat risiko pemerintah Indonesia atau penerapan skor AIA Kanada pada kasus Indonesia. Tingkat risiko aktual bergantung pada fungsi, data, kewenangan, dan konsekuensi. Sistem yang hanya menyarankan prioritas kepada petugas mungkin mempunyai profil risiko berbeda dari sistem yang menolak otomatis permohonan tanpa peninjauan manusia.
Rancangan sepuluh pertanyaan sebelum sistem diluncurkan
- Apakah ada dasar kewenangan hukum untuk menggunakan keputusan atau rekomendasi otomatis dalam proses tersebut?
- Siapa yang menjadi pemilik keputusan akhir dan siapa yang dapat membatalkannya?
- Apakah data pelatihan serta data operasional memiliki asal-usul, izin, kualitas, dan masa berlaku yang jelas?
- Bagaimana false positive dan false negative diukur untuk setiap kelompok yang relevan?
- Apakah penjelasan yang diberikan kepada warga dapat dipahami tanpa pengetahuan pemrograman?
- Bisakah warga meminta koreksi, memperoleh peninjauan manusia, dan mengetahui tenggat penyelesaian?
- Apakah hasil uji bias, keamanan, dan ketahanan tersedia sebelum produksi?
- Apakah vendor menyediakan log keputusan, dokumentasi model, dan hak audit yang cukup?
- Apakah perubahan model atau data memicu pengujian ulang dan pemberitahuan yang sesuai?
- Apakah tersedia prosedur penghentian sistem jika kesalahan berulang atau dampak serius ditemukan?
Model tata kelola: empat pintu persetujuan
AIGEO.ID mengusulkan empat gerbang yang harus dilewati proyek: legalitas (kewenangan dan dasar pemrosesan), kelayakan teknis (akurasi dan keamanan), keadilan prosedural (penjelasan dan keberatan), serta kelayakan operasional (biaya, SDM, pemantauan, dan penghentian). Setiap gerbang memiliki pemilik risiko berbeda. Satu pejabat tidak seharusnya menandatangani seluruhnya tanpa masukan fungsi yang relevan. Penanggung jawab akhir tetap harus jelas agar koordinasi tidak berubah menjadi saling melempar tanggung jawab.
Contoh desain: sistem hanya boleh masuk tahap uji terbatas setelah penilaian hukum dan data selesai. Sebelum produksi, pengujian teknis serta proses banding harus diuji dengan kasus nyata yang dianonimkan sesuai hukum. Setelah produksi, lembaga memantau perubahan distribusi data, kesalahan, keluhan, dan keputusan yang dibatalkan. Ketika model diperbarui, laporan risiko ditinjau ulang. Prinsip siklus hidup ini lebih tahan lama dibanding daftar vendor atau jenis model tertentu.
Mengapa publikasi penilaian dampak penting?
Transparansi memungkinkan masyarakat mengetahui tujuan, ruang lingkup, jenis keputusan, risiko, dan pengendalian yang tersedia. Namun publikasi tidak berarti seluruh data pribadi, kode sensitif, atau detail keamanan harus diumbar. Lembaga dapat menerbitkan ringkasan yang dapat dipahami publik, sambil menjaga informasi yang memang dilindungi. Pemerintah Kanada menempatkan publikasi AIA sebagai salah satu elemen akuntabilitas. Indonesia dapat mempelajari format ringkasan tersebut tanpa menyalin setiap ketentuan secara mekanis.
Peer review juga perlu independensi yang bermakna. Pemeriksa yang sepenuhnya bergantung pada vendor untuk data dan honor mungkin sulit mengkritik desain. Perlu aturan konflik kepentingan, akses pengujian, metodologi terbuka, dan hak mengumumkan temuan sesuai ketentuan. Pedoman peer review pemerintah Kanada mewajibkan telaah untuk proyek tingkat II–IV dalam lingkup direktif tersebut.
Perhitungan biaya banding sebagai ukuran mutu pelayanan
Pemerintah sering mengukur keberhasilan otomatisasi dari waktu proses yang turun, tetapi biaya yang berpindah ke warga jarang dicatat. Dalam simulasi bantuan 10.000 permohonan, 300 salah tolak dapat menyebabkan warga mengulang dokumen, mendatangi kantor, atau kehilangan kesempatan memperoleh layanan tepat waktu. Untuk ilustrasi, jika setiap salah tolak mengharuskan dua kunjungan tambahan dengan biaya transportasi Rp30.000 per kunjungan, beban langsung warga = 300 × 2 × Rp30.000 = Rp18 juta. Itu bukan kerugian aktual atau nilai ganti rugi; hanya contoh biaya yang tidak terlihat dalam laporan efisiensi aplikasi.
Analisis dampak sebaiknya memasukkan waktu tunggu dan ketimpangan kemampuan banding. Warga di kota dapat mengajukan koreksi secara daring, sementara warga yang tidak mempunyai akses internet atau identitas digital menghadapi biaya lebih besar. Sistem yang tampak netral dalam kode bisa menghasilkan ketidakadilan karena prosedur koreksinya tidak mudah dijangkau. Oleh sebab itu, evaluasi bukan hanya memeriksa keluaran algoritma, tetapi juga seluruh perjalanan warga sebelum, selama, dan sesudah keputusan.
Uji perubahan model: kapan perlu audit ulang?
Ketika vendor memperbarui model, menambah sumber data, atau mengubah ambang skor, performa sistem bisa bergeser walaupun antarmuka tetap sama. Lembaga perlu menyimpan versi model, tanggal perubahan, data uji, hasil pengujian kelompok, serta otorisasi perubahan. Jika tingkat salah tolak meningkat dari 15% menjadi 20% pada kelompok yang sama, itu kenaikan lima poin persentase, bukan kenaikan lima persen relatif. Perbedaan satuan seperti ini penting agar pimpinan tidak salah memahami risiko.
Sebelum perubahan besar masuk produksi, lakukan uji paralel pada data yang sah, bandingkan keputusan lama dan baru, lalu analisis kasus yang berbeda. Tetapkan ambang penghentian sementara berdasarkan konsekuensi, bukan sekadar rata-rata akurasi. Publikasikan ringkasan perubahan bila memengaruhi hak warga dan sesuai ketentuan. Dengan prosedur ini, penilaian dampak tidak menjadi dokumen sekali buat yang kemudian ditinggalkan setelah pengadaan selesai.
FAQ
Apakah Indonesia wajib mengikuti empat tingkat Kanada?
Tidak. Ini kebijakan federal Kanada. Indonesia dapat mengambil pelajaran desain tetapi harus menetapkan sendiri dasar hukum, klasifikasi, kewenangan, dan mekanisme pengawasan.
Apakah semua chatbot pemerintah memerlukan penilaian yang sama?
Tidak. Risiko tergantung apakah sistem hanya memberi informasi umum atau memengaruhi hak, layanan, kesehatan, pekerjaan, dan keputusan administratif. Penilaian proporsional terhadap dampak lebih masuk akal daripada perlakuan seragam.
Apakah ada angka akurasi minimum universal?
Tidak ada angka tunggal yang memadai untuk semua keputusan. Ambang kelayakan harus mempertimbangkan konsekuensi salah tolak dan salah terima, distribusi kasus, kemampuan banding, serta kewajiban hukum.
Sumber dan batas metode
Sumber primer: AIA Kanada; amendemen 2025; panduan telaah sejawat; serta NIST AI RMF sebagai pembanding sukarela. Matriks kebingungan, angka 10.000 kasus, beban pemeriksaan, dan gerbang persetujuan adalah simulasi dan rancangan editorial, bukan audit lapangan pemerintah.
Untuk konteks Indonesia, baca audit Satu Data Indonesia dan audit biaya pengadaan AI pemerintah.
Kesimpulan. Pemerintah yang memakai AI harus membuktikan bukan hanya bahwa model bekerja, melainkan bahwa warga dapat memahami dan menggugat keputusan yang keliru. Studi banding Kanada menunjukkan bagaimana risiko bisa diukur sejak awal, diawasi sepanjang siklus hidup, dan dipublikasikan secara proporsional. Indonesia memerlukan mekanisme yang disesuaikan dengan hukumnya sendiri.
Leave a Reply