Dalam artikel ini
Membeli layanan kecerdasan buatan untuk perusahaan sering dimulai dari demo yang mengesankan: chatbot mampu menjawab pertanyaan, membuat ringkasan, dan menyusun laporan dalam hitungan detik. Namun keputusan pengadaan tidak semestinya berhenti pada kemampuan model. Pertanyaan yang lebih penting ialah: siapa mengendalikan data, bagaimana keluaran diuji, apa yang terjadi ketika sistem salah, dan siapa berwenang menghentikannya?
Artikel panduan ini menyusun kerangka evaluasi praktis untuk organisasi Indonesia berdasarkan AI Risk Management Framework (AI RMF) NIST dan profil risiko AI generatif NIST AI 600-1. Kedua dokumen merupakan panduan manajemen risiko, bukan sertifikat bahwa suatu vendor otomatis aman. OWASP Top 10 untuk aplikasi LLM melengkapi sudut pandang keamanan teknis.
1. Mulai dari pekerjaan, bukan nama model
Tuliskan satu proses yang ingin diperbaiki: pencarian dokumen internal, layanan pelanggan, atau pemeriksaan konsistensi laporan. Tentukan pemilik proses, jenis pengguna, batas kewenangan AI, dan keluaran yang bisa diukur. Pisahkan penggunaan berisiko rendah, seperti menyusun draf materi pemasaran, dari penggunaan berisiko tinggi yang menyentuh keputusan kredit, pekerjaan, kesehatan, atau layanan publik.
Untuk uji coba, tetapkan baseline manual. Jika tim biasanya membutuhkan 30 menit per dokumen, ukur waktu total dengan AI termasuk koreksi manusia. Jangan menghitung kecepatan menghasilkan jawaban saja. Catat tingkat kesalahan faktual, kegagalan mengutip sumber, dan waktu pemeriksaan ulang. Produktivitas yang tampak tinggi dapat semu apabila biaya verifikasi dipindahkan ke pegawai.
2. Periksa kontrak dan aliran data
Mintalah diagram aliran data: di mana prompt, dokumen unggahan, embedding, log, dan hasil keluaran disimpan; berapa lama disimpan; siapa subprosesornya; serta apakah data pelanggan dipakai untuk pelatihan. Bedakan janji pada materi pemasaran dari ketentuan kontrak dan konfigurasi akun yang benar-benar berlaku. Periksa pula prosedur penghapusan, ekspor, pencadangan, dan respons insiden.
Organisasi yang menangani informasi rahasia perlu memastikan kontrol akses berdasarkan peran, autentikasi, pencatatan aktivitas, dan pemisahan data antarpelanggan. Jangan memasukkan data pribadi atau rahasia dagang ke layanan percobaan sebelum dasar hukum dan kebijakan internalnya jelas. Ketentuan perlindungan data Indonesia tetap perlu diperiksa menurut jenis data dan sektor organisasi; panduan NIST tidak menggantikan kewajiban hukum setempat.
3. Uji ancaman khas AI generatif
OWASP mengidentifikasi sejumlah risiko seperti prompt injection, pengungkapan informasi sensitif, rantai pasok, keluaran yang tidak ditangani dengan aman, serta kewenangan agen yang berlebihan. Dalam pengujian, berikan dokumen simulasi yang berisi instruksi berbahaya, misalnya permintaan agar sistem mengabaikan aturan dan mengirim informasi ke pihak luar. Sistem seharusnya memperlakukan isi dokumen sebagai data yang tidak dipercaya, bukan perintah dengan hak istimewa.
Jika AI dapat menggunakan email, database, atau alat transaksi, terapkan prinsip hak akses minimum. Pisahkan kemampuan membaca dari menulis, mengirim, menghapus, atau menyetujui pembayaran. Tindakan berdampak besar memerlukan konfirmasi manusia, pembatasan nilai, serta jejak audit yang dapat ditelusuri. Pembahasan terkait dapat dibaca pada analisis kontrol agen AI berdasarkan OWASP dan risiko token akses agen AI.
4. Rancang pengujian sebelum menandatangani kontrak
Bangun set uji yang mencerminkan bahasa, istilah, dokumen, dan variasi kasus organisasi. Pisahkan data untuk konfigurasi dari data evaluasi. Ukur akurasi jawaban, kesalahan yang berdampak serius, konsistensi sitasi, keterlambatan, ketersediaan, serta biaya pada volume yang realistis. Untuk tugas yang tidak memiliki satu jawaban benar, gunakan rubrik penilaian yang terdokumentasi dan penilai lebih dari satu bila memungkinkan.
Contoh: dari 100 kasus uji yang telah diverifikasi, 90 jawaban dinilai benar. Itu berarti akurasi 90 persen pada set uji tersebut, bukan jaminan akurasi 90 persen pada seluruh penggunaan nyata. Laporan wajib menyebut komposisi sampel, definisi benar, tingkat kesalahan yang paling berbahaya, dan keterbatasan pengujian. Uji ulang setelah vendor mengganti model atau konfigurasi penting.
5. Hitung total biaya dan siapkan jalan keluar
Bandingkan biaya lisensi, pemakaian token atau komputasi, integrasi, penyimpanan, keamanan, evaluasi, pelatihan pegawai, dan pengawasan manusia. Pertimbangkan biaya ketika layanan tidak tersedia dan ketika harus pindah vendor. Mintalah hak ekspor data, dokumentasi integrasi, batas kenaikan harga, dan proses penghentian layanan. Proyek percobaan yang murah dapat menjadi mahal bila migrasi kemudian sulit dilakukan.
6. Checklist keputusan pengadaan
- Tujuan bisnis dan indikator hasil sudah disetujui pemilik proses.
- Aliran data, retensi, penggunaan untuk pelatihan, dan subprosesor telah dijelaskan secara tertulis.
- Hak akses, pencatatan, serta mekanisme persetujuan tindakan berisiko telah diuji.
- Pengujian kualitas menggunakan kasus nyata yang telah dianonimkan dan tolok ukur manual.
- Risiko prompt injection, kebocoran informasi, dan kegagalan alat telah disimulasikan.
- Biaya total, prosedur insiden, penghentian, dan ekspor data tercakup dalam kontrak.
- Pemilik risiko dan jadwal evaluasi ulang setelah implementasi ditetapkan.
Kesimpulannya, pengadaan AI bukan kontes memilih model yang paling fasih. Organisasi memerlukan bukti bahwa teknologi meningkatkan hasil kerja tanpa memindahkan risiko yang tidak dipahami kepada pegawai, pelanggan, atau masyarakat. Prinsip dasarnya sederhana: uji sebelum membeli, batasi kewenangan, dokumentasikan keputusan, dan sediakan mekanisme untuk menghentikan sistem ketika gagal.
Referensi primer
- NIST, AI Risk Management Framework.
- NIST AI 600-1, Generative AI Profile (2024).
- OWASP, Top 10 for LLM and Generative AI Applications.
Komentar & Diskusi