Menguji OCR Berbasis AI: Seberapa Akurat Teks dan Angkanya?

Jawaban singkat: OCR dan AI dapat menyalin dokumen dengan cepat, tetapi teks rapi belum tentu akurat. Panduan ini memakai CER, WER, akurasi sel tabel, dan pemeriksaan field kritis.

Mengapa hasil OCR yang terlihat rapi bisa salah

Optical character recognition (OCR) mengubah gambar teks menjadi karakter yang dapat dicari. Ketika dipadukan dengan artificial intelligence (AI), atau kecerdasan buatan, hasilnya bisa dirapikan menjadi paragraf dan tabel. Tetapi teks yang enak dibaca belum tentu sama dengan dokumen sumber. Satu angka nol yang hilang, tanda negatif yang berubah, atau baris tabel yang bergeser dapat merusak analisis keuangan maupun hukum.

Panduan AIGEO ini memisahkan tiga tahap: ekstraksi, normalisasi, dan validasi. Jangan menggunakan model bahasa untuk mengisi angka yang tidak terbaca tanpa label ketidakpastian. Semua penghitungan berikut dapat diterapkan pada dokumen buatan sendiri sehingga tidak perlu mengunggah data pribadi ke layanan publik.

Langkah 1: tetapkan jenis dokumen dan risikonya

Pisahkan surat biasa, tabel keuangan, formulir identitas, kontrak, dan dokumen regulasi. Setiap jenis memiliki toleransi kesalahan berbeda. Salah eja satu kata dalam catatan internal mungkin dapat diperbaiki, sedangkan salah angka rekening atau pasal hukum dapat menyebabkan konsekuensi besar.

Tentukan lebih dulu bagian yang harus akurat 100 persen melalui verifikasi manual: nama, tanggal, nominal, nomor identitas, nomor pasal, dan tanda tangan. OCR membantu mempercepat pencarian, bukan menggantikan pembacaan sumber asli pada unsur berisiko tinggi.

Langkah 2: simpan citra asli dan metadata

Simpan file sumber tanpa modifikasi, catat asal, tanggal diterima, jumlah halaman, resolusi, dan perubahan yang dilakukan. Jika melakukan rotasi, peningkatan kontras, atau pemotongan, buat salinan turunan. Dengan demikian setiap kesalahan OCR dapat ditelusuri ke gambar tertentu.

Gunakan nama berkas yang konsisten dan nomor halaman yang stabil. Jangan menggabungkan halaman dengan urutan yang belum diverifikasi. Dalam dokumen panjang, kesalahan urutan halaman dapat lebih berbahaya daripada salah satu karakter.

Langkah 3: buat ground truth untuk sampel

Pilih sampel representatif, bukan hanya halaman paling bersih. Sertakan halaman buram, miring, bertabel, dengan catatan kaki, dan format angka berbeda. Ketik ulang teks referensi secara manual atau lakukan pemeriksaan dua orang independen untuk membangun ground truth.

Untuk dokumen berisiko tinggi, periksa seluruh field kritis meskipun hanya sebagian teks umum yang dijadikan sampel. Ukuran sampel harus dijelaskan agar skor OCR tidak ditafsirkan sebagai akurasi keseluruhan arsip tanpa dasar.

Langkah 4: hitung character error rate

CER = (S + D + I)/N, dengan S substitusi karakter, D penghapusan, I penyisipan, dan N jumlah karakter pada referensi. Misalkan teks referensi memiliki 2.000 karakter, terdapat 18 substitusi, 7 penghapusan, dan 5 penyisipan. CER = (18+7+5)/2.000 = 1,5 persen.

Angka 1,5 persen adalah contoh simulasi. CER rendah tidak menjamin angka kritis benar: sebuah halaman 2.000 karakter dapat memiliki hanya satu kesalahan, tetapi jika kesalahan itu mengubah Rp10.000.000 menjadi Rp100.000.000, dampaknya sangat besar. Karena itu CER harus dilengkapi pengujian field.

Langkah 5: uji akurasi tabel secara terpisah

Untuk tabel, nilai bukan hanya karakter melainkan pasangan kolom dan baris. Buat daftar sel referensi, lalu hitung sel yang cocok persis. Misalkan 120 sel numerik diperiksa dan 114 benar pada baris serta kolom yang tepat; akurasi sel = 114/120 = 95 persen. Jangan menyamakan hasil ini dengan CER atau akurasi dokumen keseluruhan.

Periksa tanda minus, desimal, pemisah ribuan, mata uang, satuan, dan header kolom. Perpindahan satu baris dapat membuat semua angka terlihat benar tetapi melekat pada entitas yang salah. Validasi struktur tabel perlu dilakukan sebelum rumus spreadsheet digunakan.

Langkah 6: rekonsiliasi aritmetika

Jika tabel memiliki subtotal dan total, hitung ulang secara independen. Misalnya jumlah tiga baris Rp1,2 juta + Rp800 ribu + Rp500 ribu = Rp2,5 juta. Jika hasil OCR menunjukkan total Rp25 juta, jangan meminta model menebak nilai yang benar; buka kembali gambar asli dan catat penyebab selisih.

Rekonsiliasi dapat mendeteksi sebagian kesalahan, tetapi tidak semua. Angka salah pada dua sel yang saling mengimbangi mungkin menghasilkan total benar. Karena itu sampling sel tetap dibutuhkan.

Langkah 7: minta AI memberi tanda ketidakpastian

Alih-alih meminta model merapikan semua angka, gunakan instruksi agar bagian yang tidak terbaca diberi penanda [PERLU CEK] beserta nomor halaman. Hasil ekstraksi sebaiknya memuat teks asli, teks normalisasi, confidence jika tersedia dari mesin OCR, dan keputusan pemeriksa.

Confidence dari satu mesin tidak otomatis dapat dibandingkan dengan mesin lain. Kalibrasi perlu diuji terhadap ground truth. Untuk dokumen penting, lebih baik menandai satu sel sebagai belum pasti daripada mengarang angka yang tampak masuk akal.

Langkah 8: verifikasi sitasi dan nomor halaman

Setiap kutipan yang akan masuk laporan harus memiliki halaman dan potongan gambar sumber. Pastikan nomor halaman cetak dan nomor halaman PDF tidak tertukar. Jika OCR menggabungkan dua kolom teks, pembaca mungkin melihat kutipan yang tidak pernah berdampingan pada dokumen asli.

Baca panduan AIGEO memeriksa referensi ilmiah untuk tahap verifikasi bibliografi, serta protokol transkripsi dan penghitungan WER untuk memahami perbedaan evaluasi karakter dan kata.

Langkah 9: buat laporan kesalahan dan keputusan

Laporan minimum memuat jumlah halaman, jumlah karakter sampel, CER, jumlah sel numerik, akurasi sel, daftar field kritis yang diverifikasi, jenis kesalahan dominan, dan tindakan koreksi. Pisahkan hasil otomatis dari koreksi manual agar angka evaluasi tidak menjadi terlalu optimistis.

Jika dokumen memuat data pribadi, batasi akses berkas dan pertimbangkan pemrosesan lokal. Penggunaan alat cloud harus mengikuti kebijakan organisasi serta ketentuan perlindungan data yang relevan.

Kesimpulan

OCR adalah proses ekstraksi, bukan jaminan kebenaran. CER membantu mengukur kesalahan karakter, akurasi sel mengukur mutu tabel, dan verifikasi field kritis melindungi keputusan bernilai tinggi. Ketiganya perlu dipakai bersama.

Nilai tambah protokol AIGEO terletak pada angka yang dapat dihitung ulang, sampel yang jelas, dan jejak koreksi yang bisa diaudit. Mulailah dari dokumen tanpa data sensitif, lalu naikkan standar pemeriksaan sesuai konsekuensi kesalahan.

Matriks audit AIGEO

Tabel ini merupakan ringkasan metodologi dan ilustrasi redaksi, bukan statistik resmi atau format wajib regulator. Seluruh angka simulasi harus diuji dengan data operasional sebelum dipakai mengambil keputusan.

Sumber primer dan metode

• https://www.nist.gov/itl/ai-risk-management-framework/nist-ai-rmf-playbook
• https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence

Dokumen sumber diperiksa 28 Oktober 2026. Seluruh contoh harga, hasil uji, dan anggaran yang disebut simulasi bukan observasi lapangan atau penawaran resmi.

Langkah 10: ukur word error rate bila relevan

Untuk dokumen berbentuk paragraf, word error rate (WER) dapat membantu mengukur kesalahan kata. Rumusnya sama secara struktur dengan CER, tetapi unitnya kata: (substitusi + penghapusan + penyisipan)/jumlah kata referensi. Misalkan dari 500 kata terdapat 12 substitusi, 6 penghapusan, dan 2 penyisipan, maka WER = 20/500 = 4 persen. WER berguna untuk keterbacaan kalimat, tetapi tidak menggantikan akurasi karakter pada nomor, kode, atau angka. Pilih metrik berdasarkan tujuan dokumen dan laporkan metode tokenisasi yang digunakan.

Langkah 11: lakukan audit dua orang untuk field kritis

Minta pemeriksa pertama menandai semua nominal, tanggal, nomor dokumen, dan istilah hukum penting. Pemeriksa kedua membandingkan hasil dengan gambar asli tanpa melihat koreksi pertama jika memungkinkan. Ketika keduanya berbeda, lakukan adjudikasi dan catat keputusan. Prosedur ini menambah biaya, tetapi lebih tepat untuk dokumen yang menjadi dasar pembayaran, kontrak, atau keputusan administrasi. Jika sumber sangat buram, hasil terbaik mungkin bukan memilih salah satu tebakan, melainkan meminta salinan dokumen yang lebih baik.

Langkah 12: bedakan ekstraksi dan interpretasi

OCR seharusnya terlebih dahulu menyalin isi sumber. Penjelasan atau rangkuman AI adalah produk turunan yang perlu disimpan terpisah. Jangan membiarkan model mengganti kata yang tampak salah dengan istilah yang lebih masuk akal tanpa jejak perubahan. Untuk tabel, simpan nilai mentah dan nilai normalisasi dalam dua kolom. Contoh, teks sumber 1.234,56 harus ditafsirkan dengan mempertimbangkan konvensi angka Indonesia; jangan otomatis mengubahnya menjadi 1.23456 atau 123456. Dokumentasikan locale dan satuan sebelum melakukan perhitungan.

Langkah 13: pengujian kesalahan terburuk

Skor rata-rata bisa menyembunyikan kasus ekstrem. Kelompokkan kesalahan menurut dampaknya: kosmetik, mengubah makna, mengubah nilai uang, mengubah identitas, atau mengubah status hukum. Satu kesalahan kritis dapat membuat dokumen harus ditinjau ulang meskipun CER sangat rendah. Tetapkan aturan penghentian: misalnya semua field rekening dan total pembayaran harus cocok persis dengan sumber asli sebelum berkas diteruskan. Ambang ini adalah kebijakan contoh, bukan standar universal. Organisasi harus menyesuaikan berdasarkan konsekuensi kesalahan dan kewajiban hukumnya.

Langkah 14: audit format spreadsheet

Ketika hasil OCR diekspor ke Excel atau CSV, periksa apakah nol di depan kode hilang, tanggal berubah otomatis, nilai besar dibulatkan, dan pemisah desimal dibaca benar. Kolom nomor rekening, kode pos, dan nomor dokumen sebaiknya diperlakukan sebagai teks. Bandingkan jumlah baris dan kolom terhadap sumber. Gunakan checksum atau identifikasi berkas agar versi ekspor tidak tertukar. Jika rumus spreadsheet dibuat dengan bantuan AI, uji pada contoh yang hasilnya sudah diketahui sebelum memakai data asli. Kesalahan format dapat muncul setelah OCR berhasil, sehingga harus dinilai sebagai tahap terpisah.

Langkah 15: dokumentasikan batas penggunaan

Laporan akhir sebaiknya menyatakan apakah teks boleh dipakai untuk pencarian internal, kutipan publik, perhitungan keuangan, atau keputusan hukum. Tingkat kepercayaan yang memadai untuk satu penggunaan belum tentu memadai untuk penggunaan lain. Sertakan daftar halaman yang gagal, jumlah field belum pasti, dan nama penanggung jawab pemeriksaan. Hindari label ‘akurasi 99 persen’ tanpa menjelaskan apakah itu CER, WER, akurasi sel, atau proporsi dokumen lolos. Dengan definisi yang transparan, pembaca dapat mengulang tes dan menilai risiko secara proporsional.