AI di Perangkat Lokal: Menimbang Privasi dan Biaya

Inti: Memilih model AI tidak cukup berdasarkan skor benchmark. Lokasi pemrosesan, kualitas jawaban, biaya per hasil, privasi, dan kemampuan bekerja offline sama pentingnya.

Metode: menelaah dokumen MLCommons Mobile v6.0 (15 Juni 2026) dan NIST ARIA (18 September 2026). Simulasi biaya AIGEO bukan tarif vendor aktual.

Perangkat lokal kini bisa diuji, tetapi belum untuk semua tugas

MLCommons merilis MLPerf Mobile v6.0 pada 15 Juni 2026 dengan benchmark model bahasa besar pada perangkat Android. Model uji mencakup Llama 3.2 1B Instruct, Llama 3.2 3B Instruct, dan Llama 3.1 8B Instruct. Tugas diambil dari TinyMMLU dan IFEval; pengujian dapat berjalan di CPU perangkat yang memorinya cukup, dengan dukungan akselerasi NPU untuk konfigurasi tertentu termasuk Snapdragon 8 Elite Gen 5. Rilis MLCommons.

Temuan itu bukan jaminan semua ponsel sanggup menjalankan 8B dengan cepat. Performa bergantung pada RAM, penyimpanan, panjang konteks, suhu, daya baterai, optimasi model, dan quantization. Lebih penting lagi, skor model kecil tidak otomatis setara dengan model frontier cloud. Organisasi harus menguji pekerjaan yang benar-benar akan diselesaikan, termasuk bahasa Indonesia dan kasus tepi.

Empat arsitektur yang harus dibedakan

Arsitektur lokal tidak otomatis menjaga privasi. Aplikasi dapat mengirim telemetry, prompt, log kegagalan atau data penggunaan ke server meskipun inferensi berjalan di perangkat. Sebaliknya, cloud dapat menerapkan kontrol kontraktual dan teknis yang kuat. Klaim ‘data tidak keluar’ harus diuji melalui lalu lintas jaringan, retensi, konfigurasi log, dan kebijakan vendor.

Simulasi biaya per tugas yang berhasil

Misalkan aplikasi hipotetis melayani 10.000 pengguna dengan 20 tugas per hari selama 30 hari. Volumenya 10.000 × 20 × 30 = 6.000.000 tugas per bulan. Jika seluruh biaya variabel cloud diasumsikan Rp50 per tugas yang berhasil, biayanya Rp300 juta. Rp50 adalah angka latihan, bukan harga resmi layanan mana pun.

Alternatif on-device diasumsikan menambah biaya pengembangan, dukungan dan pembaruan Rp15.000 per pengguna per bulan, atau Rp150 juta. Jika 10% tugas masih perlu cloud fallback dengan Rp50 per tugas, biaya tambahan = 600.000 × Rp50 = Rp30 juta. Total ilustratif menjadi Rp180 juta sebelum biaya perangkat, risiko kualitas, tenaga review, dan biaya tetap lainnya.

Selisih Rp120 juta tidak boleh disebut keuntungan. Model lokal mungkin lebih sering gagal sehingga membutuhkan koreksi manusia, sedangkan perangkat pengguna mungkin harus diganti lebih cepat. Metrik yang tepat ialah biaya total per tugas yang lulus kualitas: semua biaya pengembangan, komputasi, pemeliharaan, dan koreksi dibagi jumlah pekerjaan yang benar-benar diterima pelanggan.

Privasi, offline, dan ketahanan

Di wilayah dengan koneksi tidak stabil, AI lokal berpotensi menjaga fungsi dasar: klasifikasi foto panen, ekstraksi formulir, atau asisten teknisi. Namun pembaruan model, data referensi, dan sinkronisasi audit tetap memerlukan prosedur. Mode offline harus membatasi keputusan berisiko tinggi; jika verifikasi diperlukan, sistem harus menunggu atau mengalihkan kepada manusia.

Perangkat lokal juga membawa risiko keamanan endpoint: kehilangan ponsel, malware, aplikasi tidak diperbarui, dan model dari sumber tidak dipercaya. Kontrol yang relevan meliputi enkripsi penyimpanan, penghapusan jarak jauh, pembatasan hak akses, serta dokumentasi versi model. Tidak mengirim data ke cloud tidak berarti data sudah aman.

Latensi perlu diukur ujung ke ujung. Model lokal menghindari perjalanan jaringan tetapi bisa lambat pada CPU lemah; cloud bisa lebih cepat dengan koneksi bagus. Uji pada perangkat kelas menengah, kondisi baterai rendah, jaringan terbatas, dan input yang merepresentasikan pengguna Indonesia.

Empat gerbang keputusan sebelum membeli

1. Data dan kepatuhan

Petakan jenis data, dasar pemrosesan, lokasi, retensi, hak akses, dan kewajiban kontraktual. Pilih cloud, privat, atau lokal berdasarkan risiko nyata, bukan slogan kedaulatan.

2. Mutu dan keselamatan

Bangun set uji kasus nyata. NIST ARIA menggabungkan model testing, red teaming, dan user testing untuk menilai dampak sistem. NIST, 18 September 2026. Skor satu benchmark tidak menggantikan uji pengguna.

3. Biaya lengkap

Hitung biaya per hasil valid, bukan hanya token atau harga GPU. Lakukan sensitivitas pada jumlah pengguna, fallback, tingkat kesalahan, dan umur perangkat.

4. Ketahanan

Uji apa yang terjadi ketika API tidak tersedia, lisensi berubah, atau perangkat berhenti menerima pembaruan. Siapkan ekspor data dan jalur migrasi.

Uji sensitivitas: kapan model lokal kehilangan keunggulan biaya?

Dalam simulasi sebelumnya, biaya on-device Rp150 juta dan fallback cloud Rp30 juta menghasilkan Rp180 juta per bulan. Anggap biaya koreksi kesalahan tambahan pada model lokal sebesar Rp80 juta per bulan. Total menjadi Rp260 juta, masih di bawah cloud Rp300 juta pada asumsi awal. Jika biaya koreksi naik ke Rp150 juta, total menjadi Rp330 juta dan keunggulan biaya hilang. Ini menunjukkan keputusan sangat sensitif terhadap mutu hasil dan beban review, bukan hanya biaya komputasi.

Perubahan jumlah pengguna juga memengaruhi pilihan. Jika hanya 1.000 pengguna, biaya pengembangan tetap mungkin tersebar pada volume yang terlalu kecil. Jika 100.000 pengguna, distribusi model dan pembaruan ke banyak perangkat dapat menjadi tantangan besar. Biaya per pengguna bukan selalu konstan; model simulasi linear harus diuji terhadap kenyataan operasional. Semua angka tetap hipotetis.

Desain pilot yang bisa diputuskan tanpa spekulasi

Pilih satu alur kerja berulang, misalnya ekstraksi tiga kolom dari nota penjualan. Siapkan 300 dokumen uji berizin dengan variasi kualitas foto, bahasa, dan format. Jalankan model lokal dan cloud pada dokumen yang sama; ukur akurasi per kolom, jumlah koreksi, latensi, konsumsi baterai, dan biaya total. Tentukan ambang kelulusan sebelum melihat hasil agar tim tidak memilih metrik yang kebetulan menguntungkan opsi favorit.

Untuk data sensitif, buat sampel sintetis yang realistis atau lakukan penyamaran yang benar, tetapi jangan menganggap data sintetis selalu mewakili kesulitan lapangan. Libatkan pengguna nyata untuk menguji apakah aplikasi membantu atau justru menambah pekerjaan. Catat kondisi ketika model harus menjawab ‘tidak tahu’ atau mengalihkan tugas kepada petugas. Keputusan produksi baru layak diambil setelah kegagalan dan biaya koreksinya terlihat.

Konsekuensi strategis bagi perusahaan lokal

Peluang bisnis bukan hanya menjual model kecil. Perusahaan Indonesia dapat membangun perangkat lunak yang memilih secara dinamis antara inferensi lokal dan cloud sesuai sensitivitas data, jaringan, tingkat risiko, dan biaya. Produk seperti itu harus transparan tentang kapan data berpindah lokasi. Jika aturan routing tersembunyi, klaim kedaulatan justru melemah. Nilai tambah terletak pada pengukuran dan pengendalian, bukan sekadar pemasangan model.

Kesimpulan

Model lokal kini menjadi opsi yang layak diuji serius, bukan jawaban universal. Pilihan terbaik adalah arsitektur yang menyelesaikan pekerjaan dengan kualitas, biaya, keamanan dan ketahanan paling masuk akal. Untuk Indonesia, kemampuan offline bisa bernilai besar, tetapi hanya jika hasilnya terbukti pada perangkat dan pengguna nyata.

Bacaan terkait

Laptop untuk AI; aturan lokasi data cloud; lisensi model terbuka.