Mengapa biaya AI perlu dikelola sekarang
Bertahun-tahun kita terbiasa dengan asumsi bahwa biaya AI akan terus turun. Pada 2026 asumsi itu tidak lagi aman: harga memori melonjak dan menekan biaya server, seperti kami bahas di Memori, Bukan GPU, Menjadi Leher Botol Baru AI. Di sisi lain, agen AI dan konteks panjang membuat satu tugas memakai jauh lebih banyak token daripada sekadar tanya-jawab. Organisasi yang mengelola biayanya sejak awal akan bisa memakai AI lebih luas dengan anggaran yang sama.
Panduan ini memperkenalkan lima tuas biaya, lengkap dengan hitungan yang bisa Anda tiru, serta satu aturan penting: jangan menghemat sebelum Anda bisa mengukur mutu.
Anatomi tagihan AI
Hampir semua layanan model bahasa menagih berdasarkan token. Empat hal menentukan tagihan Anda:
- Token input: prompt sistem, konteks, dokumen, dan riwayat percakapan yang dikirim ulang setiap kali.
- Token output: jawaban model, yang umumnya lebih mahal per token daripada input.
- Model yang dipilih: model besar jauh lebih mahal daripada model kecil.
- Volume dan pengulangan: berapa kali tugas dijalankan, termasuk percobaan ulang saat hasil buruk.
Contoh hitungan: 100.000 permintaan per bulan
Bayangkan fitur layanan pelanggan yang memproses 100.000 permintaan sebulan. Tiap permintaan mengirim 1.500 token input (1.000 token prompt sistem yang tetap ditambah 500 token pesan pelanggan) dan menerima 300 token jawaban. Untuk contoh ini kami memakai harga ilustratif, bukan tarif vendor mana pun; ganti dengan tarif aktual Anda.
| Parameter ilustratif | Nilai |
|---|---|
| Model besar, per juta token | US$3 input, US$15 output |
| Model kecil, per juta token | US$0,25 input, US$1,25 output |
| Token input yang dibaca dari cache | 10% dari harga input |
| Pemrosesan batch (tidak mendesak) | 50% dari harga biasa |
Diskon cache dan batch semacam ini ditawarkan sejumlah penyedia, tetapi besaran dan syaratnya berbeda-beda. Periksa dokumentasi penyedia Anda.
| Langkah | Biaya per bulan | Penghematan kumulatif |
|---|---|---|
| 0. Dasar: semua ke model besar | US$900 | – |
| 1. Batasi jawaban jadi 200 token | US$750 | 16,7% |
| 2. Tambah cache untuk 1.000 token prompt sistem | US$480 | 46,7% |
| 3. Tambah routing: 70% permintaan ke model kecil | US$172 | 80,9% |
| 4. Tambah batch untuk 40% permintaan tidak mendesak | US$137,60 | 84,7% |
Biaya per tugas turun dari sekitar US$0,0090 menjadi sekitar US$0,0014. Angka-angka ini dihitung dengan kode dan konsisten dengan parameter di atas. Perhatikan bahwa penghematan terbesar datang dari cache dan routing, bukan dari pemangkasan kata.
Lima tuas biaya
1. Batasi dan bentuk output
Minta panjang jawaban yang jelas (misalnya “maksimum tiga kalimat”), gunakan format ringkas seperti JSON dengan kolom pendek, dan pasang batas token keluaran. Karena output lebih mahal per token, ini tuas termurah untuk dicoba. Risikonya: jawaban terpotong. Selalu uji pada set evaluasi.
2. Manfaatkan cache prompt
Letakkan bagian yang tetap (instruksi, aturan, contoh) di awal prompt dan data yang berubah di akhir, supaya penyedia dapat menyimpan bagian awal dan membacanya lebih murah pada permintaan berikutnya. Kesalahan umum: menyisipkan tanggal atau nama pelanggan di awal prompt sehingga cache tidak pernah terpakai. Cek juga masa berlaku cache pada penyedia Anda.
3. Rutekan tugas ke model yang tepat
Tidak semua tugas butuh model terbesar. Klasifikasi, ekstraksi, dan ringkasan pendek sering cukup dengan model kecil. Rancang aturan routing sederhana: kirim ke model kecil lebih dulu, lalu naikkan ke model besar jika keyakinan rendah atau tugasnya kompleks. Model terbuka yang lebih kecil bisa menjadi tingkat bawah; lihat Kimi K3 dan Era Model Terbuka Kelas Frontier untuk konteksnya.
4. Pakai batch untuk pekerjaan yang tidak mendesak
Pelabelan data, laporan malam, dan analisis massal tidak perlu jawaban dalam hitungan detik. Banyak penyedia menawarkan pemrosesan batch dengan diskon, dengan imbalan waktu tunggu yang lebih lama. Pisahkan antrean mendesak dan tidak mendesak.
5. Ukur biaya per tugas selesai
Jangan hanya memantau tagihan total. Pantau biaya per tugas yang benar-benar selesai dengan mutu memadai. Metrik pendamping: token input dan output per fitur, tingkat cache hit, persentase eskalasi ke model besar, serta tingkat gagal atau diulang. Tanpa ukuran ini, penghematan hanya tebakan.
Aturan emas: evaluasi dulu, hemat kemudian
Siapkan 100–200 kasus nyata beserta jawaban yang dianggap benar, dan tetapkan ambang mutu. Setiap perubahan, entah routing atau pemangkasan prompt, harus lolos set uji itu sebelum dipakai. Panduan Analisis Data dengan AI Tanpa Tertipu Angka membahas cara menjaga kejujuran pengukuran.
Jebakan yang sering muncul:
- Menghemat token tetapi menaikkan percobaan ulang, sehingga biaya per tugas justru naik.
- Routing yang terlalu agresif dan menurunkan mutu pada kasus sulit.
- Cache yang basi, yaitu instruksi berubah tetapi versi lama masih terbaca.
- Konteks yang dipangkas terlalu pendek sehingga model kehilangan informasi penting.
Prompt untuk audit biaya
Gunakan prompt berikut pada sampel log permintaan Anda (tanpa data pribadi):
Peran: auditor biaya AI yang teliti.
Data: sampel 200 permintaan beserta jumlah token input dan output.
Tugas:
1. Hitung rata-rata, median, dan persentil ke-95 token input dan output.
2. Tandai bagian prompt yang selalu sama dan bisa dipindahkan ke awal agar dapat di-cache.
3. Kelompokkan permintaan menurut tingkat kesulitan dan usulkan mana yang cukup untuk model kecil.
4. Tandai permintaan yang tidak mendesak dan cocok untuk batch.
5. Tunjukkan perhitungan, bukan hanya hasil, dan sebutkan asumsi yang dipakai.Rencana satu minggu
| Hari | Langkah |
|---|---|
| 1 | Pasang pengukuran token dan biaya per fitur. |
| 2 | Susun set evaluasi dan ambang mutu. |
| 3 | Rapikan prompt dan batasi output; uji pada set evaluasi. |
| 4 | Susun ulang prompt agar bagian tetap berada di awal; aktifkan cache. |
| 5 | Uji routing ke model kecil dengan aturan eskalasi. |
| 6 | Pisahkan antrean batch untuk tugas tidak mendesak. |
| 7 | Tinjau biaya per tugas dan mutu; tetapkan target bulan depan. |
Penutup
Biaya AI bukan takdir; ia hasil dari serangkaian keputusan desain. Organisasi yang menerapkan lima tuas ini dengan disiplin evaluasi sering kali bisa memperluas pemakaian AI tanpa menaikkan anggaran, sehingga lebih banyak pelanggan, siswa, atau pegawai terlayani. Bagi UMKM dan instansi dengan anggaran terbatas, ini bisa menjadi pembeda antara proyek percobaan dan layanan yang bertahan. Lihat juga AI untuk UMKM Indonesia 2026 untuk gambaran kasus penggunaan dan pengukuran ROI.
Catatan
- Seluruh angka dalam contoh hitungan adalah ilustratif dan telah diverifikasi ulang dengan kode. Tarif dan diskon nyata berbeda menurut penyedia dan dapat berubah.
Leave a Reply