Dalam artikel ini
- Apa yang berubah dalam MLPerf Inference v6.1?
- Angka yang perlu dibaca dengan hati-hati
- Lima ukuran yang jangan dicampur
- Simulasi biaya per jawaban valid
- Implikasi bagi bisnis Indonesia
- Cara membuat pengadaan berbasis benchmark yang tidak menyesatkan
- Risiko salah membaca kenaikan 5,7 kali
- Kesimpulan
- Bacaan terkait
Transparansi Penggunaan AI
Artikel ini dibuat dan ditulis sepenuhnya menggunakan kecerdasan buatan (AI) berdasarkan instruksi editorial AIGEO.ID. Sumber primer ditelusuri dan isi diperiksa secara digital dalam proses penerbitan ini; belum ada verifikasi manusia secara independen. Analisis dan simulasi harus dibaca bersama sumber, asumsi, dan keterbatasannya.
Inti: MLCommons melaporkan peningkatan kinerja inferensi yang besar dalam MLPerf v6.1. Namun skor benchmark bukan tarif API, biaya per hasil, atau bukti seluruh aplikasi lebih cepat.
Metode: sumber primer MLCommons 16 September 2026 dan dokumentasi benchmark. Tidak ada pengujian GPU atau pengukuran harga vendor yang dilakukan AIGEO.
Apa yang berubah dalam MLPerf Inference v6.1?
MLCommons pada 16 September 2026 merilis hasil MLPerf Inference v6.1. Organisasi ini menyebut rekor jumlah peserta serta dua pengujian baru yang mengikuti pola penggunaan AI: end-to-end retrieval-augmented generation atau RAG dan edge agentic inference. Rilis resmi MLCommons.
RAG end-to-end mengukur alur yang lebih panjang daripada satu pemanggilan model: embedding kueri, pencarian dokumen, reranking, lalu jawaban model bahasa. Pengujian mencakup proses ingest korpus dan tanya-jawab terhadap basis vektor yang telah disiapkan. Ini relevan bagi perusahaan yang memakai AI untuk pencarian dokumen internal, layanan pelanggan, dan pengelolaan pengetahuan.
Edge agentic inference mencerminkan interaksi beberapa langkah dengan riwayat percakapan yang berkembang. Beban agentic berbeda dari permintaan satu putaran karena konteks dapat memanjang dan model berulang kali memproses bukti. MLCommons juga menambah dukungan speculative decoding pada skenario interaktif tertentu. Perubahan metode berarti perbandingan antarrilis harus memperhatikan kesetaraan beban dan aturan pengujian.
Angka yang perlu dibaca dengan hati-hati
Menurut MLCommons, hasil terbaik per akselerator pada skenario server VLM meningkat 2,99 kali dibanding v6.0 enam bulan sebelumnya. Untuk DeepSeek R1, hasil terbaik per akselerator pada skenario server dilaporkan 5,7 kali lebih baik daripada v5.1 setahun sebelumnya. Kedua angka adalah perbandingan benchmark pada tugas dan konfigurasi tertentu, bukan peningkatan universal semua GPU atau semua model.
Angka ‘hasil terbaik’ juga tidak berarti rata-rata semua peserta naik sebesar itu. Vendor bisa memakai perangkat, perangkat lunak, batch, dan konfigurasi berbeda. Perubahan benchmark dapat membatasi keterbandingan lintas versi. Sebelum menyimpulkan satu vendor lebih murah, pembeli harus melihat submission spesifik, perangkat, konsumsi daya, syarat latensi, dan akurasi.
Lima ukuran yang jangan dicampur
| Ukuran | Menjawab pertanyaan | Bukan berarti |
|---|---|---|
| Throughput | Berapa tugas atau token per waktu | Pengguna tunggal lebih cepat |
| Latency | Seberapa lama menunggu hasil | Biaya selalu lebih rendah |
| Accuracy | Apakah hasil memenuhi uji | Aman untuk semua domain |
| Power | Energi pada konfigurasi tertentu | Total biaya fasilitas sama |
| Cost per valid task | Biaya pekerjaan yang diterima | Setara harga per token |
Untuk RAG, latensi total dapat didominasi pencarian, reranking, jaringan, atau waktu review manusia. Meningkatkan kecepatan model inti tidak otomatis mempercepat sistem ujung-ke-ujung dengan faktor yang sama. Demikian pula agen dengan banyak langkah bisa menghabiskan lebih banyak token sekalipun setiap token lebih cepat dihasilkan.
Simulasi biaya per jawaban valid
Semua angka berikut hipotetis. Misalkan sistem A dapat menyelesaikan 100.000 permintaan per bulan dengan biaya komputasi Rp40 juta dan tingkat jawaban yang lulus uji 90%. Biaya komputasi per jawaban valid = Rp40 juta / 90.000 = sekitar Rp444. Sistem B lebih cepat tetapi biaya Rp45 juta dengan tingkat lulus 96%; biaya per jawaban valid = Rp45 juta / 96.000 = sekitar Rp469. Sistem B memiliki mutu lebih tinggi namun biaya komputasi per jawaban valid sedikit lebih mahal pada asumsi ini.
Jika setiap jawaban salah membutuhkan koreksi manual Rp3.000, A menanggung 10.000 × Rp3.000 = Rp30 juta; B menanggung 4.000 × Rp3.000 = Rp12 juta. Total biaya komputasi dan koreksi menjadi Rp70 juta untuk A dan Rp57 juta untuk B. Hasil ini menunjukkan mengapa biaya token saja bisa menyesatkan. Namun biaya koreksi Rp3.000 adalah asumsi latihan, bukan data upah atau tarif layanan aktual.
Untuk pengadaan, bandingkan total biaya dengan standar akurasi yang sama, volume dan puncak beban yang sama, serta kebijakan kegagalan yang jelas. Periksa juga konsumsi daya, biaya penyusutan, biaya integrasi, kontrak dukungan, dan hak pindah pemasok.
Implikasi bagi bisnis Indonesia
Perusahaan Indonesia tidak perlu membeli GPU paling mahal hanya karena unggul dalam satu grafik. Pengembang aplikasi RAG perlu menguji seluruh pipeline, sedangkan aplikasi agentic harus mengukur biaya per rangkaian tugas, bukan per satu respons. Benchmark terbuka membantu menyaring opsi, tetapi uji coba dengan data berizin dan kebutuhan lokal tetap diperlukan.
Keunggulan bisnis sering muncul dari optimasi yang kurang glamor: pengurangan dokumen tak relevan, cache, batching, quantization, dan desain fallback. Perubahan ini bisa lebih berpengaruh daripada mengganti model setiap bulan. Jangan mencampurkan angka benchmark MLCommons dengan harga vendor yang tidak diperiksa pada tanggal yang sama.
Cara membuat pengadaan berbasis benchmark yang tidak menyesatkan
Langkah pertama adalah menentukan beban kerja aktual: berapa panjang dokumen, jumlah pengguna serentak, distribusi jam sibuk, dan batas waktu jawaban. Sistem tanya-jawab RAG perlu diuji dengan basis dokumen yang sama, konfigurasi indeks yang sama, dan prosedur evaluasi jawaban yang sama. Jika vendor memakai korpus berbeda, perbandingan throughput dan kualitas tidak adil.
Kedua, tetapkan syarat mutu minimum. Misalnya hanya hasil yang memiliki dukungan dokumen relevan dan lolos pemeriksaan fakta yang dihitung sebagai tugas berhasil. Angka akurasi contoh harus dinyatakan sebagai target organisasi, bukan skor resmi MLPerf. Ketiga, gunakan data latensi persentil tinggi untuk menilai pengalaman saat beban puncak. Median yang bagus dapat menyembunyikan sebagian pengguna yang menunggu terlalu lama.
Keempat, pisahkan biaya komputasi dari biaya total. Kontrak cloud mungkin memasukkan kuota, egress, penyimpanan, dan dukungan. Server milik sendiri membutuhkan listrik, pendinginan, tenaga operasi, cadangan, dan penyusutan. Tanpa satuan dan periode yang sama, harga per token dan harga per jam GPU tidak bisa dibandingkan langsung.
Risiko salah membaca kenaikan 5,7 kali
MLCommons menyebut hasil terbaik per akselerator pada satu benchmark DeepSeek R1 meningkat 5,7 kali dari v5.1. Itu bukan berarti pembeli akan memperoleh diskon 82,5%, meskipun secara matematis throughput 5,7 kali pada biaya tetap akan menurunkan biaya kapasitas per unit menjadi sekitar 1/5,7. Asumsi biaya tetap jarang berlaku penuh: perangkat baru bisa lebih mahal, utilisasi tidak selalu tinggi, dan overhead sistem dapat berubah.
Perubahan model, konfigurasi, dan metodologi benchmark juga dapat mengganggu perbandingan. Karena itu hasil resmi berguna untuk menyusun daftar pendek sistem, sedangkan keputusan investasi memerlukan proof of concept dengan data dan standar layanan pembeli sendiri. Vendor yang transparan seharusnya bersedia menjelaskan seluruh denominator, bukan hanya angka percepatan terbesar.
Kesimpulan
MLPerf v6.1 memperlihatkan kemajuan penting pada inferensi AI, terutama RAG dan agen. Namun lompatan throughput bukan otomatis penurunan harga, peningkatan akurasi, atau perbaikan layanan pengguna. Keputusan pembelian harus berpijak pada biaya per hasil valid dan bukti sistem lengkap.
Bacaan terkait
Ekonomi prompt caching; Biaya GPU; Harga AI per hasil.
Komentar & Diskusi