Berapa Lama Agen AI Bisa Bekerja Mandiri? Cara Membaca Benchmark METR

Apa arti horizon tugas agen AI pada tingkat sukses 50% dan 80%? Pelajari cara membaca benchmark METR dan mengujinya pada pekerjaan nyata.
5 menit baca
Stopwatch dan laptop di meja evaluasi
Ilustrasi konseptual berbantuan AI.
Dalam artikel ini
  1. Bagaimana METR menghitung horizon tugas agen AI?
  2. Mengapa dua agen dengan skor serupa bisa berbeda di kantor?
  3. Cara menilai agen untuk pekerjaan nyata di Indonesia
  4. Apa artinya bagi singularity?
  5. Pertanyaan umum
Transparansi Penggunaan AI: AI membantu penelusuran sumber, penulisan, dan penyuntingan. Ilustrasi dibuat dengan AI. Naskah ini belum ditinjau redaktur manusia.

Jika sebuah agen AI punya horizon dua jam, berapa lama ia sanggup bekerja tanpa diawasi? Angka itu sebenarnya menjawab pertanyaan tentang tingkat kesulitan tugas. Pada horizon 50%, dua jam berarti bahwa, dalam kumpulan tugas yang dinilai METR, agen diperkirakan berhasil sekitar separuh pada tingkat kesulitan yang setara dengan pekerjaan dua jam bagi pakar manusia. Agen bisa selesai lebih cepat, membutuhkan waktu lebih lama, atau gagal. Sumber metodologi METR.

Ini salah satu petunjuk yang lebih konkret daripada sekadar mengatakan model baru lebih pintar. Pengembang dapat menghubungkan skor dengan pekerjaan yang mereka kenal. Untuk keputusan di produksi, dua pertanyaan berikutnya lebih penting: seberapa andal agen pada tugas yang benar-benar akan diserahkan kepadanya, dan berapa biaya pemeriksaan hasilnya?

Bagaimana METR menghitung horizon tugas agen AI?

Penyelenggara mengumpulkan tugas dengan kriteria kelulusan. Pakar manusia mengerjakannya untuk membantu memperkirakan durasi referensi. METR kemudian menghubungkan waktu pakar dengan keberhasilan agen menggunakan kurva statistik. Titik potong kurva dengan tingkat sukses 50% atau 80% menjadi estimasi horizon untuk konfigurasi agen yang diuji. Nilai tersebut bergantung pada model, alat yang tersedia, cara agen dijalankan, dan jenis pekerjaan di kumpulan tes. Sumber metodologi METR.

IstilahMakna praktis
Horizon 50%Ukuran kemampuan di wilayah tugas yang masih sulit. Hasil perlu pemeriksaan ketat sebelum digunakan.
Horizon 80%Ukuran pada ambang yang lebih ketat. Dalam kurva normal yang menurun, durasi tugas pada ambang ini lebih pendek.
Waktu agenWaktu nyata yang dipakai sistem untuk bekerja. Ukur sendiri bersama biaya alat, token, dan peninjauan.
Interval ketidakpastianRentang estimasi yang membantu membaca seberapa presisi nilai horizon, terutama saat tugas panjang masih jarang.

Ilustrasi hipotetis: agen A punya horizon 50% dua jam dan horizon 80% 30 menit. Tim yang menyiapkan pembaruan katalog mingguan mulai dari pekerjaan yang dapat diperiksa dalam lingkup kecil. Untuk perubahan data yang lebih panjang, tim memisahkan langkah persiapan dari persetujuan akhir. Persentase tersebut memberi titik awal agar penugasan sesuai dengan toleransi kesalahan. Dampak kesalahan tetap berbeda untuk kalimat promosi dan data harga yang langsung tampil kepada publik.

Mengapa dua agen dengan skor serupa bisa berbeda di kantor?

METR menjelaskan bahwa waktu pakar pada sebagian tugas dapat lebih panjang dari waktu seorang karyawan yang sudah mengenal sistemnya. Pengetahuan tentang sejarah proyek, kesepakatan tim, atau data setempat membantu pakar menyelesaikan pekerjaan lebih cepat. Di sisi lain, agen yang mengerjakan ulang tugas-tugas identik dapat terlihat andal pada tes tertentu dan tetap kesulitan menghadapi variasi yang lazim di organisasi. METR juga mencatat bahwa pada kelompok tugas berdurasi serupa, ada tugas yang hampir selalu diselesaikan dan ada yang berulang kali gagal. Rata-rata dapat menutupi pola itu. Sumber metodologi METR.

Versi Time Horizon 1.1 memperluas kumpulan tugas serta memperbarui infrastruktur evaluasi. Laporan METR tentang pengujian Februari–Maret 2026 memberi contoh keterbatasannya. Untuk satu model bersama yang diuji, estimasi titik horizon 50% sekitar 16–20 jam dan horizon 80% sekitar 3–4 jam. METR menyatakan perangkat tes TH1.1 sulit mengukur secara andal di atas 16 jam. Karena itu, angka 16–20 jam perlu dibaca bersama keterbatasan pengukuran, dan bukan digunakan sebagai jaminan otonomi sehari penuh. Sumber laporan risiko frontier METR dan penjelasan TH1.1.

Cara menilai agen untuk pekerjaan nyata di Indonesia

Tetapkan definisi selesai. Untuk pencocokan invoice, misalnya, agen baru dianggap lulus ketika jumlah dan tanggal sesuai sumber, duplikat ditandai, serta kasus ambigu diteruskan kepada petugas. Kriteria dibuat sebelum melihat hasil, termasuk kondisi yang memerlukan eskalasi. Jika sistem tidak diizinkan mengubah data produksi, pekerjaan yang dihitung adalah rekomendasi siap ditinjau.

Buat pembanding yang sesuai. Ambil tugas dari alur kerja sendiri, termasuk lampiran bahasa Indonesia, data yang tidak selalu rapi, serta perubahan aturan di tengah proses. Bandingkan kinerja staf menggunakan proses biasa dengan kinerja staf yang dibantu agen. Pisahkan waktu kerja aktif dari waktu tunggu dan hitung biaya pengulangan. Tes pakar-referensi seperti METR dan uji operasional ini menjawab pertanyaan yang saling melengkapi.

Ukur tingkat keberhasilan yang diperlukan. Pakai ambang berbeda untuk keluaran yang dapat dibatalkan dan keluaran yang memengaruhi pembayaran atau keputusan pelanggan. Laporkan juga berapa banyak berkas yang harus dikerjakan ulang, berapa sering pengawas turun tangan, dan berapa kesalahan yang baru ketahuan setelah hasil dipakai. Satu angka rata-rata tidak menunjukkan semua beban itu.

Dalam rapat pengadaan, minta pula distribusi hasil. Median dapat membaik meski sebagian kecil tugas berakhir dengan penundaan panjang. Lihat waktu persentil ke-95, keberhasilan pada percobaan pertama, dan hasil sesudah koreksi. Sepuluh dokumen tambahan yang selesai cepat tidak menutup risiko satu pembayaran salah yang sulit dipulihkan. Karena itu, pola kegagalan pada setiap kelompok pekerjaan lebih berguna daripada satu skor gabungan.

Apa artinya bagi singularity?

Jika horizon pada tingkat reliabilitas tinggi naik secara konsisten di banyak jenis tugas, ada alasan lebih kuat untuk menduga makin banyak pekerjaan bisa didelegasikan. Untuk berbicara tentang percepatan riset AI, rangkaian tugas tersebut perlu meliputi perumusan masalah, eksperimen, dan pengujian hasil, bukan hanya cuplikan proyek. Perubahan metode dan konteks harus dicatat sebelum menarik garis tren ke masa depan. Baca artikel pembuka seri tentang ledakan kecerdasan dan panduan membaca benchmark AI.

Pertanyaan umum

Apakah horizon 50% berarti setiap tugas dua jam punya peluang sukses 50%?

Tidak. Angka itu diperkirakan dari pola berbagai tugas dalam kumpulan tes. Setiap tugas dapat mempunyai tingkat keberhasilan yang berbeda.

Apakah horizon 80% cukup untuk menjalankan agen tanpa pengawasan?

Keputusan itu bergantung pada akibat kegagalan, kemampuan mendeteksi kesalahan, dan karakter tugas setempat. Tingkat keamanan dan pengawasan perlu dinilai pada alur yang benar-benar akan dijalankan.

Lihat bacaan tersimpan

Disimpan hanya di browser perangkat ini.

Komentar & Diskusi

Tulis Komentar

Bagikan pendapat Anda dengan sopan dan relevan. Alamat email tidak akan ditampilkan.