Embedding dan pencarian hibrida

Ringkasan: Uji pencarian makna bersama pencarian kata persis untuk istilah khusus dan nomor pasal. Kedekatan vektor tidak otomatis berarti dokumen itu benar. Pelajaran ini memperdalam Embedding dan pencarian hibrida dengan contoh prototipe yang dapat diperiksa, bukan hanya definisi teknis.

Ini adalah pelajaran 4/7 dalam Tingkat 8: Membangun Aplikasi AI. Pengguna awam dapat mengikuti arsitektur dan tata kelolanya; implementasi kode perlu menyesuaikan dokumentasi platform yang dipilih.

Masalah yang diselesaikan

Uji pencarian makna bersama pencarian kata persis untuk istilah khusus dan nomor pasal. Kedekatan vektor tidak otomatis berarti dokumen itu benar.

Sebuah aplikasi AI selalu terdiri dari kebutuhan pengguna, masukan, data yang berhak diakses, model atau algoritma, kontrol yang dijalankan perangkat lunak, serta keluaran yang dapat dinilai. Kualitas jawaban model hanyalah satu bagian. Kesalahan bisa berasal dari dokumen, integrasi, antarmuka, izin, atau pengaturan versi.

Contoh penerapan

Katalog hipotetis menyimpan istilah ‘penghentian studi sementara’ tetapi mahasiswa bertanya ‘cuti kuliah’. Pencarian semantik dapat membantu menemukan istilah terkait, sementara kode mata kuliah masih memerlukan pencocokan literal.

Anggap kasus tersebut sebagai spesifikasi latihan, bukan produk yang sudah diuji di lapangan. Sebelum menulis kode, ubah kebutuhan menjadi test case: apa yang harus muncul ketika input benar, tidak lengkap, bertentangan, atau di luar cakupan? Hasil yang tidak ditemukan di sumber harus dinyatakan tidak tersedia.

Langkah pembuatan yang dapat diikuti

1. Rancang: Bandingkan pencarian kata persis, vektor, dan gabungan pada 10 pertanyaan beragam. Uji relevansi top-3.
2. Batasi data: petakan asal berkas, hak baca, masa simpan dan informasi yang tidak boleh terkirim.
3. Bangun prototipe: mulai dari satu fungsi kecil, validasi input dan output, dan siapkan jalur respons saat model gagal.
4. Evaluasi: bandingkan dengan jawaban rujukan, baseline sederhana, biaya dan waktu respons; simpan bukti semua kegagalan.
5. Pelihara: catat perubahan model, prompt, data dan versi aplikasi agar dapat ditelusuri serta dibatalkan bila perlu.

Produk akhir pembelajaran

Artefak: tabel kueri, hasil kata kunci, hasil semantik, relevansi dan kesalahan.

Penyerahan yang baik harus memuat cara menjalankan ulang tes, batasan hasil, dan penanggung jawab koreksi. Bila prototipe memakai sumber bergerak seperti kebijakan atau katalog, buat aturan pemutakhiran dan tentukan bagaimana sistem mendeteksi data yang sudah tidak berlaku.

Keamanan dan keterbatasan

Vektor yang berdekatan tidak menjamin dokumen tepat; nomor pasal dan istilah hukum dapat salah terambil.

Hindari menaruh kunci API pada halaman publik atau memberi aplikasi hak administrator bila hanya perlu membaca. Amankan dokumen unggahan dari instruksi yang tidak dipercaya, beri batas permintaan dan biaya, serta rancang penghentian aman. Aplikasi dengan konsekuensi tinggi membutuhkan tinjauan manusia dan pengujian tambahan.

Latihan dan kuis

Tulis tujuan serta batas sistem untuk Embedding dan pencarian hibrida dalam tiga kalimat.
Buat minimal lima test case: normal, input kosong, data konflik, permintaan di luar cakupan, dan kegagalan alat.
Tandai data yang diperlukan dan bedakan yang boleh disimpan dari yang tidak.
Jelaskan apa yang dilakukan sistem ketika bukti tidak tersedia dan siapa yang bertanggung jawab.

Mengapa demo bukan bukti produksi siap?

Demo hanya menunjukkan beberapa contoh terpilih. Produksi memerlukan pengujian kasus gagal, kontrol akses, performa, privasi dan kemampuan rollback.

Apa indikator berhasilnya materi ini?

Pembaca dapat menyerahkan artefak Embedding dan pencarian hibrida dengan tujuan, contoh, sumber data, metrik, dan prosedur pemeriksaan yang dapat diulang.

Referensi

Transparansi: modul disusun dengan bantuan AI berdasarkan dokumentasi teknis; studi kasus merupakan simulasi. Tidak ada klaim uji perangkat lunak nyata atau keamanan yang telah diaudit.