Mengevaluasi Kualitas RAG

RAG punya dua titik gagal

1. Retrieval gagal — dokumen yang benar tidak terambil.
2. Generation gagal — dokumen benar ada, tapi model tetap mengarang.

Keduanya butuh metrik berbeda. Mendiagnosis yang salah bikin kamu memperbaiki bagian yang tidak rusak.

Metrik retrieval

• Hit rate@k — dari N pertanyaan uji, berapa kali dokumen emas masuk top-k?
• MRR (mean reciprocal rank) — semakin tinggi posisi dokumen emas, semakin baik.

Buat golden set: 30–100 pasangan (pertanyaan → potongan dokumen yang seharusnya terambil). Ini investasi sekali yang dipakai selamanya.

Metrik generation

• Faithfulness — apakah tiap klaim jawaban didukung konteks yang diberikan? (Cocok dinilai model-as-judge dengan rubrik ketat.)
• Answer relevance — apakah jawaban menjawab pertanyaannya?

Ritual sebelum tuning apa pun

1. Jalankan 20 pertanyaan nyata.
2. Labeli gagalnya: retrieval atau generation?
3. Perbaiki hanya lapisan yang rusak.
4. Ulangi. Ukur. Baru klaim membaik.

RAG tanpa evaluasi bukan sistem — itu kebetulan yang tersambung.