Kenapa LLM Perlu RAG

Masalah: model itu beku di waktunya

LLM berhenti "belajar" saat pelatihannya selesai. Ia tidak tahu dokumen internal perusahaanmu, harga hari ini, atau regulasi minggu lalu. Tiga solusi umum:

| Pendekatan | Cocok untuk | Kelemahan | |---|---|---| | Prompt panjang | dokumen kecil statis | mahal per request, tidak men-skala | | Fine-tuning | gaya/format khusus | tidak menambah fakta baru, mahal | | RAG | pengetahuan dinamis/lokal | kompleksitas pipeline |

RAG dalam satu kalimat

Sebelum menjawab, ambil potongan dokumen yang relevan, tempel ke konteks, lalu minta model menjawab berdasarkan potongan itu.

Pertanyaan ──▶ [Retrieve: cari dokumen relevan]
                        │
                        ▼
            [Augment: gabungkan ke prompt]
                        │
                        ▼
            [Generate: jawab dengan sitasi]

Kapan RAG adalah jawaban yang benar

• Pengetahuan berubah lebih cepat dari siklus fine-tuning.
• Butuh jejak sumber (auditability) — jawaban harus bisa menunjuk dokumen.
• Dokumen banyak dan beragam topik sehingga tidak muat di prompt.

Di lesson berikutnya kita bongkar tiap tahapnya: chunking, embedding, vector store, lalu evaluasi.