Manajemen Konteks & Biaya

Biaya itu desain, bukan takdir

Aplikasi LLM yang tidak dikelola membakar uang dengan cara yang bisa diprediksi: konteks menumpuk, riwayat penuh dikirim ulang, dan output bertele-tele.

Teknik pengendalian konteks

1. Ringkas percakapan — saat melewati ambang (mis. 20 pesan), ganti riwayat lama dengan ringkasannya.
2. Cache system prompt — sebagian provider memberi diskon untuk prefix yang identik di banyak request.
3. Seleksi RAG — ambil top-k paling relevan saja; jangan menembakkan seluruh dokumen.

Teknik pengendalian output

• max_tokens wajar (output panjang = biaya + latensi).
• Instruksi "ringkas" eksplisit di system prompt.
• Format terstruktur mengurangi basa-basi pembuka/penutup.

Model routing sederhana

const model = task === "klasifikasi" ? "small-cheap" : "large-smart";

Klasifikasi dan ekstraksi jarang butuh model terbesar. Menyimpan 50–80% biaya lewat routing itu normal di production.

Dashboard biaya minimum

Lacak per endpoint: token masuk, token keluar, error rate, p95 latensi. Tanpa angka ini, optimasi apa pun cuma feeling.