Lanskap Ancaman Aplikasi LLM

Permukaan serangan baru

Aplikasi LLM menambahkan kelas bug yang tidak ada di stack tradisional:

1. Prompt injection — input user mengubah instruksi sistem (pembahasan khusus di lesson berikut).
2. Data exfiltration lewat output — model "dibujuk" memuntahkan rahasia dari konteksnya.
3. Confused deputy — model punya akses tools; penyerang memakai model sebagai perantara aksi berbahaya.
4. Supply chain prompt — konten dari internet (halaman web, email, file) yang di-scrape ikut masuk konteks dan membawa instruksi tersembunyi.

Prinsip fundamental

Konteks bukan kode, tapi berperilaku seperti kode. Apa pun teks yang masuk ke jendela konteks bisa mempengaruhi perilaku model — perlakukan semua input (termasuk dokumen RAG) sebagai untrusted.

Model ancaman 10 menit

Untuk fitur AI-mu, tanyakan:

• Data sensitif apa yang bisa diakses model?
• Tools apa yang bisa dipanggil model, dengan efek samping apa?
• Input dari pihak ketiga apa yang masuk konteks?
• Output ke mana (di-render sebagai HTML? dieksekusi?)