Metodologi Audit: OWASP LLM Top 10

Dari alat ke metode

Punya Garak, PyRIT, dan guardrails belum sama dengan punya metodologi. Kerangka yang mempersatukan keduanya: OWASP Top 10 for LLM Applications — daftar risiko paling kredibel untuk aplikasi AI (prompt injection, rantai pasok, kebocoran data sensitif, dan seterusnya).

Alur audit yang bisa dipertanggungjawabkan

1. Pemetaan aset — apa modelnya? apa prompt sistem? data apa yang bisa diakses? tools/functions apa yang bisa dipanggil agen? (Satu baris per aset.)
2. Pemetaan risiko ke OWASP — tiap aset dicocokkan ke daftar risiko LLM. Ini menentukan probe apa yang relevan.
3. Pengujian otomatis — Garak untuk screening model, PyRIT untuk skenario mendalam di area risiko tertinggi, Promptfoo untuk kasus bisnis spesifik.
4. Verifikasi pertahanan — uji guardrails dengan payload yang sama: apakah benar-benar memblokir?
5. Laporan & remediasi — temuan, dampak, rekomendasi, dan uji ulang setelah perbaikan.

Menulis temuan yang dihargai engineer

Struktur minimal: judul → langkah reproduksi → dampak → rekomendasi. Tanpa langkah reproduksi, temuan adalah opini. Dengan reproduksi, temuan adalah tiket kerja.

Kapan audit diulang

• Ganti model / versi model.
• Prompt sistem berubah signifikan.
• Menambah kemampuan baru ke agen (tools, akses data).
• Berkala: setiap kuartal untuk sistem produksi.

Catatan karier yang jujur

Keamanan AI masih lautan yang dangkal personelnya — permintaan jauh melebihi pasok orang yang paham. Selesaikan challenge course ini, publikasikan laporan audit sandbox-mu di /build — itu portofolio yang langsung beda kelas.

Checklist membuat pemula sistematis. Sistematis membuat profesional bisa tidur nyenyak.