Menjaga Agent Tetap Terkendali

Untrusted oleh default

Agent yang membaca dokumen, menjelajah web, atau menjalankan kode adalah eksekutor dengan sumber input yang tidak bisa kamu percaya penuh. Kendalikan:

1. Anggaran keras

const limits = {
  maxSteps: 12,          // jangan berputar selamanya
  maxTokens: 40_000,     // jangan membakar tabunganmu
  maxDurationMs: 120_000,
  toolsWhitelist: [...], // jangan improvisasi di luar daftar
};

2. Zona wewenang bertingkat

| Level | Contoh aksi | Kontrol | |---|---|---| | Hijau | baca data, kirim laporan ke diri sendiri | otomatis | | Kuning | tulis draft, ubah task sendiri | review sekali | | Merah | kirim ke pihak lain, hapus, beli | konfirmasi manusia tiap kali |

3. Observability

Log per langkah: pikiran → tool → hasil → token terpakai. Format trace yang bisa dibaca manusia ini juga bahan debugging terbaik saat agent "berkelahi" dengan dirinya sendiri.

4. Fallback yang menenangkan

Kalau agent gagal di tengah: simpan pekerjaan parsial, lapor dengan jelas ("berhenti di langkah 3 karena X"), dan sediakan tombol "lanjutkan manual". Agent yang gagal dengan sopan akan dipercaya lagi; yang gagal diam-diam akan dicopot.