Prompt injection & mitigasinya

Eksplorasi kerentanan keamanan paling kritis pada aplikasi berbasis LLM: Direct & Indirect Prompt Injection.

Bentuk Serangan & Mitigasi:

• Direct Jailbreak: User menimpa instruksi sistem ("Ignore all previous instructions and...").
• Indirect Injection: Dokumen eksternal dari web/PDF yang di-ingest mengandung instruksi tersembunyi untuk mengeksfiltrasi data.
• Strategi Pertahanan: Isolasi data menggunakan XML boundary tags (<context>...</context>), validasi input/output guardrails, dan pemisahan role sistem yang tegas.