Tracing: lihat tiap langkah agency sebelum percaya padanya
A4 — Observability, Eval & Produksi
Agent tanpa tracing seperti kode tanpa log: ketika jawaban salah, kamu tidak tahu langkah mana yang salah. Tracing = jejak lengkap satu run.
Yang wajib tercatat per langkah
- Input prompt (atau hash-nya) + output model.
- Tool name, argumen, hasil (ringkas), status error.
- Token count (input/output), latensi, biaya estimasi.
- Timestamp + step number; total steps.
Standar vs mencatat sendiri
- Standar: OpenTelemetry (OTel) + OpenInference — vendor-agnostic, tracing ke Grafana/CloudWatch/Langfuse dsb. Cocok produksi multi-layanan.
- Mencatat sendiri: JSONL
traces/{run_id}.jsonl— cukup untuk solo project, nol dependency, mudah di-parse untuk eval (A4-eval).
Men-debug dengan tracing
Pola klasik: jawaban salah → buka trace → temukan langkah pertama yang menyimpang (tool salah dipilih? hasil tool terpotong? model salah baca?) → perbaiki satu hal → re-run. Kalau tidak bisa menunjuk satu langkah, belum waktunya ubah prompt.
Tugas: tambah tracing JSONL ke agen-note/A3 (tiap langkah: prompt ringkas, tool, token, durasi, status). Jalankan satu sesi bermasalah dan tulis analisis 5 baris: langkah mana yang menyimpang dan mengapa.
A4