Evals sebagai CI
M10 — AI Engineering di Production
Continuous Integration untuk Aplikasi AI
Jangan pernah mengubah system prompt atau memperbarui model tanpa menjalankan regresi otomatis.
Pipeline Evals di GitHub Actions
- Pasang dataset pengujian golden set (misal 50 kasus uji representatif).
- Jalankan pipeline evaluasi otomatis pada setiap Pull Request.
- Pasang ambang batas lolos (contoh: akurasi >= 85%, format valid = 100%, latensi p95 < 2s).
- Blokir merge jika perubahan prompt menyebabkan regresi pada kasus uji yang sebelumnya lulus.
M10