Project: evals sebagai CI
P4 — Kualitas & Biaya
Eval yang tidak dijalankan otomatis = tidak ada. Bungkus golden set jadi gerbang CI sederhana.
Yang dibangun
- Script
eval.sh/eval.pyyang exit code 0/1 sesuai pass-rate. - Hook pre-push atau CI pipeline (GitHub Actions di repo lamamu) yang menjalankannya.
- Laporan: pass-rate, kasus gagal, dan diff vs baseline sebelumnya.
Kriteria selesai
- Commit yang menurunkan skor → CI merah, pesannya menyebut QA mana yang gagal.
- README "eval.md": cara menambah QA baru.
Langkah pengerjaan
- Script eval dengan exit code (baseline dulu)
- Pipeline CI (GH Actions) menjalankan eval
- Laporan gagal per-QA + diff skor
- README eval.md + contoh run
P4