Project: golden set 10 QA + skor pass
P2 — RAG Sederhana End-to-End
Tanpa ukuran, RAG hanya "kesannya jalan". Bikin golden set dan skor pass-rate yang bisa dijalankan berulang.
Yang dibangun
- 10 pasangan (pertanyaan, jawaban rujukan) yang jawabannya memang ada di 3 sumbermu.
- Script eval: jawab tiap QA, cek [N] yang disebut benar-benar memuat jawaban.
- Skor: pass = jawaban benar + rujukan valid (minimal 8/10 untuk lolos).
Kriteria selesai
eval.pymencetakPASS 8/10atauFAIL n/10.- Tiap kegagalan tercatat dengan alasan (salah sumber / tidak relevan).
Langkah pengerjaan
- Tulis 10 QA dari isi 3 sumber + jawaban rujukan
- Script eval: jawab + validasi rujukan
- Skor pass-rate + catat kasus gagal beserta alasan
- Target: PASS ≥ 8/10
P2