Golden set: >=20 QA, pass >=80%
M11 — Capstone — AI Study Buddy
Uji Kualitas Kuantitatif Capstone
Sebelum produk dinyatakan selesai, sistem harus melewati pengujian Golden Evaluation Set:
- Siapkan minimal 20 kasus uji tanya-jawab spesifik berdasarkan 20 dokumen yang di-ingest.
- Minimal 15 pertanyaan berbasis fakta sumber yang harus dijawab dengan sitasi yang valid.
- Minimal 3 pertanyaan di luar konteks (out-of-knowledge) yang harus dijawab dengan penolakan jujur ("Tidak ditemukan di sumber").
- Minimal 2 skenario pengujian ketahanan terhadap prompt injection.
- Ambang batas kelulusan: minimal 80% (16/20) kasus uji lolos evaluasi otomatis.
M11