Project: My RAG + citation
M7 — Retrieval-Augmented Generation
Bangun sistem RAG end-to-end yang mengindeks dokumen PDF/Artikel, melakukan hybrid retrieval, dan menghasilkan jawaban streaming lengkap dengan sitasi [N] ke sumber asli.
Yang Dibangun
- Pipeline ingestion & chunking berbasis heading.
- Hybrid search (BM25 + Cosine similarity) dengan Reciprocal Rank Fusion.
- Prompt grounding ketat dengan penanganan refusal jika informasi tidak ada di sumber.
Langkah pengerjaan
- Setup pipeline ingest dokumen teks/PDF menjadi chunk berseri dengan metadata
- Implementasikan penyimpanan vektor dan fungsi hybrid search BM25 + Cosine
- Rancang system prompt dengan format sitasi [N] dan aturan refusal ketat
- Ekstrak sitasi otomatis dari jawaban model untuk menampilkan link sumber
- Uji dengan 5 pertanyaan ter-grounding dan 1 pertanyaan out-of-knowledge
M7