Chunking: size, overlap, section-aware
M7 — Retrieval-Augmented Generation
Chunking adalah keputusan desain pertama RAG — di sinilah kualitas retrieval ditentukan.
Parameter utama
- Ukuran chunk: 300–800 token umum. Terlalu kecil = konteks hilang; terlalu besar = noise masuk + biaya embedding naik.
- Overlap: 10–15% agar kalimat terpotong di tengah tidak kehilangan konteks.
- Strategi per-section: pecah berdasarkan heading (##, ###) dulu, baru ukuran — menjaga koherensi topik.
Aturan praktis
- Chunk harus self-contained: bisa dipahami tanpa chunk tetangga.
- Simpan metadata (judul, halaman, heading) per chunk untuk citation.
- Uji: chunking yang benar membuat top-k retrieval menjawab pertanyaan tanpa potongan informasi.
M7