Project: ingest 3 sumber nyata
P2 — RAG Sederhana End-to-End
Buat pipeline ingest minimal untuk 3 sumber yang benar-benar kamu pakai (artikel/PDF/YouTube — pakai pola dari Source Library socrates).
Yang dibangun
- 3 sumber: 1 artikel, 1 PDF atau paper, 1 video/transkrip.
- Ekstraksi teks → normalisasi → chunk per bagian (strategi M7: heading-aware, 300–800 token).
- Simpan chunk + embedding ke store lokal (file/SQLite).
Kriteria selesai
- Tiap sumber menghasilkan ≥ 5 chunk yang self-contained.
- Satu skrip
ingest.pyidempoten (jalan ulang = tidak duplikat). - README mencatat pilihan chunk size/overlap + alasan.
Langkah pengerjaan
- Kumpulkan 3 sumber (artikel, PDF, video)
- Ekstraktor per jenis + normalisasi teks
- Splitter heading-aware: 300–800 token, overlap 10–15%
- Embedding + simpan ke store lokal (idempoten)
- README: keputusan chunking + alasan
P2