Project: Context Bucket
M6 — Context Engineering
Bangun sistem asisten chat yang menerapkan rolling summarization untuk sesi percakapan panjang serta simulasi perhitungan efisiensi biaya context caching.
Yang Dibangun
- Buffer memori percakapan dengan auto-summarization setelah melewati ambang batas token.
- Modul estimasi penghematan biaya menggunakan context caching.
Langkah pengerjaan
- Implementasikan token counter untuk memantau akumulasi riwayat chat
- Buat mekanisme rolling summarizer yang meringkas pesan lama tiap 6 putaran
- Implementasikan ekstraksi fakta penting ke dalam context card 1 paragraf
- Simulasikan perbandingan biaya token dengan dan tanpa context caching
- Dokumentasikan arsitektur memori dan panduan keputusan di README
M6