Project: ship RAG ke production
M10 — AI Engineering di Production
Bungkus pipeline RAG/Agent menjadi layanan web produksi yang dilengkapi streaming SSE, rate limiter token-bucket, logging observabilitas, dan penanganan error graceful.
Yang Dibangun
- API server produksi dengan streaming Server-Sent Events (SSE).
- Rate limiter per IP dan sesi untuk mencegah lonjakan biaya token yang tidak terkontrol.
Langkah pengerjaan
- Bungkus alur RAG ke dalam API streaming SSE dengan latensi TTFT rendah
- Implementasikan middleware rate limiting (token bucket per IP/session)
- Tambahkan tracing observabilitas pencatatan token dan latensi per request
- Pasang skrip automated golden eval sebagai gerbang uji sebelum deploy
- Deploy aplikasi ke cloud platform dan dokumentasikan arsitektur production
M10