Context window & Lost in the Middle

Paper Liu et al. (Stanford, 2023) mengungkap fenomena "Lost in the Middle": performa LLM dalam mengambil fakta spesifik menurun drastis ketika informasi kunci diletakkan di tengah konteks yang panjang (32k+ token), akibat bias atensi yang lebih kuat di awal (primacy) dan akhir (recency) konteks.

Pelajaran Rekayasa Konteks

• Letakkan fakta paling krusial dan instruksi utama di bagian paling atas atau paling bawah prompt.
• Jangan membanjiri konteks dengan teks yang tidak relevan hanya karena context window model besar.