Attention Is All You Need (paper)

Paper revolusioner dari Vaswani et al. (2017) yang memperkenalkan arsitektur Transformer dan mekanisme Self-Attention.

Mental Model: Query, Key, Value (Q, K, V)

Attention memungkinkan setiap token dalam kalimat melihat dan menyerap informasi dari token-token lain dalam context.

• Query ($Q$): "Informasi apa yang sedang kucari?"
• Key ($K$): "Karakteristik/label informasi apa yang kumiliki?"
• Value ($V$): "Isi informasi nyata yang bisa kubagikan."

Formula Scaled Dot-Product Attention

$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V$

1. $QK^T$: Menghitung skor kecocokan / relevansi antar setiap pasang token di seluruh kalimat.
2. $\sqrt{d_k}$: Scaling factor untuk menjaga skala nilai dot product tetap lebih stabil ketika dimensi key bertambah.

Multi-Head Attention

Memproyeksikan $Q, K, V$ ke beberapa ruang representasi paralel (heads) sehingga model dapat memperhatikan hubungan sintaksis, semantik, dan posisi secara bersamaan.