Embedding & sampling (temp, top-p)

Embedding, Transformer Block, dan Representasi Hidden State

LLM bukan sekadar tumpukan FFN. Pada decoder-only Transformer, setiap blok umumnya menggabungkan self-attention dan feed-forward network (FFN) dengan residual connection dan normalization.

"hi"  -->  Layer 1  -->  Layer 2  -->  Layer 3  -->  Layer 4  -->  Layer 5  -->  Hidden Vector

Mental model sederhananya:

Token IDs
   ↓
Token Embedding + Positional Information
   ↓
Transformer Block × N
   ├── Self-Attention
   └── FFN
   ↓
Final Hidden States
   ↓
LM Head / Unembedding
   ↓
Logits
   ↓
Sampling / Decoding
   ↓
Next Token

Satu token seperti "hi" tidak memiliki satu makna tetap yang bisa kita tunjuk sebagai "Layer 1 = greeting" atau "Layer 2 = conversation opener". Representasi internal berubah secara kontekstual sepanjang jaringan, dan interpretasi tiap layer jauh lebih kompleks daripada contoh linear tersebut.

FFN memang merupakan komponen penting dalam setiap Transformer block, tetapi self-attention memungkinkan representasi token menggabungkan informasi dari token-token lain dalam context.

---

1. Aliran Komputasi Lengkap

$\text{Token ID} \xrightarrow{\text{Embedding}} \text{Hidden State} \xrightarrow{\text{Transformer Blocks}} \text{Logits} \xrightarrow{\text{Softmax}} \text{Probabilities} \xrightarrow{\text{Sampling}} \text{Next Token}$

• Logits: Vektor skor mentah berukuran sebesar vocab (mis. 32.000 atau 128.000 dimensi) sebelum diubah menjadi probabilitas.
• Softmax: Mengonversi logits $z_i$ menjadi probabilitas $P_i = \frac{e^{z_i / T}}{\sum_j e^{z_j / T}}$.

2. Parameter Sampling & Decoding

• Temperature ($T$): Mengubah ketajaman distribusi probabilitas sebelum sampling. Nilai lebih rendah cenderung membuat output lebih deterministik; nilai lebih tinggi cenderung meningkatkan variasi. Temperature mendekati nol sering digunakan untuk perilaku yang lebih deterministik, tetapi detail implementasinya bergantung pada API/inference engine.
• Top-k Sampling: Hanya memilih dari $k$ token paling mungkin (misal $k = 50$).
• Top-p (Nucleus) Sampling: Memilih dari himpunan token terkecil yang kumulatif probabilitasnya mencapai $p$ (misal $p=0.9$).