Tensor & vector space

Tensor: Bahasa Angka Neural Network

Semua komputasi dalam model AI dan GPU pada akhirnya direpresentasikan sebagai Tensor — generalisasi multi-dimensi dari struktur matematika dasar:

1. Scalar (Rank 0): Satu angka tunggal, contoh: 5 atau 0.42.
2. Vector (Rank 1): Larik angka 1D berarah dan berpanjang, contoh: [0.12, -0.51, 0.82].
3. Matrix (Rank 2): Tabel angka 2D baris × kolom, contoh bobot linear: [[1, 2], [3, 4]].
4. Tensor (Rank >= 3): Array multi-dimensi, contoh batch token embedding: shape [batch_size, seq_len, hidden_dim].

Dot Product & Cosine Similarity

Operasi paling mendasar di ruang vektor berdimensi tinggi adalah Dot Product:

$\mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n} a_i b_i$

Bila kedua vektor telah dinormalisasi (panjang unit $|\mathbf{a}| = 1$), dot product sama dengan Cosine Similarity:

$\text{cosine}(\mathbf{a}, \mathbf{b}) = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\| \|\mathbf{b}\|}$

Inilah formula inti di balik semantic search pada RAG dan mekanisme attention di Transformer.