TEXT · 2.5 mgg

Tokenisasi BPE/WordPiece

M4 — Large Language Models

Mengubah Teks Menjadi Bahasa Angka

LLM tidak membaca kata utuh seperti manusia, melainkan memproses urutan Token ID.

Text  -->  Tokenizer  -->  Token IDs  -->  Embedding Vector

1. Mengapa Bukan Karakter atau Kata Utuh?

Karakter murni: Rangkaian token terlalu panjang, boros komputasi context window, dan sulit menangkap makna semantik per token.
Kata utuh: Kosakata meledak hingga jutaan kata (Out-Of-Vocabulary / OOV issue pada kata majemuk/typo).
Subword Tokenization (Solusi): Memecah kata jarang menjadi potongan sub-kata yang sering muncul (contoh: "unpredictable" $\to$ ["un", "predict", "able"]).

2. Algoritma Tokenisasi Utama

Byte-Pair Encoding (BPE): Dimulai dari karakter dasar, menggabungkan pasangan byte paling sering muncul secara berulang hingga mencapai ukuran vocab target (digunakan oleh GPT-2/3/4, LLaMA).
WordPiece: Mirip BPE namun memilih pasangan yang memaksimalkan likelihood bahasa (digunakan oleh BERT).

3. Special Tokens

Token khusus yang mengontrol struktur: <bos> (awal teks), <eos> (akhir teks), <pad> (padding batch), dan penanda peran obrolan (<|im_start|>, <|im_end|>).

1. Mengapa Bukan Karakter atau Kata Utuh?

Karakter murni: Rangkaian token terlalu panjang, boros komputasi context window, dan sulit menangkap makna semantik per token.

Kata utuh: Kosakata meledak hingga jutaan kata (Out-Of-Vocabulary / OOV issue pada kata majemuk/typo).

Subword Tokenization (Solusi): Memecah kata jarang menjadi potongan sub-kata yang sering muncul (contoh: "unpredictable"

\to

["un", "predict", "able"]).