Tokenisasi BPE/WordPiece
M4 — Large Language Models
Mengubah Teks Menjadi Bahasa Angka
LLM tidak membaca kata utuh seperti manusia, melainkan memproses urutan Token ID.
Text --> Tokenizer --> Token IDs --> Embedding Vector
1. Mengapa Bukan Karakter atau Kata Utuh?
- Karakter murni: Rangkaian token terlalu panjang, boros komputasi context window, dan sulit menangkap makna semantik per token.
- Kata utuh: Kosakata meledak hingga jutaan kata (Out-Of-Vocabulary / OOV issue pada kata majemuk/typo).
- Subword Tokenization (Solusi): Memecah kata jarang menjadi potongan sub-kata yang sering muncul (contoh:
"unpredictable"["un", "predict", "able"]).
2. Algoritma Tokenisasi Utama
- Byte-Pair Encoding (BPE): Dimulai dari karakter dasar, menggabungkan pasangan byte paling sering muncul secara berulang hingga mencapai ukuran vocab target (digunakan oleh GPT-2/3/4, LLaMA).
- WordPiece: Mirip BPE namun memilih pasangan yang memaksimalkan likelihood bahasa (digunakan oleh BERT).
3. Special Tokens
Token khusus yang mengontrol struktur: <bos> (awal teks), <eos> (akhir teks), <pad> (padding batch), dan penanda peran obrolan (<|im_start|>, <|im_end|>).
M4