LLM Viz — Visualisasi Cara Kerja Large Language Model

Bagaimana LLM Bekerja?

LLM (Large Language Model) seperti GPT dilatih untuk satu tugas sederhana: memprediksi token berikutnya. Dari kemampuan itu, muncul kemampuan menulis, menjawab, dan bernalar. Klik setiap tahap di bawah untuk menjelajahinya secara interaktif.

→

↩

175 M

parameter (GPT-3)

lapisan transformer

12.288

dimensi embedding

±50 rb

kosakata token

💡 Aplikasi ini menjalankan model toy sungguhan di browser-mu: tokenizer, embedding, attention (disederhanakan), dan generator trigram yang dilatih dari korpus mini. Angka di atas hanya ilustrasi skala LLM asli.

1 · Tokenisasi

Model tidak membaca huruf — ia membaca token: potongan teks (kata utuh, suku kata, atau tanda baca). Setiap token punya ID angka unik, dan hanya deretan angka itulah yang dilihat model.

"Kucing mengejar." → [ kucing ][ mengejar ][ . ] → [18253, 40112, 13]

Kata yang tidak ada di kosakata dipecah menjadi sub-kata yang lebih kecil — begitulah tokenizer BPE menangani kata langka tanpa gagal.

💡 Coba ketik kata aneh seperti supercalifragilistic dan lihat ia dipecah menjadi potongan bertanda ··.

Teks input

Jumlah token: 0 tampilkan ID

Warna chip diturunkan dari ID token — token yang sama selalu berwarna sama. Chip miring = sub-kata dari kata tak dikenal.

2 · Embedding

Setiap token diubah menjadi vektor — deretan angka (GPT-3 memakai 12.288 dimensi!). Makna kata menjadi posisi dalam ruang matematis: kata yang bermakna mirip akan berdekatan.

kucing → [0.9, 0.3, 0.35, 0.9, …]
kemiripan(a, b) = cos sudut antara vektor a dan b

Demo ini memakai 4 dimensi yang bisa ditafsirkan: makhluk hidup, ukuran besar, positif, dan konkret. Perhatikan bagaimana "kucing" lebih dekat ke "anjing" daripada ke "rumah".

Pilih kata — tetangga terdekatnya (cosine similarity):

Peta semantik (pilih sumbu):

X Y

3 · Self-Attention

Inilah "sihir" transformer: setiap token memperhatikan token lain untuk memahami konteks. Pada kalimat contoh, kata "ia" akan menoleh kuat ke "kucing".

skor(i,j) = (Qᵢ · Kⱼ) / √d
bobot = softmax(skor) → Σ bobot tiap baris = 1

LLM asli punya puluhan head yang belajar pola berbeda-beda. Demo ini meniru 4 pola head yang umum ditemukan peneliti interpretabilitas.

Kotak (i, j) menunjukkan seberapa besar token baris i memperhatikan token kolom j. Arahkan kursor untuk menyorot.

causal mask — token hanya boleh melihat ke belakang (mode GPT)

Kalimat

Arahkan kursor ke baris untuk melihat bobot per token.

4 · Blok Transformer

Satu blok transformer = LayerNorm → Multi-Head Attention → (+residual) → LayerNorm → Feed-Forward → (+residual). GPT menumpuk blok ini puluhan kali; makin dalam, makin abstrak pemahamannya.

x ← x + Attention(LN(x))
x ← x + FFN(LN(x))

Koneksi residual menjaga informasi asli tetap mengalir — seperti "jalan tol" bagi sinyal dan gradien saat pelatihan.

Jumlah lapisan: 12

Tekan ▶ untuk melihat data mengalir melalui satu blok. Deretan kotak di kiri = tumpukan lapisan.

5 · Generasi Autoregresif

Setelah transformer, model menghitung probabilitas setiap kata di kosakata untuk posisi berikutnya (softmax). Satu token dipilih, ditempel ke teks, lalu seluruh proses diulang — inilah autoregresi.

p(token) = softmax(skor / T)
T besar → lebih acak · T kecil → lebih konservatif

Demo ini memakai model trigram sungguhan yang dilatih dari korpus mini di browser — prinsip sampling-nya identik dengan LLM asli.

Temperatur: 1.0

greedy (selalu pilih probabilitas tertinggi)

Prompt

Konteks (jendela yang dilihat model):

Kandidat token berikutnya:

Ketidakpastian (entropi)

–