Perceptron sampai MLP

Dari Neuron Buatan ke Multi-Layer Perceptron

1. Artificial Neuron (Perceptron)

Neuron buatan menghitung kombinasi linear dari input berbobot ditambah bias, lalu dilewatkan ke fungsi aktivasi non-linear:

$z = \sum_{i=1}^n w_i x_i + b = \mathbf{w}^T \mathbf{x} + b$ $a = \sigma(z)$

2. Mengapa Fungsi Aktivasi Non-Linear Wajib?

Tanpa aktivasi non-linear, berapapun banyaknya lapisan neural network yang ditumpuk, seluruh jaringan hanya akan ekuivalen dengan satu transformasi linear tunggal ($W_2(W_1 x + b_1) + b_2 = W' x + b'$).

3. Ragam Fungsi Aktivasi Modern

• ReLU: $f(x) = \max(0, x)$ — standar industri karena komputasi cepat dan bebas vanishing gradient pada $x > 0$.
• GELU (Gaussian Error Linear Unit): Aktivasi standar pada Transformer modern (BERT, GPT).
• Sigmoid / Softmax: Untuk probabilitas output klasifikasi.