Turunan, chain rule, gradien

Optimasi: Mengurangi Nilai Error

Training model machine learning pada dasarnya adalah proses meminimalkan fungsi error (Loss Function $L$).

1. Turunan & Gradien

• Turunan ($f'(x)$): Laju perubahan fungsi saat variabel $x$ digeser sedikit.
• Gradien ($\nabla L$): Vektor turunan parsial terhadap semua parameter, menunjuk ke arah kenaikan fungsi paling curam.

2. Chain Rule: Fondasi Backpropagation

Dalam neural network bertingkat, output dihitung melalui komposisi fungsi bersarang: $y = f_3(f_2(f_1(x)))$

Aturan rantai (Chain Rule) memungkinkan kita menghitung gradien loss terhadap bobot di lapisan paling awal dengan mengalikan turunan parsial dari output mundur ke input:

$\frac{\partial L}{\partial W_1} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial h_2} \cdot \frac{\partial h_2}{\partial h_1} \cdot \frac{\partial h_1}{\partial W_1}$

3. Gradient Descent Update

Bobot diperbarui berlawanan arah gradien: $W \leftarrow W - \eta \nabla_W L$ di mana $\eta$ adalah learning rate.