TEXT · 2 mgg

DPO: alignment tanpa reward model

M9 — Fine-tuning & Alignment

Direct Preference Optimization (DPO)

Tradisional Alignment (RLHF / Reinforcement Learning from Human Feedback) membutuhkan pelatihan model reward terpisah yang rumit dan tidak stabil.

Inovasi DPO (Rafailov et al., 2023)

DPO membuktikan secara matematis bahwa kita dapat mengoptimalkan preferensi manusia secara langsung pada model kebijakan (policy) menggunakan dataset pasangan respons yang disukai ( $y_w$ ) dan tidak disukai ( $y_l$ ):

$L_{\text{DPO}}(\pi_\theta; \pi_{\text{ref}}) = -\mathbb{E}_{(x, y_w, y_l)} \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)} \right) \right]$ Jauh lebih stabil, cepat, dan mudah di-train daripada PPO. DPO sering lebih sederhana secara engineering daripada pipeline RLHF berbasis PPO, tetapi kualitas dan stabilitas training tetap bergantung pada dataset, model, hyperparameter, dan setup evaluasi.

Inovasi DPO (Rafailov et al., 2023)

DPO membuktikan secara matematis bahwa kita dapat mengoptimalkan preferensi manusia secara langsung pada model kebijakan (policy) menggunakan dataset pasangan respons yang disukai (

y_w

) dan tidak disukai (

y_l

L_{\text{DPO}}(\pi_\theta; \pi_{\text{ref}}) = -\mathbb{E}_{(x, y_w, y_l)} \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)} \right) \right]

Jauh lebih stabil, cepat, dan mudah di-train daripada PPO. DPO sering lebih sederhana secara engineering daripada pipeline RLHF berbasis PPO, tetapi kualitas dan stabilitas training tetap bergantung pada dataset, model, hyperparameter, dan setup evaluasi.