Format dataset instruct & hygiene

Kurasi Dataset: Kualitas di Atas Kuantitas

Kualitas dataset sangat penting dalam fine-tuning. Dataset yang lebih kecil tetapi bersih, konsisten, relevan, dan memiliki label/instruction yang baik dapat mengalahkan dataset besar yang penuh duplikasi atau noise. Tidak ada rasio universal seperti "1.000 data bagus selalu lebih baik daripada 100.000 data buruk".

1. Format Standar ChatML / ShareGPT

[
  {"role": "system", "content": "Kamu adalah asisten teknis yang ringkas."},
  {"role": "user", "content": "Jelaskan apa itu backpropagation."},
  {"role": "assistant", "content": "Backpropagation adalah algoritma..."}
]

2. Higiene Data

• Hilangkan data duplikat (deduplication).
• Masking loss pada prompt: Pastikan fungsi loss hanya dihitung pada token jawaban assistant, bukan pada token instruksi user.