Desain Eksperimen yang Sehat

Eksperimen itu bukan coba-coba

Eksperimen sehat punya tiga komponen eksplisit sebelum menyentuh data:

1. Hipotesis falsifiable — "model A lebih baik dari B pada tugas X" (bisa salah, dan itu bagus).
2. Metrik keberhasilan ditetapkan di muka — memilih metrik setelah melihat hasil = memasak bukti.
3. Protokol tetap — data split, jumlah run, kondisi environment.

Split yang benar (dan dosa yang umum)

Train ──▶ model belajar
Val   ──▶ kamu memilih hyperparameter/model
Test  ──│─ DISENTUH SEKALI di akhir, lalu tutup rapat

Dosa paling umum di dunia praktik: memakai test set berulang kali untuk memilih model. Setiap "intip" membocorkan informasi — pada akhirnya kamu overfit ke test set dan angkamu indah tapi bohong.

Data leakage: pembunuh senyap

Fitur yang tidak akan tersedia saat prediksi nyata ikut masuk training:

• Fitur turunan dari label (mis. "durasi penyelesaian" saat memprediksi "selesai/tidak").
• Baris duplikat yang terbelah antara train dan test.
• Normalisasi di-fit pada seluruh data (termasuk test).

Ritual anti-leakage: tanya untuk TIAP fitur — "apakah aku punya nilai ini saat sistem berjalan di dunia nyata?"