Data Scientist Support

Deskripsi Pekerjaan - Menyiapkan dan mendokumentasikan frozen blind set: kurasi data uji, penomoran versi, dan pencatatan siapa saja yang pernah mengaksesnya - Menjalankan pengukuran mutu kalibrasi skor model mitra menggunakan Brier score dan Expected Calibration Error, serta membuat reliability diagram-nya - Menerapkan metode kalibrasi (Platt scaling dan isotonic regression) pada skor model, lalu membandingkan hasil sebelum dan sesudah kalibrasi - Membangun pemantauan sederhana untuk pergeseran distribusi masukan dan distribusi skor antar periode sebagai bahan deteksi drift - Menghitung statistik keandalan sumber secara empiris, yaitu seberapa sering klaim tiap sumber terbukti benar terhadap data acuan - Menyusun laporan kalibrasi berkala yang menjadi bahan audit mutu sumber. - Penetapan ambang batas dan keputusan kebijakan tetap berada di tangan pembimbing. Kualifikasi - Memahami probabilitas dan statistika inferensial - Memahami perbedaan antara skor mentah keluaran model dan probabilitas yang terkalibrasi - Mengetahui metrik evaluasi klasifikasi (precision, recall, kurva ROC dan PR) - Memahami konsep Machine Learning dan mengimplementasikannya dalam project - Mampu memprogram dengan Python (NumPy, pandas, scikit-learn, matplotlib) - Memahami dan terbiasa menggunakan Git (version control) - Mampu menulis laporan analisis yang runut dan bisa diperiksa ulang orang lain - Teliti terhadap kebocoran data antara set latih dan set uji - Mampu bekerja dalam tim dan berkomunikasi dengan baik - Diutamakan pernah menerapkan Platt scaling atau isotonic regression - Diutamakan memahami Brier score, Expected Calibration Error, dan reliability diagram - Diutamakan pernah mengerjakan analisis data deret waktu atau deteksi pergeseran distribusi. - Mampu mendeteksi data outlier dalam sebuah dataset dan melakukan pre-processing terhadap data tersebut Tools yang Digunakan - Python (NumPy, pandas, scikit-learn, matplotlib, XGBoost) - Jupyter Notebook, Visual Studio Code Git & GitHub/GitLab - AI Tools (Open code, devin.ai, Claude, dll) - DVC atau MLflow (versioning dataset) - DBeaver (PostgreSQL) - Draw.io atau Visio