2 Cara Evaluasi Model Machine Learning: Panduan Lengkap

Evaluasi Model Machine Learning yang Paling Umum - Ilustrasi

Model machine learning menjadi semakin populer dalam industri teknologi karena kemampuannya untuk memprediksi hasil dari data dan membantu dalam pengambilan keputusan yang lebih baik. Namun, seperti halnya dengan setiap teknologi, model machine learning juga memiliki keterbatasan. Karena itulah, penting untuk mempelajari cara evaluasi model machine learning untuk memastikan keakuratan dan kinerja yang lebih baik.

Dua Cara Evaluasi Model Machine Learning yang Paling Umum

Dalam artikel ini, kita akan membahas dua cara evaluasi model machine learning yang paling umum digunakan: validasi silang dan confusion matrix. Mari kita mulai!

Validasi Silang

Validasi silang adalah teknik yang digunakan untuk memvalidasi model machine learning dengan menguji data pada sejumlah iterasi. Dalam teknik ini, data dibagi menjadi kumpulan data pelatihan dan data pengujian. Kumpulan data pelatihan digunakan untuk melatih model, sedangkan kumpulan data pengujian digunakan untuk menguji model.

Cara melakukan validasi silang

• Bagi data menjadi k kumpulan data pelatihan dan data pengujian yang berbeda-beda.
• Latih model dengan menggunakan k-1 kumpulan data pelatihan dan uji dengan kumpulan data pengujian.
• Lakukan proses latihan dan pengujian sebanyak k kali.
• Hitung rata-rata dari k hasil uji untuk mendapatkan nilai akurasi model.

Confusion Matrix

Matriks kebingungan adalah teknik evaluasi model machine learning yang menggunakan tabel untuk menunjukkan jumlah prediksi yang benar dan salah dari model. Teknik ini berguna untuk memvisualisasikan kinerja model secara intuitif.

Tabel confusion matrix memiliki empat kategori:

1. True Positive (TP) - prediksi yang benar positif
2. False Positive (FP) - prediksi yang salah positif
3. True Negative (TN) - prediksi yang benar negatif
4. False Negative (FN) - prediksi yang salah negatif

Cara membuat tabel confusion matrix

• Hitung prediksi model dengan menggunakan data pengujian.
• Tentukan apakah prediksi model benar atau salah.
• Masukkan prediksi ke dalam salah satu dari empat kategori di tabel.

Contoh kode untuk membuat tabel confusion matrix dengan Python

from sklearn.metrics import confusion_matrix
y_true = [0, 1, 0, 1, 1, 1, 0, 0, 1, 1]
y_pred = [1, 1, 0, 1, 0, 1, 0, 0, 1, 0]
confusion_matrix(y_true, y_pred)

Output :

array([[3, 2],
       [2, 3]])

Tabel di atas menunjukkan bahwa model memprediksi 3 nilai true positive (benar positif), 3 nilai true negative (benar negatif), 2 nilai false positive (salah positive).

Dari tabel confusion matrix, kita dapat menghitung beberapa metrik evaluasi model machine learning yang penting, antara lain:

• Akurasi (accuracy) - ukuran persentase dari prediksi yang benar dari semua prediksi.
  
  Akurasi = (TP + TN) / (TP + TN + FP + FN)
  
  
• Presisi (precision) - ukuran persentase dari prediksi positif yang benar dari semua prediksi positif.
  
  Presisi = TP / (TP + FP)
  
  
• Recall (sensitivity) - ukuran persentase dari kasus positif yang diidentifikasi dengan benar dari semua kasus positif.
  
  Recall = TP / (TP + FN)
• F1-Skor (f1-score) - ukuran rata-rata harmonik dari presisi dan recall.
  
  F1-Skor = 2 * ((Presisi * Recall) / (Presisi + Recall))

FAQ

1. Apa perbedaan antara validasi silang dan confusion matrix?
   
   Validasi silang digunakan untuk memvalidasi model dengan menguji data pada sejumlah iterasi, sedangkan confusion matrix digunakan untuk memvisualisasikan kinerja model secara intuitif dengan tabel.
   
   
2. Apa itu True Positive (TP)?
   
   True Positive (TP) adalah prediksi yang benar positif.
   
   
3. Bagaimana cara menghitung akurasi model?
   
   Akurasi model dapat dihitung dengan rumus (TP + TN) / (TP + TN + FP + FN).
   
   
4. Apa itu F1-Skor?
   
   F1-Skor adalah ukuran rata-rata harmonik dari presisi dan recall.
   
   
5. Mengapa evaluasi model machine learning penting?
   
   Evaluasi model machine learning penting untuk memastikan keakuratan dan kinerja yang lebih baik dalam memprediksi hasil dari data dan membantu dalam pengambilan keputusan yang lebih baik.

Kesimpulan

Dalam artikel ini, kita telah membahas dua cara evaluasi model machine learning yang efektif, yaitu validasi silang dan confusion matrix. Kedua teknik evaluasi ini membantu meningkatkan akurasi dan kinerja model machine learning Anda. Selain itu, kita juga telah membahas metrik evaluasi penting seperti akurasi, presisi, recall, dan F1-Skor. Dengan memahami teknik evaluasi dan metrik evaluasi, Anda dapat meningkatkan kemampuan machine learning Anda dan menghasilkan prediksi yang lebih akurat.