support vector machine
DESCRIPTION
Introduction to Support Vector Machine.TRANSCRIPT
Support Vector MachineRandy C. Wihandika
Teknik InformatikaInstitut Teknologi Sepuluh NopemberSurabaya
Support Vector Machine● Dikembangkan oleh B. E. Boser, I. M. Guyon, dan V. N. Vapnik
pada 1992 dan dipresentasikan di Fifth Annual Workshop of Computational Learning Theory
● Digunakan untuk pengenalan tulisan tangan
Decision Boundary● Pemisah antara dua kelas● Banyak decision boundary
yang dapat dibuat antara dua kelas
● Dapat dicari menggunakan algoritma perceptron, e.g. neural network
● SVM Mencari hyperplane yang paling optimal
Support Vector Machine● Decision boundary harus
sejauh mungkin dari kedua kelas
● Harus memaksimalkan margin
Constrained OptimizationMisal: minimalkan f(x) dengan constrain g(x) = 0
α: Lagrange multiplier
Untuk banyak constrain:Lagrangian
Soft-margin SVM
Minimalkan:
Minimalkan w, b, dan ξ, maksimalkan α:
C: tradeoff antara error dan margin
Non-linear SVM● Memisahkan dua kelas secara non-linier● Ide:
○ Petakan data ke ruang yang berdimensi lebih tinggi○ Klasifikasi secara linier
● Fungsi yang memetakan: kernel function Ф○ Input space: ruang asal data○ Feature space: ruang data setelah transformasi
● Contoh:
Ф
Feature Space (2D)Ф(xi
2)
Input Space (1D)
xi
Support Vector Machine● Kelebihan:
○ Tidak terjebak pada local optima○ Dapat mengklasifikasi data berdimensi tinggi
● Kekurangan:○ Harus memilih kernel function yang cocok
Conclusion● SVM adalah alternatif yang baik dari neural network● Konsep penting dalam SVM:
○ Memaksimalkan margin○ Penggunaan kernel function