SVM에서의 Slack Variable

 

Slack Variable 이란?

 

SVM에서는 일반적으로 분류를 위한 마진(Margin)을 설정하게 되는데, 이 때 마진과 학습 오류의 개수는 반비례 관계를 가지며 어떻게 분류할 것인지는 목적에 따라 결정된다. 여기서 선형적으로 분류할 수 없는 경우에는 분류를 위해 오차를 허용할 수 있다. 이 때 제약조건(constrraint)를 완화하여 오차를 허용할 때 사용하는 변수를 Slack Variable 이라고 한다. 즉 어느정도 에러가 발생하는 것을 허용하면서 초평면(hyperplane)을 찾는 방법을 말한다. 

 

Slack Variable은 각 관측치의 에러 정도를 나타내는 역할을 하게 되는데 각 관측치 마다 Slack Variable이 하나씩 존재한다.

 

분류가 올바르게 된 경우 Slack Variable = 0

분류를 위한 마진 허용하는 경우 0 < Slack Variable < 1 

분류가 제대로 안된 경우에는 Slack Variable > 1

 

이 때 마진 밖에 존재해야한다는 제약을 제거하고 마진 안쪽에도 존재할 수 있도록 예외를 허용해주는 방법이 Soft Margin이다. 이 마진 안쪽에 존재하는 경우를 그냥 허용하는 것이 아니라 해당 인스턴스에 대해 패널티(panelty, ξ)를 부과한다.

패널티는 자신이 속한 클래스의 마진 평면에서 떨어진 거리 만큼 부여된다. 

 

 

 

 

 

참고자료 1 : https://yngie-c.github.io/machine%20learning/2021/03/13/soft_margin_svm/

소프트 마진(Soft Margin) SVM · Data Science

 

참고자료 2 : https://unsolvedproblem.github.io/laon/2019/01/27/laon_machine_learning_study_week2-3.html

[쉽게읽는 머신러닝-라온피플] 5. Support Vector Machine

 

참고자료 3 : https://yupsung.blogspot.com/2021/01/023-kernel-based-learning-support.html

Yupsung Computer Science Blog