대학원 준비 겸 취미로 공부 중인 직장인입니다... support vector machine에 대해 공부 중인데 도무지 이해가 안되는 게 있습니다.. 혹시 답을 해주시고, 앞으로도 종종 궁금한 거 답 주실 수 있는 분은 카톡 아이디(suhcrates1) 로 연락 부탁드립니다. 이런식으로 질문 한번 하는 데 5만원?? 정도로 사례하면 어떨까 하는데요. 시세를 잘 몰라서.. 네고 가능합니다
먼저 지금 궁금한 건, 1. svm 의 라그랑주 함수식을 승수에 대해 전개하면 첨부된 이미지와 같은 식을 얻게 됩니다. 이 식은 어디에 쓰려고 이렇게 전개한건가요?? 경사하강법과 같은 machine learning으로 승수를 구하기 위한 건가요?
2. soft margin svm과 hard margin svm 의 전개식은 똑같이 첨부된 이미지와 같은 식이 된다고 합니다. 오류항이 소거되는 건데요. 그럼 이 식을 바탕으로 연립하거나 경사하강법을 취하면 soft margin 이든 hard margin이든 똑같은 승수가 나올거고, 똑같은 w값이 나올텐데요. 근데 그건 말이 안되잖아요... 어차피 똑같은 값이 나올거면 뭐하러 soft margin, hard margin으로 방법을 달리하면서 풀겠어요.. 그럼 어디서 결과값의 차이가 나오는건지 궁금합니다..
soft margin svm 의 KKT 조건식 중에 0 < 승수 < C 라는 부분이 있는데, 여기서 hard margin svm과의 차이가 나오는거같던데, 경사하강 중에 이런 부등호가 어떤식으로 적용이 되는건지도 궁금합니다..
글로 다소 전달이 안되는데요,, 카톡 주시고 협의 되면 전화로 질문 다시 드릴게요! 감사합니다
카카오 계정과 연동하여 게시글에 달린 댓글 알람, 소식등을 빠르게 받아보세요
댓글 7개
2023.02.19
라그랑주 승수법은.. 제약사항을 목적함수의 일부로 편입시켜서... 제약사항이 위반 되면 페널티를 주는 방식입니다. 스토롱 듀얼리티 조건하에서는 이렇게 찾은 최적 해가 원래 제약사항이 있는 문제의 최적해와 동일 합니다. SVM도 스트롱 듀얼리티를 만족합니다. 이렇게 제약사항을 목적함수의 일부로 만들고 위반 시에 엄청나게 큰 페널티를 주는 방식은 수학적 최적화에서 흔한 방법입니다. 배리어 메쏘드 등도 그렇습니다. 하드 마진, 소프트 마진 관련해서는 하이퍼파라미터 C로 페널티가 위반 되어도 되는 정도를 조절합니다.
2023.02.19
대댓글 2개
2023.02.20
2023.02.20
대댓글 1개