이번에 이제 spk중 하나 학부연구생을 시작하게 되었습니다.
교수님께서 일주일동안 연구주제를 찾아보라고 하셨는데 주제가 optimization입니다. 혹시 제가 연구주제잡는데 참고할 자료나 글이 있을까요?
오늘 하루종일 구글링했는데 진전이 없네요ㅠㅠ
카카오 계정과 연동하여 게시글에 달린 댓글 알람, 소식등을 빠르게 받아보세요
댓글 6개
2022.03.29
convex optimization부터 공부해보세용 보통 거기부터 시작하는것같네요
2022.03.29
딥러닝 학습을 위한 최적화인지 아니면 딥러닝을 활용한 다른 분야의 최적화 문제를 푸는건지 모르겠네요.
전자라면 Adam optimizer 등에 관한 것일텐데 얘네는 갖다 쓰는건 쉽지만 이걸 개선하겠다고 하는 쪽은 상당히 고인물이 된 분야라 학부생이 건드리기엔 꽤나 어려울 것 같네요.
후자라면 윗 분 말씀대로 convex optimization은 당연히 공부를 해야할 것 같고요, 딥 러닝을 활용해서 combinatorial optimization을 푸는 연구도 최근에 종종 나오고 있고, 딥러닝은 아니지만 Bertsimas의 voice of optimization 처럼 머신러닝과 최적화를 결합하는 연구도 있기는 합니다.
2022.03.30
최근 연구를 일단 쭉 보세요 적어도 최근 몇년 동안 나온 최적화 화두들을 다 파악하셔야 연구주제를 스스로 찾을 수 있습니다
2022.03.30
왠지 내 부사수 같아서 알려드림.
Multitask learning에서 task별 loss간에 weight parameter에 따라 모델 성능이 달라짐.
많은 경우에 이 parameter를 무지성 1:1:1:1:1...을 하는데, 그것보단 뭔가 좋은 숫자로 하면 성능이 더 좋아지겠죠?
두 번째 무지성으로는 grid-search로 일일이 알아보는데 gpu와 시간 빌게이츠가 아니면 소모적이고 하는 거에 비해 얻는게 없음
그래서 과연 어떤 parameter가 좋냐 이런거에 관한 optimization을 하면 나쁘지 않을듯
관련 연구가 적지는 않지만 많지도 않으니 좀 찾아보시고
CVPR 2018에 training set 표준편차로 easy하지만 나쁘지 않는 성능을 내는 페이퍼가 있음:
Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics
여기서는 주로 regression이랑 classification만 타게팅해서 했는데 도메인을 NLP나 그래프로 바꿔도 되고 다른 task를 생각해봐도 되고 뭐 적당한 거 잘 생각하면 한국정보과학회 컨퍼런스 (KSC, KCC) 학부생 트랙 수상 정도는 바라볼 수 있다.
미팅 준비 잘 하시고, 영어 맞춤법 확인 하시고, 숫자 소수점 밑에 3자리까지만 쓰시고, 슬라이드마다 슬라이드 번호 까먹지 마시고, 뒤에 슬라이드 디자인은 신경 안 써도 되니까 제발 글자만 좀 큼직큼직하게 넣어주시고, 애니메이션은 필요 없고, 마지막 슬라이드에 참고한 논문 레퍼런스 써주시고, 슬라이드 만들고 꼭 사수한테 먼저 검사 받으세요.
2022.03.29
2022.03.29
2022.03.30
2022.03.30
대댓글 1개
2022.03.30
2022.03.30