딥러닝쪽 논문에 성능 (비교) 평가하고 있는데요
경험상 hyperparameter 튜닝에 따라
(저희) 모델 A가 더 잘나올 때도 있고 (경쟁) 모델 B가 더 잘나올때가 있습니다
이럴때 저희 모델이 유리한 쪽으로 튜닝해서 비교분석 하면 되나요? 다만, 튜닝 값은 양쪽 모델에 동일하게 적용되고 , 한 weight 값을 10 으로 사용하냐 100으로 사용하냐의 차이입니다. 10으로 하면 저희 모델이 더 잘 학습되고 100으로 하면 경쟁 모델이 더 낫고 그렇네요
이럴땐 그냥 저희 모델의 성능이 더 잘나오는 쪽으로 튜닝하면 되나요? 참고로 모델 B의 논문을 보아하니
유리한 쪽으로 튜닝한것 같긴한데
보통 이럴땐 어떻게 비교분석하는지 궁금해서 여쭙니다
카카오 계정과 연동하여 게시글에 달린 댓글 알람, 소식등을 빠르게 받아보세요
댓글 8개
체한 공자*
2022.08.30
당연히 여러 hyperparameter 값들에 대해 모두 비교하고 모든 결과를 논문에 기재하는 것이 맞겠죠?
대댓글 2개
체한 공자*
2022.08.30
그리고 왜 hyperparameter값에 따라 성능이 다르게 나오는지 분석해봄으로서 성능을 개선할 수도 있는 거구요.
2022.08.30
그렇군요 감사합니다
2022.08.30
튜닝할 때 여러 값들을 비교하는 것이 옳습니다. 귀찮아서 문제죠.
대댓글 1개
2022.08.30
감사합니다. 사실 귀찮은 것 보다는 학습 시간이 너무 오래 걸려서.. 튜닝의 끝이 없네요
IF : 1
2022.08.30
각 모델별 최고의 성능을 내는 하이퍼파라메터를 쓰는게 맞습니다.
그리고 모델을 하나만 학습하는게 아니라 동일 모델을 최소 3개 이상 학습하여 결과 같의 평균과 표준편차를 같이 표시하는게 좋습니다.
대댓글 1개
2022.08.30
네 감사합니다
2022.08.30
그쪽 테이블에 써진 값을 그대로 가져오는거면 그쪽 모델까지 튜닝해줄 필요는 없습니다. 그대로 값 가져오시면 됩니다. 본인 모델만 튜닝해서 쓰시면 되고, 굳이 하이퍼파라미터가 같아야될 필요도 없습니다. 근데 만약 그쪽 모델을 본인이 다시 학습시켜서 평가하는 거면, 윗분 말씀처럼 각 모델별 최고 성능으로 하는게 공정하겠죠
2022.08.30
대댓글 2개
2022.08.30
2022.08.30
2022.08.30
대댓글 1개
2022.08.30
2022.08.30
대댓글 1개
2022.08.30
2022.08.30