카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

가장 핫한 댓글은?

타 ML 모델과 비교할때 일일이 다 학습시키고 테스트 해야햐나요?

2022.07.05

5

2210

논문들 보면 여러 모델들 비교 결과 (quantitative)는 있는데
다들 어떻게 다른 모델들을 다운 받아서 학습시켰는지는 생략돼있더라구요

github에 올라와 있는데 막상 돌려보면 여기저기 버그투성이라 학습이 안되는 모델들도 있구요..

아니면 타모델들이 적어놓은 quantitative results 값들만 그대로 가져오고 (동일 dataset 경우)
본인 모델 하나만 새로 학습시켜서 결과값 추가해서 해도 되나요?

카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

댓글 5개

2022.07.05

둘다 됩니다. 논문에 정확히 명시해놓으면됩니다.
다만, 태스크마다 레포트된값을 쓰는지 실험된값을 쓰는지에 대한 관행이 달라요. 어떤 태스크는 레포트된값을 반드시 써줘야하는 반면 아닌태스크도 있습니다. 베이스라인들이 어떻게 비교했는지 잘 확인해보세요

2022.07.05

애초에 non-convex라서 논문에 레퍼로 나와있는 값 쓰는게 좋죠. 님이 학습해서 95%나와서 그거 썼는데 리뷰어가 나도 그걸로 학습해봤는데 97% 나오던데? 라고 하면 할 말이 없음.

2022.07.05

fair한 비교를 위해서 본인이 직접 다른 모델까지 동일한 환경에서 실험하는게 있고 이전 연구자가 했던 방식과 완전히 동일하게 실험하고 해당연구 실험값 쓰는것도 있더라고요
물론 당연히 둘다 어떤 방식을 따랐는지 논문에 써놨더라고요 보통은 supp에다가 넣어놓는것같습니다

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

댓글쓰기

게시판 목록으로 돌아가기