카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

가장 핫한 댓글은?

본문이 수정되지 않는 박제글입니다.

보통 Short paper는 어느 정도의 contribution을 제안할 수 있나요?

호탕한 제임스 맥스웰*

누적 신고가 50개 이상인 사용자입니다.

2023.03.26

4

1474

안녕하세요?
현재 Multimodal을 연구하는 ai대학원 석사 과정입니다.

다름이 아니라 제가 NLP 특히 Semantic Text Similarity 와 Xai로 연구 분야를 넓혀나가려고 하는데요,
아직은 해당 분야에 익숙하지 않다보니, Short paper로 Full paper보다는 약간 덜 부담되는 선에서
연구 성과를 내고 싶습니다. 이를 토대로 나중에 Full paper도 도전해보려구요

그런데 음 보통 Short paper에는 어떠한 정도의 contribution이 들어갈 수 있는지,
기존 framework보다 약간 정도의 참신함, 혹은 성능 개선 만으로도 충분할까요?

정확히 Short paper에는 어떠한 내용이 들어가면 좋을 지에 대해 알려주시면 대단히 감사합니다.

긴 글 읽어주셔서 대단히 감사합니다!

카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

댓글 4개

2023.03.27

안녕하세요 해당 분야에서 관련 논문들 short/long 전부 1저자로 내본 입장에서 말씀올리겠습니다.

1. ACL 메인 페이지에서 말하듯이 short 페이퍼와 long 페이퍼의 난이도 차이는 거의 없습니다. 실제로 이는 대부분의 교수님들도 동의하시는 바 이며, 보통 short paper는 long paper 대비 현저히 낮은 accept rate를 보입니다. 즉, 논문의 분량은 long paper가 길어 부담되지만 그만큼 학생분의 메인 주장을 한 두 가지 실험 결과로 증명해야하기 때문에 short paper는 실험 설계가 매우 robust 해야합니다. 기존에 알려지지 않은 task나 접근 방법을 발표하기에는 오히려 long paper보다 어려울 수 있습니다.

2. 이번 ACL에 논문 제출해보셨다면 아시겠지만, Soundness와 novelty(excitment)라는 주요 평가 기준에서 short paper들은 soundness보다는 novelty에서 갈리는 경향이 있습니다. 우선 soundness는 당연히 높아야 하는 것이고, 약간의 참신함으로는 short는 매우 어렵습니다. 1) 아주 참신하거나 2) 조금 덜 참신하더라도 압도적인 성능향상을 보여야 리뷰어들에게 임팩트를 줄 수 있습니다. 오히려 약간의 참신한 결과를 바탕으로 논문을 쓰신다면 저는 차라리 long paper에 제출하시고, 철저한 분석을 통해 novelty의 약점을 분석결과를 통한 incite를 제공하는 방향으로 잡을 것 같습니다. 작년 제 논문의 경우 고전적인 방법론으로 성능을 marginal하게 향상시켜 이 부분에서는 리뷰어들에게 비판을 받았지만, 추가적인 분석을 통해 실험 결과와 제 가설과의 일치도 그리고 성능 향상이 저조한 이유를 분석한 부분에서 높은 점수를 받아 운좋게 어셉이 되었네요.

대댓글 2개

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

2023.03.27

1) 아니요. 해외에서 수학중이다라고 말씀드리겠습니다.
2) 이건 주관적인 거라 정확하기 말씀드리긴 어렵습니다. 어떤 리뷰어는 모델의 변경사항이 흥미로울 것이고 , 어떤 리뷰어는 학습 데이터가 더 흥미로울 것이고, 다른 리뷰어는 언어학적 insight가 더 흥미로울 것입니다. 다만, 적어도 이전 페이퍼에서 본 적 없는 접근 방법이라면, 대다수의 리뷰어를 설득하기에는 충분할 듯 합니다.
3) TF관련 내용이었습니다.
4) Qualitative 평가를 통해 데이터에 제 가설에 적합한 케이스들을 직접적으로 보였습니다.

P.S) 세상에 insight를 incite로 적었다니 오타입니다.

댓글쓰기

게시판 목록으로 돌아가기