보통 Short paper는 어느 정도의 contribution을 제안할 수 있나요?

안녕하세요 해당 분야에서 관련 논문들 short/long 전부 1저자로 내본 입장에서 말씀올리겠습니다.

1. ACL 메인 페이지에서 말하듯이 short 페이퍼와 long 페이퍼의 난이도 차이는 거의 없습니다. 실제로 이는 대부분의 교수님들도 동의하시는 바 이며, 보통 short paper는 long paper 대비 현저히 낮은 accept rate를 보입니다. 즉, 논문의 분량은 long paper가 길어 부담되지만 그만큼 학생분의 메인 주장을 한 두 가지 실험 결과로 증명해야하기 때문에 short paper는 실험 설계가 매우 robust 해야합니다. 기존에 알려지지 않은 task나 접근 방법을 발표하기에는 오히려 long paper보다 어려울 수 있습니다.

2. 이번 ACL에 논문 제출해보셨다면 아시겠지만, Soundness와 novelty(excitment)라는 주요 평가 기준에서 short paper들은 soundness보다는 novelty에서 갈리는 경향이 있습니다. 우선 soundness는 당연히 높아야 하는 것이고, 약간의 참신함으로는 short는 매우 어렵습니다. 1) 아주 참신하거나 2) 조금 덜 참신하더라도 압도적인 성능향상을 보여야 리뷰어들에게 임팩트를 줄 수 있습니다. 오히려 약간의 참신한 결과를 바탕으로 논문을 쓰신다면 저는 차라리 long paper에 제출하시고, 철저한 분석을 통해 novelty의 약점을 분석결과를 통한 incite를 제공하는 방향으로 잡을 것 같습니다. 작년 제 논문의 경우 고전적인 방법론으로 성능을 marginal하게 향상시켜 이 부분에서는 리뷰어들에게 비판을 받았지만, 추가적인 분석을 통해 실험 결과와 제 가설과의 일치도 그리고 성능 향상이 저조한 이유를 분석한 부분에서 높은 점수를 받아 운좋게 어셉이 되었네요.

1) 아니요. 해외에서 수학중이다라고 말씀드리겠습니다.
2) 이건 주관적인 거라 정확하기 말씀드리긴 어렵습니다. 어떤 리뷰어는 모델의 변경사항이 흥미로울 것이고 , 어떤 리뷰어는 학습 데이터가 더 흥미로울 것이고, 다른 리뷰어는 언어학적 insight가 더 흥미로울 것입니다. 다만, 적어도 이전 페이퍼에서 본 적 없는 접근 방법이라면, 대다수의 리뷰어를 설득하기에는 충분할 듯 합니다.
3) TF관련 내용이었습니다.
4) Qualitative 평가를 통해 데이터에 제 가설에 적합한 케이스들을 직접적으로 보였습니다.

P.S) 세상에 insight를 incite로 적었다니 오타입니다.