ML 탑컨퍼런스 쓰는 난이도에 대한 고찰

ML 탑티어란 ICML 하고 NeurIPS 라고 칠게. (ICLR, AISTATS 등도 수준 높지만 일단).

일단 옛날에 NeurIPS가 NIPS라고 불리던 시절엔 그 명성에 맞는 운영과 리뷰 퀄리티가 나왔음. 리뷰도 5~6명씩 붙었던 경우도 많았고. ICML도 마찬가지임.

--------------------

1. 결론: 즉 리뷰 퀄리티와 학회 운영은 과거가 훨씬 나았음.

그럼 논문 퀄리티를 보자. 일단, ML자체가 지금 매우 좋은 모습을 보여주고 있잖아? 공학적인 관점에서 지금과 과거의 차이는 엄청나게 크지. 공학의 관점에서 과거는 현재를 이길수가 없지 (학문이 발전하니까). 또한 상위권 논문에 경우 과거에는 꿈만팔고 있었다면 이제는 진짜 꿈이 실현되는 느낌임.

다만, 논문으로서 '말이되는지' (correctness) 여부는 현재가 더 노이지함. 이상한 논문도 가끔 붙음. 이건 기존 수학, 통계위주 머신러닝흐름하고 현재 뉴럴넷 기반 딥러닝 하고의 차이라고도 보여짐.

------------------

2. 결론: Significancy 는 현재가 우위, Reliability는 과거가 우위.

마지막으로 논문을 내는 난이도와 경쟁에 대해서 논해 보려고 해.

일단, 과거는 1번에서 언급했듯이 상대적으로 리뷰 퀄리티가 클린했음. 즉 좋은 논문은 붙고, 안좋은 논문은 떨어졌겠지. 지금은 scalability 이슈로 인해 불확실성이 너무 커졌음. 대가들도 무참히 떨어지는 경우 엄청많음.

물론 떨어져야할 논문이 붙는 운좋은 경우도 과거보다 많아졌음. 하지만 NeurIPS의 통계실험 (유명하지, 2개의 독립적인 리뷰를 받게하고 consistancy를 재는 실험) 에 의하면, 붙어야 될 논문이 떨어지는 noise가 더 크리티컬 했다는거야. 그 이후로 AC들이 나서서 구제도하고 판단도하면서 accept rate도 올라갔음.

경쟁에 대해서는 말이안되는 수준이지. 애초에 CS자체가 지금은 인재들이 몰리지. 나는 K 다니는 사람인데 애초에 과 인기가 말이안됨. 과거엔 CS 대학원 커트라인은 그냥 없는 수준이였음. 지금은 AI대학원 누구나 가고싶어하고 인기랩은 인턴 2년하는 애도있음. 수학, 물리, 전산 3복전하고 AI하는 애도 꽤많음. 인재 유입이 어마어마하게 되고있음.

따라서, 논문내는 난이도는 난 오히려 올라갔다고 생각함 (노이즈 등 억까 이슈 + SOTA뺏기는 경쟁적 흐름). 다만 이상황에서 논문 5~6편 들고 있는 괴수들이 많아지는건 그만큼 똑똑한애들이 많이 유입되고, 교수들도 잘하는 사람이 많아져서 선순환이 이루어졌다고 봄.

--------------

3. 결론: 학회 합격 난이도는 현재가 과거보다 높다고 보여짐.

그냥 요즘 AI하는 사람들 고생 많이함. 노력도 많이하는데, 논문 1개 가치도 후려치기 하는 사람도 많아지는 추세임. 더구나 기업들의 무자비한 폭격으로 학교에서 할 수 있는 것들이 점점 사라지고있음. AI는 너무 실전임.

Yoshua Bengio도 블로그에 요새 (AI) 대학원생들아 과거보다 훨씬 고생한다고 언급하기도 했지.

눈팅하다가 분야 논문 개수 후려치기하는 친구들 많이 보여서 글남긴다.