ML 분야 및 탑티어 학회 논문에 대한 질문과 답

리뷰 시스템이 잘 돌아가고 있나?
> 아니다. 리뷰어가 부족해서 이미 망가진 상태다. 석사 + 박사 초 년 차도 동원돼서 리뷰하는 중이다.

망가진 리뷰 시스템에서 나온 논문을 믿을 수 있나?
> 리뷰 시스템을 떠나 답은 ‘아니다’이다. 그런데 이걸 문화적으로 극복하고 있다.

ML 분야는 논문 리뷰를 학생이 하든 교수가 하든 애초에 대놓고 믿기 어려운 분야이다. ML에서 믿고 보는 논문은 없다. 이유는 신경망이 현재 상태로는 사이즈가 커질수록 해석 불가능하고, 보통 하이퍼 파라미터 따라 방법론의 성능이 너무 달라지고, 논문에 사용된 설정 및 결과를 퍼블릭 공개 한다도 해도, 그게 그 순간에만 잘 도는 건지 아닌지에 대해서는 당사자나 그거 엄청 돌려본 사람 아니고서야 알 수가 없기 때문이다.

이를 보완하기 위해 ML 분야에서는 코드와 리뷰를 공개를 하는 문화가 도입됐다. 근데, 놀랍게도 코드와 리뷰를 공개 해도 논문 내용 사기치는 사람과 리뷰에 헛소리 하는 사람은 여전히 많다.

그래서 일단 안 믿고 돌려보고 진짜 잘 돌면 그 때 믿는게 보통이다. 당연히 코드나 모델, 하이퍼 파라미터가 부분적으로 공개 됐거나 해서 제대로 공개 안 된 논문은 신뢰를 못 받는 편이다.

또, 학생이 리뷰 한다는 사실을 떠나 애초에 탑티어라 부르는 곳에서만 1만 건 이상 논문이 나온다. 너무 많아 그 논문을 다 믿을 수는 없다. 좋은 논문과 스캠 논문이 너무 섞여 있어서 들여다 봐야 한다.

근데 공개 문화 덕분에 타 분야에 비해 짧은 시간 안에 옥석이 가려진다. 특히, 빅테크 + 대가 랩에서 나온 논문은 일단 주목 받기 때문에 검증이 빨리된다; 빠르면 몇주, 늦으면 2년 안에 검증된다; 1년 지나면 옛날 기술이라고 하는 중... 이 덕분에 ML 분야 자체는 매우 매우 잘 굴러가고 있다.

국내에서 나오는 논문 수는?
> csrankings.org 들어가서 south korea 선택하고 분야 선택하고 나오는 결과에서 파란 삼각형 누르면 나오니 세어보면 된다. 1년에 카이스트에서만 수십개가 나온다.

국내 AI 대학원에 타 분야에 비해 뛰어난 인재가 많이 유입되는가?
> 잘 모르겠다.

뛰어난 인재?: 우리나라 최고 인재는 모두 메디컬로 간다. 메디컬 진학자를 제외하고 제일 뛰어난 인재는 서울대 나와서 해외대로 간다. 나머지 중에서는 제일 선호도가 높다고 볼 수도 있을
것 같다.

많은 수?: 교수 수는 특별히 많은 것 같지는 않다. 카이스트를 예로 들면, AI 대학원 교수 수는 20명이 안된다. 학생 수는 아래 링크 참고하면 된다.
https://phdkim.net/board/free/21894/

ML 탑티어가 진짜 탑티어냐?
> 탑티어가 분야마다 사용되는 느낌이 다르다. 그들에겐 탑티어고, 다른 분야에선 아닐 수 있다.

NCS만 탑티어라 부르는 정도면 탑티어가 아니다. 네이쳐 나오는 논문을 보면 알겠지만, 거기에 나오는 논문들은 애초에 저자 단독 수행으로 쓸 수 없는 논문이 대다수이다. 실험 스케일만 봐도 다르다.

자매지급까지 탑티어라 부르면 그럴 수 있다. TPAMI가 자매지와 동급이라고 보이며, TPAMI에 실릴 수 있는 탑티어 학회 논문들은 자매지급 탑티어라 부를 수 있다. 보통 oral spotlight 논문들이 그런 논문들이다.

또 있던 질문이 뭐가 있을까...