AI/ML 학회지의 미래

낭만의 시절: 우선 ML/AI 학회에서 탑3 학회 (NeurIPS/ICLR/ICML)와 아래에 있는 AAAI 및 기타 등등은, 내용은 깻잎 한장 차이 일지라도. 브랜드 네임은 하늘과 땅 차이 이다. 체감 상으로는 에르메스 --- 아디다스 급 이다. 그래서, 보통 ChatGPT 시절 전에도 학생 들은 AAAI 나 UAI 에 논문을 냈다고 그렇게 기뻐하지는 않았지만, NeurIPS/ICLR/ICML 출판은 학과 내에서 "누구 누구 학생이 탑3에 출판 했디야~~" 라고 부러움의 대상이었다.

ChatGPT 출연 후 이제 아스트라라는 AGI 초기 모델 시대: 물론 NeurIPS/ICLR/ICML 등등 탑학회지가 사라지지는 않겠지만 AI 에 가장 큰 직격탄을 맞는 거는 엄청난 양의 논문에 대비해서 리뷰어의 숫자는 매우 부족 하다는 것이 가장 큰 직격탄 일거 같다.

오늘날의 문제는 이런 탑학회지 뿐 만 아니라, AAAI 같은 다소 아래 있는 학회 지도 리뷰어 수가 엄청나게 부족 하다는 거임

부족한 리뷰어 수를 매꾸기 위해서 학회들은 대부분 공통적으로 다음 시스템을 도입 하기 시작했다.

1. 한 저자 당 제출 논문 수 제한
2. 제출 하면 리뷰어로도 활동 하기
3. 외부 리뷰어 초청

1은 그렇다치고, 2와 3이 바로 리뷰어의 퀄리티를 엄청 나게 낮게 만들어버렸다.

2 으로 인해서, 리뷰어들은 일단 내용도 안보고 타인의 논문을 하향 평가 한다. 그래야 본인 논문이 20프로 안에 들어가기 때문에;
3 으로 외부 석사나 학부 생이 교수의 논문을 리뷰 하는 경우도 생긴다. 대부분 이들중 양심 있는 사람은 Confidence 를 1로 둔다. 하지만, AC 도 사람 인지라 결국 점수를 볼수 밖에 없다.

여기서 또 2차적인 문제가 연쇄적으로 발생하는데, AC 도 요즘은 부족해서, 아직 논문이 5개 정도 밖에 없는 든든한 직장이 없는 사람들이 AC 를 한다. 그러면 AC 들은 본인들의 미래 경쟁상대 논문이 있으면 논문을 어셉을 시켜야할 동기가 낮아진다. 괜히, 본인도 직장이 없는데, 남 좋은 일 할려는 사람은 그다지 많지 않다.

"탑학회지 논문은 리뷰어 운에 달렸다."는 원래 ChatGPT 시절 전부터 있었던 통설 이었다. 하지만, 오늘날은 탑학회지 논문은 운 + 운 + 운 이다. 정말 좋은 논문 들이 아무 Fatal 한 이유 없이 그냥 리젝이 되고, 오류 투성인 논문이 점수 높게 주는 학부생 리뷰어들이 연속으로 걸리면, 어셉 되는 기이한 현상이 이제는 매우 흔하다.

Reddit 에서는 "AC 가 당일 아침에 커피 한 잔 먹고 난 다음의 기분에 따라서 논문이 어셉되거나 리젝 된다."는 소리가 있는데 이건 진짜다. 커피 맛이 달콤 하면 엔돌핀 팍 돌아서, 논문 어셉 클릭 버튼을 누르고, 커피 맛이 쓰면, 이유 불문 리젝 이다. 앞서 설명했듯이 AC 본인도 아직 직장 잡아야 할 포닥이거나, 테뉴어를 따야 할 커리어 단계인지라, 좋은 논문은 곧, 자신의 잠정적 경쟁자 이다. 그렇기 때문에 NeuralPS 나 ICML AC 의 메타 리뷰를 보면, AI 로 대충 쓰고, 불분명한 이유로 리젝 주는 경우가 다수 이다.

오프마인드 지닌 시니어 교수 들은 AC 를 이제 더이상 하지 않는다. 한 AC 당 보통 20개의 논문을 맡게 되는데, 요즘은 AC 한테도 꽤 많은 임무를 주므로, 실력 좋은 교수는 절대로 AC 할려고 하지 않는다.



결론적으로 ML/AI 학회는 지금 개판이 되었다. 리뷰어와 AC 퀄리티 부터 완전히 무너진것이다.

누구나 말그대로 입문 할수 있고, 누구나 노이즈 역할이 될수 있고, 또한 90프로 이상이 학생 이기 때문에 (다른 말로는 구직자), 탑3 논문을 통해서 입신양명 하고자 하는 절박함은 예나 지금이나 같다. 여기서 가장 큰 문제는 "누구나" 이제 리뷰어가 된다는 것이다. 누구나 AI 를 써서 리뷰 하므로, 누구나 그럴 듯하게 리뷰를 쓸 수 있다.


학회 들은 이제 좀 더 철저한 desk rejection 을 가하기 시작 하는 게 트랜드가 되었는데 다음과 같다.
1. 페이지 장수 넘기면 이유불문 데스트 리젝 (원래도 있었음)
2. AI Slop 발견시 데스크 리젝
3. Hallucinations Reference 발견시 데스크 리젝

문제는 이제 AI 가 정교해져서 대부분 저자들은 AI Slop 과 Hallucinations 을 자체 필터링을 미리 한다. 즉, 데스크 리젝률은 생각 보다 크지 않다. 그렇다고 일반 저널 처럼 Chief Editor 가 내용을 보고 데스크 리젝을 할수는 없는 구조 이다. 그 많은 논문을 어떻게 몇몇 소수가 초기에 필터링 하는가.


AI/ML 학회지의 미래는 어떻게 될까 정말 궁금하다.

난 감히 다음을 예상 한다.

1. 대중화: 벤즈 자동차가 중국인 회사 들이 대주주 되고 나서, 약간 예전의 아우라를 잊었지만, 벤즈는 벤즈다. 벤즈가 쌓아온 명성이 하루 아침에 사라지지는 않는다. 이제 마음만 먹으면 대딩이 벤즈 탈수도 있다. NeuralPS/ICML/ICLR 이라는 브랜드도 만인에게 기회를 주는 구조가 되었다 뿐이지, 그 브랜드 는 아직도 구직자 (학생) 등에게는 선망의 대상이다.

2. 빈익빈 부익부: 이제 NeuralPS/ICML/ICLR 아래 학회 들은 예전보다 더 똥취급을 받을 수 있다. 그리고, 이 3학회지에 1저자 논문이 없으면, "아니....이런 대중화 논문 시대에 아직도 탑3 1저자 논문이 없어?" 라는 취급을 받는다. 실제로 많은 학회지 들이 NeuralPS/ICML/ICLR 에 논문이 없는 저자 가 논문을 쓰면 논문 제출에 제한을 걸어버렸다. 즉, 우선 아래 학회 부터 정복하고, 끝판왕 학회 한번 정도 끝내본 사람의 논문 아니면 내용을 불문하고 그다지 중요시 보지 않겠다는거다.

3. 차별화 실패: NeuralPS/ICML/ICLR 는 분명 구직자에게 선망의 대상 이지만, 이제 이게 한 두편 있다고 나의 커리어 패스가 탄탄대로 일것이라는 차별화는 불가능 하다. 이것 말고 추가 뭔가가 있어야 한다. 예를 들어서, 구글 에서 박사과정생으로서 여름 인턴은 했다던가, NeuralPS/ICML/ICLR 이 고작 2편이 아닌, 5 ~ 10편 이라던가 (다다익선), 다른 추가 차별전략으로 구직자는 직장을 구하는 시대가 되었다.

NeuralPS/ICML/ICLR 는 옷 브랜드로 치면, ChatGPT 출연 이전 시대는 명실상부 에르메스 였다. 하지만, ChatGPT 출연 1년 후, 2년 후 점점 보편/대중화 되기 시작하여, 지금은 루이비통/샤넬 급 혹은 그 아래급 으로 내려왔다. 이제 5년 정도 지나면 Coach, 10년 지나면 유니클로 가 될 것 인가?

당신 들은 무엇은 예상 하는가?