AI/ML 학회지의 미래

물론 NeurIPS/ICLR/ICML 등등 탑학회지가 사라지지는 않겠지만 AI 에 가장 큰 직격탄을 맞는 거는 엄청난 양의 논문에 대비해서 리뷰어의 숫자는 매우 부족 하다는 것이 가장 큰 직격탄 일거 같다.


우선 ML/AI 학회에서 위 탑3 학회와 아래에 있는 AAAI 및 기타 등등은, 내용은 깻잎 한장 차이 일지라도. 브랜드 네임은 하늘과 땅 차이 이다.

문제는 이런 탑학회지 뿐 만 아니라, AAAI 같은 다소 아래 있는 학회 지도 리뷰어 수가 엄청나게 부족 하다는 거임

부족한 리뷰어 수를 매꾸기 위해서 학회들은 대부분 공통적으로 다음 시스템을 도입 하기 시작했다.

1. 한 저자 당 제출 논문 수 제한
2. 제출 하면 리뷰어로도 활동 하기
3. 외부 리뷰어 초청

1은 그렇다치고, 2와 3이 바로 리뷰어의 퀄리티를 엄청 나게 낮게 만들어버렸다.

2 으로 인해서, 리뷰어들은 일단 내용도 안보고 타인의 논문을 하향 평가 한다. 그래야 본인 논문이 20프로 안에 들어가기 때문에;
3 으로 외부 석사나 학부 생이 교수의 논문을 리뷰 하는 경우도 생긴다. 대부분 이들중 양심 있는 사람은 Confidence 를 1로 둔다. 하지만, AC 도 사람 인지라 결국 점수를 볼수 밖에 없다.

여기서 또 2차적인 문제가 연쇄적으로 발생하는데, AC 도 요즘은 부족해서, 아직 논문이 5개 정도 밖에 없는 든든한 직장이 없는 사람들이 AC 를 한다. 그러면 AC 들은 본인들의 미래 경쟁상대 논문이 있으면 논문을 어셉을 시켜야할 동기가 낮아진다. 괜히, 본인도 직장이 없는데, 남 좋은 일 할려는 사람은 그다지 많지 않다.

"탑학회지 논문은 리뷰어 운에 달렸다."는 원래 ChatGPT 시절 전부터 있었던 통설 이었다. 하지만, 오늘날은 탑학회지 논문은 운 + 운 + 운 이다. 정말 좋은 논문 들이 아무 Fatal 한 이유 없이 그냥 리젝이 되고, 오류 투성인 논문이 점수 높게 주는 학부생 리뷰어들이 연속으로 걸리면, 어셉 되는 기이한 현상이 이제는 매우 흔하다.

Reddit 에서는 "AC 가 당일 아침에 커피 한 잔 먹고 난 다음의 기분에 따라서 논문이 어셉되거나 리젝 된다."는 소리가 있는데 이건 진짜다. 커피 맛이 달콤 하면 엔돌핀 팍 돌아서, 논문 어셉 클릭 버튼을 누르고, 커피 맛이 쓰면, 이유 불문 리젝 이다.

결론적으로 ML/AI 학회는 지금 개판이 되었다.

누구나 말그대로 입문 할수 있고, 누구나 노이즈 역할이 될수 있고, 또한 90프로 이상이 학생 이기 때문에 (다른 말로는 구직자), 논문을 통해서 입신양명 하고자 하는 절박함은 이뤄말할수 없다. 여기서 가장 큰 문제는 누구나 이제 리뷰어가 된다는 것이다.


학회 들은 이제 좀 더 철저한 desk rejection 을 가하기 시작 하는 게 트랜드가 되었는데 다음과 같다.
1. 페이지 장수 넘기면 이유불문 데스트 리젝 (원래도 있었음)
2. AI Slop 발견시 데스크 리젝
3. Hallucinations Reference 발견시 데스크 리젝

문제는 이제 AI 가 정교해져서 대부분 저자들은 AI Slop 과 Hallucinations 을 자체 필터링을 미리 한다. 즉, 데스크 리젝률은 생각 보다 크지 않다. 그렇다고 일반 저널 처럼 Chief Editor 가 내용을 보고 데스크 리젝을 할수는 없는 구조 이다. 그 많은 논문을 어떻게 몇몇 소수가 초기에 필터링 하는가.


AI/ML 학회지의 미래는 어떻게 될까 정말 궁금하다.

난 감히 다음을 예상 한다.

1. 대중화: 벤즈 자동차가 중국인 회사 들이 대주주 되고 나서, 약간 예전의 아우라를 잊었지만, 벤즈는 벤즈다. 벤즈가 쌓아온 명성이 하루 아침에 사라지지는 않는다. 이제 마음만 먹으면 대딩이 벤즈 탈수도 있다. NeuralPS/ICML/ICLR 이라는 브랜드도 만인에게 기회를 주는 구조가 되었다 뿐이지, 그 브랜드 는 아직도 구직자 (학생) 등에게는 선망의 대상이다.

2. 빈익빈 부익부: 이제 NeuralPS/ICML/ICLR 아래 학회 들은 예전보다 더 똥취급을 받을 수 있다. 그리고, 이 3학화지에 1저자 논문이 없으면, 이런 대중화 논문 시대에 아직도 이게 없어? 라는 취급을 받는다. 실제로 많은 학회지 들이 NeuralPS/ICML/ICLR 에 논문이 없는 저자 가 논문을 쓰면 논문 제출에 제한을 걸어버렸다. 즉, 우선 아래 학회 부터 정복하고, 끝판왕 학회 한번 정도 끝내본 사람의 논문 아니면 내용을 불문하고 그다지 중요시 보지 않겠다는거다.

당신 들은 무엇은 예상 하는가?