EECS에서 Nature는 그냥 상징적인 저널 중 하나일 뿐입니다. NCS가 메인인 분야에서의 위상과 직접 비교할 대상이 아니에요.

ML을 포함한 EECS 분야에서 핵심으로 사용되는 기술들은 대부분 Nature 논문화가 되지 않습니다.
그런데, 그게 Nature가 수준이 너무 높아 그 장벽에 가로막혀 'Nature 논문화'가 못 되는게 아닙니다.

좀 과하게 말하면, 대부분의 경우, 기술적으로 글로벌급 파괴적인 논문들을 연구자들이 Nature에 논문화 하지 않는다고 말하는게 더 적절합니다.
뭔가 필요가 생기거나, 요청이 생기면, 또는 Nature 욕심이 있으면 내는 경우는 있지만,
Nature 논문화는 '보통' 관심 밖 영역입니다.
Nature 논문이 있으면 엄청 멋지겠지만, 딱히 그걸 향해 연구 인생을 바치는 그런 대상이 아니라는 말입니다.
(NCS가 메인인 분야에서 생각하는 그런 대상은 아니라는 말과 맥을 같이한다고 약하게 주장하고 싶네요.)


알기 쉽게 요새 이슈되는 chatGPT(==GPT3.5 or 4)를 예로 알려드릴게요.

chatGPT는 이름에서 볼 수 있듯 GPT를 기반으로 만들어졌고,
GPT는 Transformer라는 방법론에서 Decoder라는 일부 모듈만 떼어 만든 기술입니다.
Transformer는 Attention이라는 기술을 기반으로 만들어졌고,
Adam이라는 최적화기를 통해 학습이 됩니다.
chatGPT는 OpenAI라는 기업이 끌어모을 수 있는 모든 데이터를 사용한 것으로 보이구요.

흐름을 보면
Adam (2015 ICLR), Attention (2015 ICLR)-> Transformer (2017 NeurIPS 2017) -> GPT-1 (2018 arXiv) -> GPT-2 (2019 OpenAI blog) -> GPT-3 (2020 NeurIPS) -> chatGPT (== GPT3.5 or 4 미공개) 순이라고 보면됩니다.

*NeurIPS는 ML 원 탑 학회로 NIPS로 불리다가 최근에 이름이 바뀐 학회입니다.
*ICLR은 2013년에 만들어진 2015년 당시 신생 학회로 딥러닝 거장들이 키우려고 밀어주는 상태라 그 당시 전후로 좋은 논문들이 많이 투고됐습니다. 지금은, 시간이 지나지 않아 그런지 모르겠지만, Adam이나 Attention 급 파괴력이 있는 논문이 보이지는 않고, 그런 논문들은 대거 NeurIPS(NIPS)에 나오는 것 같습니다.

보시면 아시겠지만, chatGPT는 8년간 발전 해오면서 Nature 논문지랑은 전혀 상관 없는 길을 걸어왔습니다.

그 8년 간

Adam은 14만회 이상
- Kingma, Diederik P., and Jimmy Ba. Adam: A method for stochastic optimization. International conference on learning representation, 2015.

Attention은 2만 8천회 이상
- Bahdanau, Dzmitry, et al. Neural machine translation by jointly learning to align and translate. International conference on learning representation, 2015.

Transformer는 7만회 이상
- Vaswani, Ashish, et al. Attention is all you need. Advances in neural information processing systems, 2017.

GPT-1은 5천회 이상
- Radford, Alec, et al. Improving language understanding by generative pre-training. arXiv, 2018.

GPT-2은 5천회 이상
- Radford, Alec, et al. Language models are unsupervised multitask learners. OpenAI blog, 2019.

GPT-3은 9천회 이상
- Brown, Tom, et al. Language models are few-shot learners. Advances in neural information processing systems, 2020.

chatGPT
- 2023년 공개 된 뒤 3개월 간 사용자 수 1억 명 넘음

인용 또는 사용되었습니다.

Adam, Attention, Transformer, GPT 논문들이 과연 Nature에 실릴 급이 안되어 저널화가 못 된 것일까요?

전 전혀 아니라고 봅니다.

다른 분야에서 사용하는 Top-tier가 ML에서 사용하는 Top-tier와 범위가 다를 수 있듯,
ML에서 NCS 또는 자매지가 가지는 의미 또한, NCS가 주력인 분야에서의 의미와 다를 수 있습니다.



논란은 여기서 끝내고 그냥 논문이나 씁시다 ~