편집자 주 - [2024 가을학기 UIUC 합격] 김박사넷 유학교육 후기 - 1편에서 이어집니다.

맞아요. 그것도 굉장히 인상 깊은 경험이죠. 거기에 컨택을 했던 이유에 대한 스토리도 좀 더 자세히 말씀드리면 다른 분들한테 도움이 될 것 같습니다.

저는 삼성전자에서 시계열 데이터를 분석하는 연구를 했기 때문에, 처음에는 그쪽으로 연구실을 알아봐야 된다고 생각을 했거든요. 근데 임형광 선생님이 이런 피드백을 많이 주셨어요. 진짜 제가 이 사회에 기여하고 싶은 게 무엇인가, 그리고 제가 어떤 걸 할 수 있는가, 이렇게 딱 봤을 때 진짜 원하는 게 시계열인지 곰곰이 생각해 보라는 말씀이 있으셨거든요.

사실 위스콘신-매디슨 연구실이 굉장히 강력한 실적을 많이 내는 곳이었거든요. 연구실 홈페이지를 들어가 봤을 때, 와 여기는 학생들 스펙도 저보다 훨씬 좋고, 교수님이 내는 논문 자체도 정말 제가 하고 싶은 연구인데 내가 엄두를 낼 수 있을까라는 그런 생각이 들었어요. 하지만 컨택을 해서 손해볼 건 없으니까 한번 잘 스토리를 만들어서 해봐야겠다 이런 생각이었거든요. 선생님의 그런 조언 덕분에 이제 용기를 내서 해본 건거기도 하고요.

제가 했던 건 시계열이지만 그 교수님은 이제 Large Language Model (이하 LLM) 연구를 하셨거든요. 실제로 제가 오퍼를 받은 곳이 세 군데 다 LLM 연구를 하는 곳이에요. 어떻게 보면 임형광 선생님이 약간 여기까지 내다보신 것 같은데. (웃음) 왜냐면 저는 시계열 데이터의 기술적인 한계가 굉장히 크다고 느끼는데 Chat-GPT가 다른 건 정말 잘하는데 시계열 데이터 주고 해달라고 그러면 잘 못하거든요.

제가 생각하기에 시계열 데이터를 분석하는 일은 자연어를 처리하는 일보다 훨씬 쉬워요. 자연어라는 건 인간뿐만 아니라 인공지능이 할 수 있는 가장 어려운 일 중에 하나인데, 인공지능이 자연어 처리는 많이 정복을 한 반면, 사람이 눈으로 쓱 보면 할 수 있는 그런 시계열 분석은 왜 못할까? 어떻게 보면 LLM이라는 것 자체가 자연어를 학습시키듯이, 시계열을 카테고리컬 토큰으로 학습을 하는 게 어떤 근본적인 문제가 아닐까? 약간 이런 관점에서 들여다보면은 그런 랭귀지 모델을 연구하시는 분들이랑 접점이 생기더라고요. 그런 식으로, 저는 약간 이 부분에 문제가 있다고 생각하는데 제가 가진 지식과 경험을 활용해서 이쪽을 개선하는 연구를 해보고 싶습니다라고 했을 때 컨택에 대한 결과가 좋았던 것 같아요.

그래서 만약에 임형광 선생님께 그런 피드백을 안 받고 그냥 계속 시계열 쪽만 알아봤으면 완전히 허탕쳤겠구나라는 생각을 지금도 많이 합니다. 그렇게 해서 정말 미국에서도 손가락 안에 드는 그런 연구실에 용기를 내서 컨택해봤는데 교수님께서 메일을 보고 핏이 잘 맞는 것 같으니까 한국 와서 한번 보자 이렇게 말씀하셨던 거거든요. 그리고 만날 때까지 2주 정도 시간이 있으니까 교수님께서 쓰셨던 논문들을 한번 쭉 읽어봐라라고 말씀을 하셨어요.

근데 저는 지원하는 학교랑 학과가 다양해서 준비를 많이 해야 하니까 (편집자 주- 재직중인 상태입니다) 2주를 전부 그 연구실 논문 읽는데만 쓸 수가 없었거든요. 다른 데 컨택도 계속 찔러봐야 하고요. 그래서 인터뷰를 준비하는 시간을 딱 이틀만 잡아야겠다 이렇게 생각을 했어요. 그래서 이틀 동안 그 교수님이 최근에 썼던 논문 10개 정도를 읽어보고 갔는데 지금 생각해 보면 그게 좋은 판단이었다고 볼 수는 없는 것 같아요. 아무래도 이틀 동안 논문 10개를 보려고 하면은 겉핥기로밖에 못 읽게 되더라고요. 결국 그 논문 중에 하나를 제가 아예 잘못 이해했어요.

딥러닝에서는 예를 들면, 인 컨텍스트 러닝(In-context learning)이랑 컨텍스트 어웨어한 러닝(Context-aware learning)이 완전히 다른 개념이거든요. 문제는 제가 논문을 이렇게 흘려 읽고 잘못 말해가지고, 교수님이 지금 논문 내용을 완전히 잘못 이해하고 있다고 말씀을 해주시면서 되게 많이 혼났어요. 사실 연구자로서 논문을 정확하게 이해하지 못했다는 것은 되게 치명적일 수 있잖아요. 다른 교수님들 연구실 홈페이지에 가도 ‘논문을 carefully 읽고 나한테 컨택을 했으면 좋겠다’라는 얘기를 하는 사람이 많을 정도로, 논문을 잘 읽는 건 되게 연구자로서 중요한 역량인데 거기서 이제 삐끗했으니까 면접 결과 자체는 굉장히 안 좋았죠.

교수님이 고개를 이렇게 절레절레 저으시면서 표정이 딱 그래요. 이 친구 좀 똑똑해 보여서 만나려고 했더니 영 애가 맹탕인 것 같은데 이런 표정이요. 그래서 오늘 자기 전까지 내 논문들에 대해 좋은 아이디어들을 메일로 보내봐라고 숙제를 주셨어요. 그래서 이번엔 집중을 해서 보냈는데 다행히 잘 됐어요. 교수님이 지금 나한테 보내준 내용이 다 좋은데 그중에 세 번째 내용은 너가 세운 가설대로 한번 되는지 실험을 해봐라 이렇게 말씀해 주셨거든요.

실제로 제가 자신있는 게, 어떤 저의 아이디어를 빠르게 구현할 수 있는 능력이라고 말씀드렸거든요. 그러니까 이제 그걸 증명을 해야 되잖아요. 그래서 그것도 제가 생각하기에는 – 실제로도 이렇게 가설대로 흥미로운 결과가 나옵니다라고 해서 보내드렸거든요. 그리고 나서 박향미 선생님께서 말씀해 주셨던 것처럼 ‘Self-motivated researcher라면 어떤 식으로 할까’를 생각해 봤어요. 그럼 흥미로운 결과가 나왔으니까 이런 것도 더 해보고 싶다는 식으로 계속 컨택을 이어갈 것 같아서 그렇게 했고요. 교수님이 또 그중에서 이게 특히 흥미로워 보이니까 이쪽으로 해봐라라는 식으로 답장을 주시고 하다 보니까 메일을 한 20통 넘게 계속 주고받았더라고요.

물론 그 과정에서 교수님이 자기 이름 적고 지원해라 이렇게 말씀까지 해 주셨고요. 그게 합격이라는 뜻은 아니지만 어쨌든 그렇게 말씀을 해주셨고 또 메일을 그만큼 주고받으니까 이제 나를 붙여주시려나 이런 생각을 하게 됐어요.

네 말씀하신 내용이 맞는 거 같아요.

맞아요. 그 부분을 말씀드리려고 했는데, 이렇게 실험을 하고 있지만 제 입장에서는 불안하잖아요. 다른 데도 준비를 해야 되는데 지금 여기에 이렇게 시간을 많이 투자하고 나중에 교수님이 안 붙여주시면 내 인생 어떻게 되는 건가? 그런 생각도 들고요.

마지막에 어느 정도 꽤 결과가 많이 나왔다 싶을 때쯤 교수님한테 제가 먼저 여쭤봤어요. 이 분야에 탑 컨퍼런스, 탑 학회가 있는데 - 아시겠지만 사실 CS 쪽은 원래 저널보다 학회를 더 많이 쳐주거든요. - 이 내용이 되게 흥미로워 보이는데 혹시 제가 논문을 쓰면, 교수님과 함께 이 학회에 내볼 수 있겠습니까라고 먼저 여쭤봤어요. 왜냐하면 Self-motivated researcher라면 그래야 될 것 같아서요.

교수님께서 그래 줌 미팅 한번 해보자 이렇게 말씀을 하셨거든요. 그리고 그 줌 미팅 때 오퍼를 줄 수 있다 이렇게 말씀을 하신 거예요.

2월 초였어요.

네 2월 초까지 이렇게 이어진 거예요.

시간을 상당히 많이 투자한 거예요. 안 그래도 지금 유학 준비를 늦게 시작해서 할 것도 많은데 시간을 상당히 많이 뺏겼죠. 거기에,

그것도 굉장히 사실 제가 꼭 전해드리고 싶은 이야기였어요. 제가 그 와중에 시간을 내서 계속 다른 데도 컨택을 계속 시도했단 말이에요. 그런데 답장이 온 몇 군데 중에 하나가 일리노이였거든요. 그리고 일리노이 컨택도 한 11월쯤? 12월 다 돼서 했던 것 같은데 제 나름대로 고민을 많이 했어요.

처음에는 사실 다른 교수님한테 먼저 컨택을 했어요. 제 경력이 산업공학 그리고 데이터 마이닝하고 관련이 있기 때문에 데이터 마이닝 하는 교수님한테 먼저 컨택을 했거든요. 답장이 없어가지고 뭐가 문제지? 어떻게 하면 좋지 생각을 하다가 이제 위스콘신-매디슨 교수님하고 컨택이 잘 됐던 게 생각이 났어요. 사실 NLP에서 영감을 받아 시계열 데이터 분석을 했다는 게 꼭 시계열 데이터를 해야 되는 게 아니라 NLP 쪽으로 돌아가서 문제를 해결할 수 있겠구나라는 아이디어를 갖고 일리노이 석사 수업 때 NLP를 가르쳐 주셨던 교수님한테 컨택을 한 거죠.

거짓말을 하지 않으면서도 어떻게 하면 이걸 최대한 잘 표현을 할 수 있을까를 생각해 봤어요. 저는 결국 그 교수님의 NLP 수업을 듣고 연구에 관심이 생긴 거거든요. 그래서 저는 교수님의 수업을 듣고 사실 삼성전자에서 논문을 썼고 회사에서 One of the best paper로 선정도 됐습니다. 교수님 수업 덕분에 이런 결과가 있었기 때문에 감사하다는 말씀을 드리고 싶다라는 게 첫 번째, 두 번째로는 앞으로도 계속 연구를 하고 싶은데 혹시 PhD로 지원해도 되냐 되게 문단을 두 개로 나눠서 보냈어요.

(웃음) 맞아요. 그래서 교수님이 내 수업이 그렇게 valuable 했다니 너무 기쁘다. 너가 지원하면 한 번 보겠다 딱 이렇게 보냈어요.

그리고 나서 이제 많은 일이 있었죠. 그러면서 일리노이가 사실 한 번 더 컨택이 됐어요. 12월 15일에 지원이 다 끝나고 나서 12월 17일쯤인가? 처음에 답장을 안 했던 교수님이 두 달 있다가 갑자기 답장을 하신 거예요. 너가 지원한 거 봤는데 너 왜 내 수업은 안 들었니? 이렇게 물어보시더라고요. 정확히는 너 왜 내 데이터 마이닝 수업을 안 들었니? 하고요.

근데 제가 찾아보니까 첫째로 온라인 석사는 그 수업을 들을 수가 없어요. 캠퍼스에서만 들을 수 있는 수업이고요. 두 번째로는 그냥 안 열려서 못 들었는데요라고 하면 이제 또 Self-motivated researcher가 아닐 것 같아서 (그렇죠.) 어떻게 할까 고민을 하다가 그 교수님이 코세라나 유튜브에 올렸던 모든 강의를 다 찾아보고 대신 이건 들었습니다. 이렇게 해서 보냈어요.

근데 그럼에도 불구하고 그 교수님께서는 - 어떻게 보면 감사한 건데 - 아무래도 좀 나랑 그렇게 잘 맞지는 않을 것 같다. 다른 교수님한테 컨택을 해봐라 너는 여전히 competitive한 프로그램에 들어갈 수 있을 것 같다라고 딱 그냥 말씀해 주셨어요. 어떻게 보면 감사하죠. 왜냐면 그게 아니라고 해주는 게 계속 답장이 오는 것보다 훨씬 나은 것 같아요.

앞으로 계속 keep in touch 하되 다른 교수님한테 연락해 봐라 이렇게 말씀해 주셨고요. 그래서 딱 다시 마음을 잡고 NLP를 가르쳐주셨던 ◆◆◆ 교수님한테 집중을 했는데…

네 맞아요. 그러한 가운데 계속 위스콘신-매디슨 교수님하고 실험을 계속하고 있었고, 또 교수님이 오퍼를 줄 수 있다 말씀을 하신 시점이 2월 초였거든요. 근데 그 과정에서 제가 굉장히 많은 걸 느꼈어요. 유학을 간다는 거는 결국에 교수님하고 이 정도의 관계가 된다는 거구나. 이렇게 되면 정말 확실해지는 거구나라는 걸 느꼈죠.

그러면 이제 저한테 놓인 선택지가 뭐가 있냐를 봤을 때, 그때 이미 스탠포드도 떨어지고 일리노이보다 랭킹이 높은 데는 컨택이 전혀 안 됐고 사실상 불가능해 보였어요. 또 다른 데는 제가 가고 싶은 연구실이 없는 약간 그런 상황이어서 그나마 가장 가능성이 높은 곳에 제 소중한 시간을 투자하자고 생각했죠. 2월이면 발표까지 났을 시점이라 생각했었기 때문에 제가 그때 박향미 선생님께 실낱 같은 희망이라고 말씀드렸던 거거든요. 그나마 그렇게 간단히 답장을 주셨던 교수님한테 조금 더 시간을 쓰는 게 전략적으로 맞겠다라는 생각이 들었어요.

그때 박향미 선생님이 말씀해주신 것처럼 12월 15일 날 지원을 하고 나서 리마인드 메일을 한 번 더 보냈어요. ◆◆◆ 교수님께 지원을 했습니다라고 보냈더니 자동 응답메일이 왔는데 ‘제가 가족에게 긴급한 일이 생겨서 지금은 답장이 안 되고 나중에 확인하겠습니다.’라고요. 그러고 나서 아무 연락이 안 왔거든요. 그래서 2월 초에 다시 한번 ◆◆◆ 교수님한테 컨택을 해보자라는 생각이 들었는데요.

어떻게 컨택을 할까라는 관점에서 보면은 이제 위스콘신 교수님을 통해서 제가 교훈을 얻었잖아요. 이 정도로 해야 인터뷰로 이어질 수 있다면 ◆◆◆ 교수님 연구를 보고서 한번 거의 논문 수준으로 내가 컨택 메일을 보내봐야겠다. 그래서 마지막 결론은 제가 이런 아이디어가 있고 이렇게 실험까지 해봤는데 혹시 교수님이랑 같이 올해 6월에 제출을 할 수 있을까요? 이렇게 내면 그게 가장 강력한 컨택이 아닐까라는 생각이 들고 이제 거기에 또 최대한 집중을 했죠.

그리고 사실 여기 되게 중요한 어떤 등장인물이 있는데 이게 제 인생에 되게 중요한 등장 인물 중에 한 명이에요. ◆◆◆ 교수님하고 같이 논문을 썼던 한국인 박사과정생이 있어요. ▢▢▢님이라고 일리노이에서 CS가 아닌 다른 학과 박사 과정에 계시거든요. 혹시 그분도 김박사넷 유학교육을 받았지 않을까 싶은 느낌이 들 정도의 말씀을 가끔 좀 해 주셨는데요. 그분한테 컨택을 했을 때 저한테 Self-motivated 이런 말씀을 해주셔가지고 그런 생각을 했거든요.

아무튼 그분한테 연락을 할 때 이런 식으로 여쭤봤거든요.

“제가 ◆◆◆ 교수님하고 같이 하신 연구를 보고 굉장히 깊은 감명을 받아서 용기 내서 연락을 드려봅니다. 예를 들면 ◆◆◆ 교수님은 자연어 처리를 어떻게 하면 산업환경에도 적용할 수 있을까 이런 연구를 이제 ▢▢▢님이랑 같이 하신 건데요. ▢▢▢님이 이런 연구를 하신 걸 보고 저도 제 꿈도 ▢▢▢님처럼 일리노이에 가서 이런 연구를 하는 건데, 혹시 후배 연구자가 어떤 자질을 갖추고 들어왔으면은 좋으시겠습니까?“

그랬더니 ▢▢▢이 후배 연구자가 갖춰졌으면 하고, ◆◆◆ 교수님이 생각하는 역량은 성실함과 Self-motivation이다.  이렇게 말씀을 해 주시더라고요. ◆◆◆ 교수님이 진행하고 있는 연구가 뭐 뭐 뭐 이런 게 있다 그러니까 이쪽 논문을 좀 읽고 오면 좋을 것 같다 이렇게까지 되게 중요한 정보를 주셨어요.

그리고 그중에 한 논문이 ◆◆◆ 교수님이 2년 동안 연구를 안 하시던 논문이었거든요. 근데 그걸 다시 하신다는 거를 알게 된 거죠. 그 논문 자체가 DARPA (편집자 주 - Defense Advanced Research Projects Agency, 미국 국방고등연구계획국)에서 펀딩을 받는 논문이었어요 그래서 혹시 또 DARPA에 다시 Grant를 따오셨나 이런 생각이 들더라고요.

사실 그 논문 자체가 되게 재밌어요. 왜냐면은 ‘어떤 게임 세계에다가 자연어 처리를 적용을 해야 그 진짜 자연어 처리, 그러니까 랭귀지 모델이 뭔가를 이해(understanding)하는지 프레임워크를 확장할 수 있다’ 이런 아이디어에서 시작한 거거든요.

조금만 더 설명을 드리면 결국에 랭귀지 모델이 아무리 사과라는 단어를 잘 다뤄도, 그 랭귀지 모델은 현실 세계에 사과하고 접점을 가진 적이 한 번도 없기 때문에 Chat-GPT 같은 랭귀지 모델은 사과를 이해한다고 볼 수 없다는 거죠. 되게 논리적이고 어떻게 보면 인지 철학적인 질문이기도 한데, 그러려면 랭귀지 모델은 외부세계(external world) 그게 비록 게임 속에 시뮬레이션된 세상이라고 할지라도 거기하고 어떤 커넥션을 가져가야 된다라는 발상에서 시작을 한 거예요.

근데 저는 약간 이렇게도 연결된다고 생각을 했어요. 제가 이 분야에서 궁극적으로 개선될 여지(room for improvements)가 많다고 보는 거는 랭귀지모델이 숫자를 취급하면 되게 약하다는 거예요. 숫자라는 거는 사과하고 다르게 현실 세계에 커넥션이 없어도 의미가 굉장히 명확하거든요. 그렇기 때문에 일단 이 숫자부터 어떻게 잘 하다 보면은 그쪽에서도 잘할 수 있는 걸로 확장할 수 있는 좋은 스타팅 포인트가 되지 않을까라는 측면도 있다고 저는 생각을 했어요.

그리고 그 게임 시뮬레이션 속에서 그걸 적용한다는 자체가 너무 재미있게 느껴졌기 때문에 그 환경에서 그걸 재현해보면 어떨까 싶었어요. 2년 전에 나왔던 논문 자체가 당시 어떤 딥러닝 모델에다가 어떤 걸 하라고 줘봤을 때 이런 건 잘하는데 이런 식으로 잘 못할 때도 있더라 이런 내용이었거든요.

저도 지금 최신의 딥러닝 모델 예를 들면 GPT-4 같은 걸 적용을 해봤을 때 이런 건 잘하는데 이런 건 잘 못하잖아요. 예를 들어 두 칸짜리 v자를 그리라고 했는데 작은 v자를 두 번 그린다던가 이런 것도 사실 좀 더 다듬으면 논문이 될 수 있다고 생각해요. 그렇게 정리를 해서 제가 하고 싶은 건 이런 거고 그래서 이런 실험을 해봤고 이런 결과가 나왔는데 혹시 논문을 낼 수 있을까요? 라는 이제 제가 말씀드렸던 ‘거의 논문 수준의 컨택’을 했어요.

근데 답장이 없으시더라고요. 그 정도로 답장을 받는 게 힘들고 이제 시작일 뿐이에요. 제가 되게 많은 일이 있었다고 했잖아요. 왜 답장이 없지? 이제 뭐 해야 되지? 그런 생각이 들더라고요. 이제는 뭐를 더 해야 되지? 지금 여기까지 오는 거 너무 힘들었는데 약간 그 생각이 들었고… 다시 ▢▢▢님한테 물어봤어요. ▢▢▢님께서 알려주신 덕분에 이제 그런 게임 환경에서 어떻게 적용할 수 있는지에 대한 실험을 해봤고 재미있는 결과가 있어서 교수님께 컨택도 해봤다고요.

이제 2월 초에 딱 시간이 나서 해보자 하고 착수해서 길어봐야 3~4일을 안 넘겼던 것 같아요. 시간이 많지가 않잖아요. 왜냐면 3월 15일에 일괄적으로 리젝레터가 날아간다고 Grad cafe에서 봤어서요. 그러니까 시간이 많지 않은데다가 심지어 CS 학생 대부분은 이미 오퍼를 받았어요. 만약에 ◆◆◆ 교수님이 누가 내정자가 있다 그러면은 저는 헛수고를 한 게 돼요. 그리고 그 가능성은 하루가 다르게 점점 높아진다고 저는 느꼈거든요.

일단 메일을 보내긴 했다. 근데 교수님께서 1월달에 가족에게 긴급한 일이 생겨서 자동 답장만 보내신 뒤로 다른 연락은 없었다. 당시에 어떻게 보냈냐면은 혹시 제가 ▢▢▢님이 진행하고 있는 연구에 대해서 도와드릴 만한 게 있냐, 그때 이제 혹시라도 제가 공저자를 찾는다는 느낌을 전혀 주고 싶지 않아서 그냥 조금이라도 acknowledge 될 수 있는 거면 뭐든지 상관없다. 특히 저는 예를 들면 이제 파이토치로 딥러닝 모델을 굉장히 빠르게 깔끔한 코드로 짜는 걸 잘한다. 혹시 제가 도와드릴 수 있는 일이 있으면 알려달라, 이걸 첫 번째 문단으로 했고요

저는 사실 그 문단에서 뭔가 얘기를 해 주실 줄 알았고 혹시 그게 안 될 수 있으니까 두 번째 문단에서 이런 얘기를 했어요. ▢▢▢님께서 최근에 쓰신 논문에 ‘현장 실습 논문에 데이터는 요청하면 제공하겠음’이라는 문구가 있는데 혹시 저한테 그 데이터를 주실 수 있나요? 그러면 제가 ▢▢▢님의 실험을 재현해보고 제가 좀 할 수 있는 부분이 없는지는 찾아보겠습니다라고 보냈어요.

▢▢▢님이 이제 답장을 주셨어요. 첫 번째 문단에서 저도 지금 바빠가지고 딱히 도와달라고 할 건 없고요. 대신 두 번째 요청하신 데이터를 드리겠습니다 이렇게 하셔서 이제 데이터를 받았거든요.

그 때 심정은 이제 재현실험을 해서 뭐가 나오면 좋을 것 같기는 한데… 나 지금도 너무 힘든데… 이거 한 번만 더 해보자. 진짜 딱 마지막으로 한 번만 더 해보자 그런 마음이었죠. 그리고 그때 ▢▢▢님이 뭐라고 말씀하셨냐면은 ‘제가 다음 주 월요일날 ◆◆◆ 교수님하고 대면 미팅이 있는데 그때 ○○님 어플리케이션 어떻게 되는지 한번 물어볼게요.’ 이렇게 말씀을 하시더라고요.

그래서 진짜 너무 힘든데… 그 메일을 받은 게 목요일이었거든요. 목요일부터 이제 월요일까지 타임어택에 걸린 거예요. ▢▢▢님이 월요일날 미팅을 들어가야 되니까 일요일까지는 보내야지 그래도 아침에라도 보고 들어갈 거잖아요. 진짜 너무 힘든데 한 번만 더 해보자 진짜 이렇게 마음먹고 시작했죠. (중략)

편집자 주 - [2024 가을학기 UIUC 합격] 김박사넷 유학교육 후기 - 3편으로 이어집니다.