카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

가장 핫한 댓글은?

컴공 석사 nlp 공부 방향 조언해주실 수 있을까요?

2024.06.18

2

387

학부도 컴공이고, nlp 관련 연구 하는 랩으로 올해 석사 들어갔습니다.

그런데 이론 공부와 코드 짜는게 재밌는거랑 별개로...
제가 하는 연구는 그냥 잘 되는 모델 finetuning, 데이터 구축, 모델 구조 아주 약간 수정, 벤치마크 성능 0.x% 올리기... 이정도밖에 없는 것 같아서 조금 더 깊이 있는 연구를 하고 싶다는 생각이 듭니다.

최근 베이지안 모델 등 확률적인 모델들에 흥미가 관련 공부를 하는 중인데 (nlp 모델도 결국은 다 확률모델이니까요)
확률/통계적인 깊이가 저의 학부 CS 지식으로는 턱없이 모자란 것 같고 많은 수학적, 통계적 백그라운드가 필요한 것 같더라구요.

그래서 확률/통계학 및 그에 필요한 일부 측도론이나 해석학적인 지식을 공부하려고 하고, 수학과 학부+𝛼 정도 수준을 목표로 잡으려 합니다.


그런데, 저는 이런 지식이 연구나 논문 작성에 있어서 도움이 될 것 같다는 생각이 드는데, 랩실 사람들이나 다른 분들 보면 nlp 연구 하시는 분들이 생각보다 이런 공부를 많이 하시진 않는 것 같더라구요..? 제 주변만 그런진 모르겠습니다.

지금 생각으로는 모델 아키텍쳐는 이미 많이 연구가 되어있고 크게 변화할 것 같지 않고... LLM 이런거는 실질적으로는 레이어와 데이터를 어마어마하게 늘리고 학습시킨거에 불과한 것 같아서, 일종의 돌파구로 기반 지식을 더 탄탄히 하고 싶다는 생각이고 그러면 연구 방향이 더 잡히지 않을까 하는 생각입니다.

비슷한 생각으로, nlp에 있어서 데이터가 정말 중요하다보니 데이터를 보는 시각을 좀 더 넓히기 위해 통계학을 더 제대로 공부해볼까 하는 생각도 있습니다. 조금 봤는데 통계학이 정말정말 어려워서ㅠ 이러려면 시간을 많이 쏟아야 할 것 같네요.

요약으로는

1. nlp 연구 하려는데, 기반이 되는 확률, 통계적 지식을 깊이 있게 공부하고 싶다
2. 데이터가 중요하니 통계학 공부도 하면 도움이 되지 않을까 (1과 별개로 조금 더 실제 데이터분석 관점에서)
3. 그런데 주변 nlp 연구 하는 사람들 중 이런 공부 깊이 하시는 분이 별로 없는 것 같다

전반적인 조언을 여쭙고자 글을 올리게 되었습니다. 감사합니다.

카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

댓글 2개

2024.06.19

저도 통계/수리적인 측면에서 nlp 연구하고 있는 박사과정생인데... 아직 성공적인 뭔가를 낸 건 아니어서 조언하긴 어렵네요, 다만 개인적으론 수학과 대학원 과목들보단 통계학과 과목들이 큰 도움이 되었던 것 같습니다.

2024.06.23

"잘 되는 모델 finetuning, 데이터 구축, 모델 구조 아주 약간 수정, 벤치마크 성능 0.x% 올리기.." 가 아닌 논문들을 많이 읽으세요....

댓글쓰기

게시판 목록으로 돌아가기