인공지능(자연어처리) 대학원 진학에 관심이 생겨, 관련 랩실에 학부연구생으로 지원했는데요.
교수님께서 프레임워크을 안쓰고 기본기 기르는 걸 중요시여기어, <밑바닥부터 딥러닝 1>이라는 책을 읽고, 2주(최대 3주) 내로 20분가량의 PT를 준비해서 다시 연락달라고 하시네요. 당연히 코드를 그대로 따라치는 건 의미없고, 공부하면서 느낀 실험/경험 등을 중점적으로 준비하면 된다고 하십니다.
그런데 책을 다 읽었음에도, 책 내에 나와있는 기법들(초기화, 활성화함수 등)을 바꿔가면서 결과물 비교하기 정도밖에 실험할 거리가 생각이 안나서요. 또 선술했듯 프레임워크를 사용하는 걸 지양하시기에 GPU가속화 등도 어려워, 직접 모델을 구현하거나 딥러닝으로 학습시키는 데에도 한계가 있을 것 같더라구요. 차라리 프레임워크 사용 제한이 없으면 아예 최신논문 위주로 간단하게 모델이라도 구현해볼텐데요.
관련해서 1. 이런 식으로 학부연구생 전에 PT를 진행하는 경우가 많은지 궁금합니다. 2. 위와 같은 경우, PT를 어떤 식으로 준비하면 될지 조언해주시면 감사하겠습니다!!
카카오 계정과 연동하여 게시글에 달린 댓글 알람, 소식등을 빠르게 받아보세요
댓글 10개
2023.08.28
K대 이신가요?
대댓글 3개
2023.08.28
넵 맞습니다.
2023.08.29
어딘지 알 것 같네요. 제가 거기 그렇게 해서 통과하기는 했었습니다. 다만, 제가 S대를 붙어버려서 가지는 못했지만요.. 그냥 부담 없이 준비해가시면 되요. 저는 별도의 요구 사항이 없었어서 그냥 교수님께서 시킨 부분만 준비해갔었습니다. 어렵지도 않았고요. 제가 아는 분이 맞으시다면, 교수님께서 기본을 되게 중요시 하셔서 책에 나와있는 모든 기본 내용들은 다 이해한다는 식으로만 준비하셔도 충분합니다
2023.08.30
덕분에 걱정이 많이 덜었습니다. 정말 감사합니다!!!
IF : 2
2023.08.28
밑바닥부터 시작하는 딥러닝 1이 다루는 범위가 대략 퍼셉트론과 같은 기초 알고리즘부터 CNN까지를 다루죠. 맨 뒤에 있는 ResNet 등의 알고리즘을 바닥부터 구현해보거나 해당 논문에서 파생된 현재 SOTA 모델의 공개된 코드를 읽고 실행해본다던지, 방법은 많을 것 같네요.
대댓글 1개
2023.08.28
본문 수정했습니다. 자연어처리 관련 랩실이고, 프레임워크 사용은 어려워 sota 모델 구현은 조금 어려울 것 같기도 하네요. 다만 ResNet 정도의 구현은 해볼 수 있을 것 같네요. 감사합니다!!
2023.08.28
누적 신고가 20개 이상인 사용자입니다.
3주를 주신 이유가 잇겟죵?
2023.08.29
수업 과제하는 것도 아니고 있는 모델 구현이나 학습 시켜봤다 이런 건 별로 의미 없을 듯. 딥러닝 아키텍쳐 레벨에서 최신 자연어 처리 모델들 어떻게 변경시켰는지, 관심있거나 흥미로운 분야는 뭔지 그런 위주로 요약해서 가면 될 듯. 어차피 딥러닝 아키텍처 기본 설명하는 책이니깐 근데 애매한게 요즘 자연어 쪽은 프롬프트 튜닝 같은 거 위주라 보통 있는 LLM 모델 그대로 쓰지 않나 뭐 그래도 랩실 연구분야 보면서 아키텍쳐 쪽으로 어떻게 잘 찾아보면 하나쯤은 얻어걸릴듯
대댓글 1개
2023.08.29
프레임워크 안 쓴다는게 모델 기본 이해 없이 그냥 pretrained model 가져다 쓰는게 별로라는거지 numpy 부터 처음부터 구현하는게 낫다는 소리는 아닐 거임
2023.08.28
대댓글 3개
2023.08.28
2023.08.29
2023.08.30
2023.08.28
대댓글 1개
2023.08.28
2023.08.28
2023.08.29
대댓글 1개
2023.08.29
2024.01.03