SCORE-BASED GENERATIVE MODELING THROUGH STOCHASTIC DIFFERENTIAL EQUATIONS
논문을 읽고 있는데, 갑자기 아래 같은 생각이 들더라고.
근데 내가 AI에 관해 엄청 전문적인 지식이 있는건 아닌거 같아 전공자에게 물어보고 싶어서.
AI 초창기 연구는 최적화, 튜닝 같은 공학에 가깝다고 생각했는데,
요즘 내가 읽고 있는 논문은 사실상 수학/통계/물리 같은 자연과학의 느낌이 나더라고.
굳이 분류를 해보자면 '이론 통계' 혹은 '통계 물리 응용'?
퓨샷러닝, 메타학습 등 내가 생각하기엔 여전히 공학 측면의 느낌이 물씬 나는 분야도 있지만..
점점 가면 갈수록 확률론적 사고에 기반을 둔 통계적 모델링에 가까워지는 거 같은데.
이런 학문이 CS로 분류가 되는게 맞는건가?
신경망을 학습하려면 강력한 하드웨어, 능숙한 코딩 능력이 필요해서,
CS에서 기원한게 자연스러워 보이긴하는데 요즘 읽는 논문은 CS 논문으로 보는게 맞나 싶어서.
카카오 계정과 연동하여 게시글에 달린 댓글 알람, 소식등을 빠르게 받아보세요
댓글 5개
쇠약한 피보나치*
2021.06.21
원래 머신러닝은 그런 학문이었고, (컴퓨팅 파워에 기반한 응용 통계학) 딥러닝 시대 이전에는 그래서 통계물리학자들이 같이 다루던 학문이었어요. 해당 논문 같은 경우에는 제대로 이해하고 써먹으려면 학부 이상 수학과 좀 더 나아가려면 물리학 지식이 필요하기도 하고 저자인 Yang Song의 경우에는 제가 알기로는 애초에 칭화대에서 수학/물리 전공한 사람이고.
분야가 성숙해지는 만큼 기반지식의 이해 없이 튜닝에 집중한 사람들이 설 자리가 점점 사라지는 느낌이 들 때가 많음.
쇠약한 피보나치*
2021.06.21
음 근데 다시 생각해보니까 최초 아이디어는 튜닝하다가 나오는 거 같아서 꼭 수학, 물리적 이해가 완벽해야 한다 이건 아닌듯
2021.06.21
위의 쇠약한 피보나치 선생님과 같은 의견입니다, 다만 아직까진 그래도 튜닝으로 충분히 해먹을 수 있을 정도로 파이가 많이 남아 있다는 인상이 강하긴 하네요, 워낙 lower-hanging fruits이 많아서....
아마 글쓴이분께서 최근에 score-based model이나 diffusion probabilistic model을 비롯한 probabilistic generative model 관련 논문들을 보고 계신 것 같은데, 그쪽 패러다임이 특히 좀 제대로 이해하고 쓰려면 Langevin dynamics 같은 통계물리쪽 지식이 필요하긴 합니다. 그래서 유독 그렇게 느끼셨을 여지가 있지 않나 하고 조심스럽게 생각해봅니다
2021.06.21
2021.06.21
2021.06.21