카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요
가장 핫한 댓글은?
- 난 저런 학생이 없길 바랍니다. 자기 스승을 교수라고 공공연히 부르고, 스승을 친구 먹었다기라는 글을 쓰는 것을 보고 기가 막힙니다. 그 교수님 참 인복도 없다라는 생각이 듭니다. 글쓴이 공부를 하기 전에 인간이 먼저 되길 바랍니다.
교수랑 친구먹었습니다.
53
- 뭐 이런 사람이 다있지..인생 그렇게 살지 마세요
몰래 타대학 지원했는데 들켰습니다... 어떡하죠
37
- 답글은 진짜 어지럽다 못해 혼절하겠네
몰래 타대학 지원했는데 들켰습니다... 어떡하죠
29
- "몰래" 라는 단어를 모르는듯 이걸 하나하나 설명해줘야된다니 후..
1. 님이 몰래 ist 합격된 경우
그 뒤로 ist가서 대학원 생활이 순탄할것같음? 합격하면 그제와서 yk 교수한테 바이바이 할라고?
과연 그 교수가 가만히 있을것 같음?
2. 님이 ist 불합격한경우
이것도 마찬가지 님이 불합격하고 yk를 계속 그냥 입닥치고 다니면 다 만사 OK 되는줄알았음?
자기가 가르치는 학생이 자기도 모르게 다른 연구실에 컨택을했는데 어떤 교수가 좋다고 계속 데리고 있어줌?
3. 사전에 무슨말을 하긴 지금 위에 써놓은말을 그대로 하면되지 무슨말 할지는 걱정되고 몰래해서 들킬거는 생각못함?
결론: 불합격이든 합격이든 "몰래"했다는 행위 자체때문에 님은 앞으로 대학원 생활 힘듬
몰래 타대학 지원했는데 들켰습니다... 어떡하죠
30
- 이게 옳은 것인지는 모르지만, 학생-교수 사이 관계는 연애 하는 것과 비슷함.
글쓴님은 지금 여자친구 있는 상황에서 소개팅 하고 다닌거임.
소개팅이 잘 되었으면 지금 여자친구 버리려고 한거고.
소개팅 보러 가서 지금 여친 있는데 여친은 ~~해서 별로라서 새 여친 만들고 싶다고 한거임. (차라리 여친 없다고 하든가)
소개팅녀는 님 현 여친이랑 아는 사이라서 뭔 일이냐고 물어본거고
이게 민사&형사 대상이 되는지는 모르겠네...
reference check야 워낙 일반적이라서... 지금 현 지도교수는 잘못이 없고 (정보를 받기만 했으니) ist 교수 상대로 형사 또는 민사 (손해배상?) 걸어야 할 거 같은데 승소 가능성은 변호사랑 상담해보는게 좋겠음
몰래 타대학 지원했는데 들켰습니다... 어떡하죠
28
지난 10년간 국제 심리학계를 뒤흔든 재현위기 (reproducibility crisis) 요약 (2편)
2023.03.26
5
4151

3편: https://phdkim.net/board/free/40430
역시 김박사넷 사용자 분들이 학식수준이 높아서 그런지 이런글에도 관심을 가져 주시네요. 2편부터는 보다 테크니컬한 서술들이 포함되므로, 질문이 있다면 댓글로 남겨주세요 (답을 할 수 있을지는 모르지만…). 그럼 다음 이야기 마저 하겠습니다.
자칭 과학 경찰관들은 블로그를 만들며, 문제가 있어보이는 결과들을 마구잡이로 잡아내기 시작함. 앞서 말한 삼총사도, 그들의 블로그 DATACOLADA 에 여러 논문들의 비평과 문제점들을 싣지만, 원작자의 동의를 구하고, 해명도 들어보는등 최소한의 선은 지킴. 그렇지만 모든 블로그들이 그렇게 하진 않음. 블로거 (보통은 과학자) 본인이 스스로 특정 결론이 틀렸다고 생각하면 올리는데, 문제는 블로그에 올라간 내용은 피어리뷰가 되지 않아 그자체로 과학적이지 않다는 것. 그럼에도 학자들은 본인들이 타겟이 될까 두려워서 함부로 나서진 못했음.
몇몇 원로학자들이 이 문제점에 대해 지적을 했는데, 그들도 바로 실험의 대상에 올라감 (다행히 지적을 했던 학자들은, 실험결과 대부분 방법론에 큰 문제가 없다고 나옴)
2015년, 1편에 언급됐던 하버드의 Cuddy 교수가 참여한 논문 (2010; 권위적인 자세를 취하는것만으로 자신감이 증가한다는 주장) 을 재현하는것이 불가능하다는 논문이 출판됨 (*재현 할 수 없다는 것은, 같은 방법론을 썼을때, 같은 결과가 도출이 안된다는 말). 얼마 지나지 않아, 이 2010년 논문의 1저자였던 Carney 교수는, 본인도 이 논문의 결론을 믿지 않는다는 고해성사를 해버림.
그렇게 Cuddy 는 하버드에서 테뉴어를 받지 못하고, 학계에서 어느순간 사라짐 (다른분야에서 활동).
비슷한 시기에, questionable research practice 를 넘어, 아예 데이터를 조작하고 걸리는 일도 발생함. 이것들은 심리학에서 일어나는 crisis 를 관심있게 지켜보던 통계학자들에 의해 대부분 적발됨 (이분들은, 내용은 안보고 숫자만 보고 판단하심ㅋㅋ).
Result 부분의 표를 집중적으로 분석하면, 뭐가 틀렸는지 대강 알 수 있음. 설명하면 긴데, 핵심은 대충 이런거임. x와 같은 숫자들이 여러번 나올 확률을 통계적으로 계산, 그 확률이 말도 안되게 작으면 (ex., 0,001%) 그것은 조작됐을 확률이 높음.
몇가지 예를 들자면, 1)완전히 무작위여야 하는 데이터들 에서 일정한 패턴이 발견됨 (학자가 임의로 숫자를 만든것. 인간의 뇌안에선 완전한 무작위가 불가능하기에). 2)평균 또는 표준편차들이 너무 서로 비슷함. 3)통계결과와 연결된 p-value가 잘못 보고됨. F=3,48 일때, p=0,063 인데, p<0,001 이라고 써있음.
2011년에 발표된 논문 (Bakker & Wicherts, 2011) 에 의하면, 4077개의 심리학 논문중 통계적 에러가 1개이상 발견된 것이 54%, 그 에러가 논문의 방향성을 전환할 만큼 컸던것이 12%에 육박함.
그리고 Science 에 기제된 2015년 리포트에서는, 선택된 100개의 심리학 논문중 36개만이 재현에 성공했다고 보고함.
이때부터 학계에서는 방법론의 투명성 (transparency) 에대한 고찰이 시작됨.
원리는 간단함. Literature review 를 통해서 가설을 만들고, 그 가설을 증명할 방법론을 세운다음 (research protocol), 설정했던 그대로 분석을 실시해야함. 순서가 바뀌는 순간, 그것은 제대로 된 p 가 아니고, p-hack 된 p임.
이 모든 단계가 완벽히 투명하게 진행되어야 한다는 것. 이것이 open science (과정, 데이터, 결론 모두의 투명성 및 공유) 의 시작임.
하지만, 학자들이 지금까지 사기를 칠 의도로 p-hacking 을 했다고는 볼 수 없음. 실제로 그들은 학생때부터 p-hacking 을 하라고 배워왔음 (데이터 분석후, 결과가 무의미하게 나오면 이것도 해보고 저것도 해봐서 유의미한 결과가 나올때까지 돌려보라는 선배학자들의 가르침). 이것이 재현에 끼치는 영향을 이해하지 못한 것임.
왜 애초에 이런 관행이 생겼는가.
첫째는, 당연히 publish or perish 논리에 따라, 반드시 논문을 발표해야 하기 때문.
둘째는, 메이저 저널에서 오롯이 통계적으로 유의미한 결과만 accept 한다는 것 (통계적 무의미는, 과학적으론 유의미할 수 있는데도 불구하고).
다행히 (대부분의) 학자들은 근본적으로 선한 마음으로 진실을 추구함. 이러한 잘못을 인지하고,과거를 되돌아 보며, 미래의 "옳은" practice 에 대해 생각하기 시작함. 그리고 이러한 문제를 해결할 수 있는 해결책들이 차례로 제시됨. 개인적으로 과학계와 유사과학계의 차이점은 바로 이것이 아닐까 생각됨.
일단 심리학 이야기는 여기서 끝이고, 자연과학을 포함한 과학의 장 (community) 전반에서 이 open science 에 대한 결론 (또는 진행사항)이 무엇인지 궁금하거나, 혹시 참고하여 적용하실 분들을 위해 3편 재현위기에 대한 해답 편도 조만간 올림.
*참고설명: 왜 리서치내의 순서가 중요한가? 다시 말해, 인트로와 방법론을 먼져 쓰는것이 왜 재현에 영향을 미치는가? (통계학에 아직 익숙하지 않으신 분들을 위한 추가설명)
사회과학에서의 통계는 다 확률임. P-value (p<0.05) 가 의미하는 바는, 나의 결과가 우연이 아닌, 필연으로 나왔을 확률이 95퍼센트 이상이라는 뜻임. 다시말해, 내가 20개의 분석을 돌리면 하나는 우연히 통계적으로 의미있는 값이 나온다는 것.
가설을 먼저 새우고, 그 가설을 공격하면, 한개만 돌리기때매 p<0.05 가 통계적 유의미 (95%)가 맞음.
그런데 가설이 증명될때까지 돌려보면 (예를 들어 30번), 0.95의 30승이 나옴. 즉 내 결과중 모두가 무의미하게 나올 확률은 0,95의 30승임 (다시말해, 오히려 유의미한 결과가 안나올 확률이 사실상 없어짐).
그렇기에, Confirmatory study (리서치를 처음부터 감독하고, 데이터 베이스를 만듬) 에서는 가설을 새우고, 방법론을 만들고 분석을 해야함. 그럼 첫 가설은 어디서 나오는가?
Exploratory study (confirmatory study 에서 만든 데이터 베이스에서 분석을 시작함) 에서는 가설없이 여러 분석을 해본다음, p<0.05 이하의 값을 찾아냄. 그다음 그것이 기존 이론과 어느정도 부합하면 가설로서 "suggest" 함. 그럼 그 가설이 다음 confirmatory study 의 배경이 되는 것. 그렇기에 이 경우, exploratory study 라고 반드시 써줘야함. 두가지 연구가 완전히 다른 방법론을 사용하기 때문임.
김박사넷 추천 PICK! 김박사넷AI가 추천하는 게시글도 읽어보세요!
-
17
34
6126
-
76
71
61176
BEST
SPK 입시 정리해봄 (논란종결)
25
29
12545
BEST
학부 상관없다는 사람 특32
22
5480
BEST
나는 뽕으로 대학원생활 버티는 듯37
26
7620
BEST
조지아텍이 cs로 유명한가요?20
41
5079
명예의전당
우리 교수님 솔직히 너무 좋음188
40
57218
-
223
55
26069
명예의전당
미국빅테크 vs 인서울교수15
77
19128
-
124
35
53107
-
130
10
26972
-
118
18
46458
아무개랩 게시판에서 핫한 인기글은?
아무개랩 게시판에서 최근 댓글이 많이 달린 글
🔥 시선집중 핫한 인기글
최근 댓글이 많이 달린 글
김박사넷에서 드리는 유학준비 스타터팩 신청하기
517
- 머신러닝 전공도 아닌데 머신러닝 관련 논문 쓰게 하려는 교수 어떻게 생각하나요?
25
- 몰래 타대학 지원했는데 들켰습니다... 어떡하죠
64
- 스마트하게 미국 경력 쌓고 한국 교수 되기
25
- 나는 어쩌다 미국의 좋소 대학 교수가 되었나
22

앗! 저의 실수!
게시글 내용과 다른 태그가 매칭되어 있나요?
알려주시면 반영해드릴게요!
2023.03.26
대댓글 2개
2023.03.26
2023.04.09