카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요
지난 10년간 국제 심리학계를 뒤흔든 재현위기 (reproductibility crisis) 요약 (1편)
2023.03.25
25
21556
3편: https://phdkim.net/board/free/40430
사회심리학분야에서 부터 시작된 이 사건 (위기) 은, 사실 통계를 사용하는 모든 사회과학에 적용되고, 현재는 생물학 에도 전의되는등 과학전반에 의미하는 바가 커서 이곳에 요약해봄.
많은 연구자들이 알듯, 학계에는 publish or perish (논문을 내던가 소멸되던가) 라는 말이 있음. 이에 연구자들은 무슨짓을 해서라도 좋은 논문을 발표하기위해 노력함.
심리학, 특히 사회심리학계에서는 학자의 위상이 그의 기발한 주장 (extraordinary claim) 에 의해 결정되는 경우가 많음. 밀그람실험의 인간복종 (권위있는 인물이 시키면, 상대방이 죽을것 같아도 그 행위를 하게 된다는것을 증명한 실험) 에 관한것이 그 예임 (밀그람의 실험은, 이후 수십번의 재현에 성공함).
이러한 기발한 주장들이 데이터에 의해 증명되는 경우, 탑저널에 실리기가 쉬워지고, 자연히 학자 본인의 위상도 올라감.
이에, 학자들은 기발한 주장을 쏟아내기 시작하는데, 이사람들이 1절에 그치는게 아닌, 2절, 3절, 뇌절을 하기 시작함.
2010년, 한 학자 (Amy Cuddy) 가 권위적인 자세로 서있는 것만으로 테스토스테론이 분비되어 자신감이 생기고, 반대로 복종하는 자세를 취하는것은 코르티졸을 증가시켜 위축되게 만든다는 논문을 1티어 저널에 발표함 (이후, 하버드 교수가 됨).
그와 비슷한 시기에, 통계에 관심이 깊던 프린스턴대학원생 두명 Nelson 과 Simmons 가 만나서 친해짐. 이들은 뭔가 사회심리학계에서는 자꾸 황당한 (그렇지만 증명된) 주장을 계속 해대는것에 대해 의문을 품음. 이후, 이 듀오에 Simonsohn 이라는 젊은 학자까지 가세하게 되어 트리오가됨. 그렇게 그 셋이서 사회심리학을 은밀하게 모니터링 하던중, 2011년 뇌절의 끝판왕 논문이 사회심리학저널중 가장 권위있는 저널에 실림 (Journal of Personality and Social Psychology). 그 주장은 바로… 사람에게 미래를 예측할 수 있는 힘이 있다는, 과학계에서는 있을 수 없는 뇌절이었음 (1000명의 넘는 사람을 대상으로, 9개의 실험을 했는데, 하나도 빠짐없이 통계적 의미가 있었다고 보고함)
그렇게 2011년, 이 모든 crisis 의 시작을 알리는 논문이 이 세명의 젊은 학자로 부터 발표됨. 심리학자들이 쓰는 방법론 (questionable practice) 으로 하면, 그 어떤것도 통계적으로 유의미하게 증명할 수 있다는 주장이었음. 이 주장을 뒷받침하기 위해 비틀즈음악을 들으면 사람이 1년반 더 젊어진다는 말도안되는 주장을, 통계적으로 증명함ㅋㅋ. 데이터를 아예 조작하지 않는 다는 가정하에, 방법은 크게 두가지임.
첫째는, p-hacking : p value 를 0.05 이하로 떨어뜨리기 위해, 데이터 분석을 임의로 수정하는것 (ex., 내 실험에 참여한 성비가 7:3 인데, 성비를 5:5 로 바꾸니, 유의미해짐. 그러면 원래 참여한 사람이 5:5 였던 것처럼 바꿈. 또 원래는 control 하지않기로한 다른 변수들을 control 하면서, p가 유의미해질 covariate 들을 새로 만들어서 control 함).
둘째는, harking : 먼저 데이터를 분석한 이후에 가설을 새움 (데이터중, p<0.05 된 값을 찾아내서, 그것이 원래 가설이었던 것처럼 인트로를 씀).
자, 이제부터가 전쟁임. 이 트리오중 하나인 Simmons 가 한 분야 또는 한 학자의 논문들에 p-hacking 이 얼마나 있는지 알려주는 p-curve 라는 개념을, 사회심리학계의 최대 컨퍼런스에서 2012년에 발표함. 한 원로교수는 너무 빡친 나머지, 이 발표중에 일어나서 Simmons에게 소리를 지르기도 함. 그리고 이 원로학자와 메일로 토론을 하게되는데, Simonsohn (트리오중 다른 하나) 은 메일에 답이 오기도 전에 자신의 블로그에 내용을 올리고, 이학자도 p-hacking 을 한다고 공공연하게 폭로함.
그리고 여기서부터가 찐 전쟁인데, 이때부터 (자칭) "통계적 경찰" 들이 사방에서 나타나기 시작하고, 모든 심리학 컨퍼런스에 참여하며 문제를 제기하기 하고, 어떤이들은 선을 마구 넘기도 하며, 급기야는 p-hacking 을 증명하기 위해 데이터분석을 임의로 조작하는 null-hacking 도 시작됨.
그렇게 사회심리학계는 카오스 그 자체가됨. 그리고 이때가 2013, 2014쯤임…
2편 재현위기 그다음 이야기: https://phdkim.net/board/free/40412
3편 재현위기에 대한 해답: https://phdkim.net/board/free/40430
김박사넷의 새로운 거인, 인공지능 김GPT가 추천하는 게시물로 더 멀리 바라보세요.
-
110
5
8692
-
135
22
8875
김GPT
살인자 집단93
19
12753
김GPT
너무 열심히 살필요 없더라....114
11
22391
김GPT
성취감의 역치7
10
1929
김GPT
심리학과 대학원 랩관련하여0
3
2852
김GPT
한국 교수들 성격 뇌피셜0
5
2086
김GPT
연구하며 경험하게된 씁쓸한 것 있음?8
10
2611
김GPT
논문 4번 리젝33
12
7197
명예의전당
좋은 논문을 쓰기 위해 필요한 역량199
7
37352
명예의전당
나는 포항살이 대만족105
73
43416
명예의전당
저는 연구실 생활이 너무 행복합니다..211
38
52351
아무개랩 게시판에서 핫한 인기글은?
아무개랩 게시판에서 최근 댓글이 많이 달린 글
- 수학과 졸업하고 공대 대학원 다니면서 느낀 재미있는 점
22
- 지거국 몰락
17
- 학부생 논문..?
10
- 유학생 냄새 문제
12
- 한국오지 마요.. 미국 빅테크가 짱입니다
11
🔥 시선집중 핫한 인기글
최근 댓글이 많이 달린 글
- 수학과 졸업하고 공대 대학원 다니면서 느낀 재미있는 점
22
- 지거국 몰락
17
- 학부생 논문..?
10
- 유학생 냄새 문제
12
- 한국오지 마요.. 미국 빅테크가 짱입니다
11
2023.03.25
대댓글 1개
2023.03.25
2023.03.25