심리학계 재현위기의 근황, 시사점 및 대응방법 (심리학계 재현위기 3편)

1편: https://phdkim.net/board/free/40393
2편: https://phdkim.net/board/free/40412

이 일련의 과정을 crisis 로 볼것인가, 심리학의 renaissance 로 볼것인가.

학자들끼리의 이성적 토론을 넘어, 감정적으로 충돌하고, 서로의 연구를 폭로하였으며 수십개의 발표된 논문이 철회되기도 했음. 몇몇 학자들은 그결과로 신임을 잃어서 커리어에 큰 타격을 입었고, (그들중엔, 동료의 데이터를 믿고 co-author 으로서 참여했다가 피해를 본 학자들도 적지않음) 테뉴어 심사에서 탈락하거나 심하게는 직장을 잃음.

하지만 이러한 과정으로 새로운 관행이 만들어졌고, 처음 이 crisis 의 스타트를 끊은 트리오는 2018년 출판된 "Psychology’s Renaissance" 라는 논문을 통해 다음과 같은 말을 남김: "만약 심리학자들이 7년동안 동면에 빠졌다가 오늘날 일어났다면, 본인들의 분야를 알아보지 조차 못했을 것이다". 그만큼 그사이 학계에는 혁명적 변화가 있었음.

가끔은 너무 잔인하게 흘러간 면이 있지만, 이 새로운 관행은 결국 주류가 되기 시작함. 그리고 1,2편에서는 심리학분야를 중점으로 다뤘지만, open science 는 모든 과학의 대체적 흐름이기도 했음.
대학에서도 open science 에 대해 모르는 젊은 학자들은 교수로 채용을 안하기 시작하는가 하면, 미국의 일부 명문대 는 기존의 publish or perish 정신의 H-index 가 아닌, R-index (reproducibility index) 를 포함한 open science 의 새로운 기준에 부합하지 않으면 테뉴어를 안주기 시작함 (대표적으로 John Ioannidis 교수의 영향을 받은 스탠퍼드대학교. 그는, 여러과를 돌아다니며, 동료학자들을 설득, 스탠퍼드대학 전체에 이러한 문화를 뿌리내리는데 기여함). 또한 메이저 연구 제단들도 프로젝트에 open science 에 관한 내용을 proposal 에 포함시키게 하는 조항을 추가하기도함.

이렇게 주류의 판이 점점 바뀌고 있는데, 아직 이를 행하는 학자는 약 40% 정도임. 일부는 이에 동의하지 않아서 거부하기도 하고, 나머지는 이런일이 일어나고 있는지도 모름.

혹시나 관심있을 사람들을 위해 이 흐름에 동참하기 위한 몇가지 research practice 들을 적어봄 (이 방법들도 완벽한건 아니고, 여러 비판이 있었음). 이들을 언급한 다는것은, 리뷰어에게 내가 open science 에 참여하고 있다는 것을 알려줌 (심리학은 확실한데, 솔직히 어느 분야까지 해당되는지는 잘 모르겠음…). 사용여부에 대한 판단은 각자가…

A. 내가 읽는 논문의 (또는 나의 논문의) validity 를 어떻게 확인할 것인가?
-시간을 되돌려 다시 2015년, Loss of confidence project 가 실행됨. 이는, 학자들이 자신이 썼던 논문중에, 스스로 생각하기에 reproducibility 에 문제가 있다고 생각하는 논문을 하나씩 추가하게끔 함 (뒤에 학자들이 그 논문을 계속 참고하여 새로운 잘못된 가설을 생산하지 못하게끔. Carney 교수가 본인의 논문결과가 잘못됐다는 것을 인정한것처럼…). 그렇게 참고자료로 쓰여지지 않도록 권고하는 논문 리스트가 만들어짐.

-2017년에 두학자가 GRIM 이라는 도구를 제안함. 이것은 논문이 리커트 척도를 사용했을때, 보고한 숫자들이 모두 수학적으로 말이 되는지 체크해줌 (말이 안되게 나오는 숫자들도 있음. 예를 들어 x 숫자의 참여자를 리커트 척도 7로 실험할때, 절대 나올수 없는 평균값이 보고되는 경우).

-P-curve (http://www.p-curve.com/app4/). 1편에서 잠깐 언급되었던 개념인데, 간단히 설명하자면, 한분야에서 p-hacking 이 아예 없다고 가정한다면, p≈0.05 와, p≈0.04, p≈0.03 등이 모두 비슷하게 분배되어있어야함. 근데 과학논문 하나하나를 체크해보면, 비정상적으로 약 0.05 인 p가 많음 (또는 분야에 따라 0.01 이거나 0.001). 이것은 이분야의 과학자들이 p-hacking 을 하고있다는 증거가됨. 이것을 한 학자로 본다면, 그의 논문 수십개중, 0.05 에 가까이있는 p 가 비정상적으로 많으면, p-hacking 을 했다는 의심을 받을 수 있음. (그 결과인지는 모르겠지만, 요즘 출판되는 논문에서는 p<0.05 로 쓰지않고, p=0.034 와 같이 정확한 값을 보고함).

참고로, 2015년 논문에 의하면, p-hacking 률이 가장 높은 세 분야는, biological sciences, medical and health sciences, psychology and cognitives sciences 로 나타남 (논문제목: The Extent and Consequences of P-Hacking in Science). 이는, 이 모든 문제가 비단 심리학계에만 적용이 되는것이 아니라는 반증이기도 함.

-그외 통계값을 계산 또는 확인하는 방법 (이미 출판된 논문으로도 확인이 가능하지만, 본인논문의 값이 맞는지 publish 전에 확인하는 용도로도 씀).
https://www.socscistatistics.com/tests/

B. 통계적 방법의 변화
1)P-value 외에도, 효과크기 (effect size) 를 보고할것
그룹 사이의 차이가 유의미하냐, 무의미하냐 = p-value.
그 차이가 얼마나 크냐, 작냐 = effect size.
이 방식은, 이미 너무 많은 사람들이 쓰고 있고, 잘 알려져 있기때문에 더이상의 설명은 패스.

2)Frequentist statistics (p-value) 을 넘어선, bayesian statistics 의 도입.
Bayesian statistics 는 여러 사용법이 있기는 한데, 그중 가장 쉽게 이해할 수 있는거는, Bayes factor임.
이 펙터는, 통계적으로 무의미한 결과가 나온다면, 왜 무의미하게 나왔는지 알려줌. 즉, 이것이 참여자가 적어서인지, 아니면 관계성이 없어서인지. 또한, 만약 참여자가 적어서라면, 그것에 대한 증거가 얼만큼 solid 한지.
그렇기에, 통계적으로 무의미한 결과도 publish 될 수 있음.


C. 어떻게 내 방법론에 문제가 없다는 것을 증명할 것인가
-뭐든 투명하게, 또 순서에 맞게 연구를 진행하는것이 기본 태도인데, 그것을 증명하는것도 못지않게 중요함.

1)Preregistration
이것은, 아직 자료를 모으기도 전에 research protocol 을 인터넷의 어느곳에 올려놓고 그에 맞는 DOI 를 부여받음으로서, 자료를 수집한후 그 어떤것도 변한것이 없음을 증명함. 부여받은 DOI 는, 조금이라도 수정이 되면 새로 부여받아야함. 다시말해, 한번 저장해서 받은 DOI 번호안에 있는 컨텐츠는 수정이안됨 (수정을 하려면 새로운 DOI 부여). 따라서 수정하려면, x의 이유로 처음 이것을 쓸때 y라는 covariate 를 추가하는것을 잊어버렸고, 이에, y라는 변수를 추가하여 수정함. 이라는 노트와 함께 새로운 DOI 를 부여받으면 됨. (다시한번 강조하는 투명함의 중요성…).

보통 research protocol 은, 윤리위원회로 부터 OK 싸인을 받을때 제출한 내용 그대로 올리기도 하고, Intro 와 Method 파트를 다 쓰고, 그것을 그대로 저장하기도함. 자료를 수집한 이후에, 미리 써놓은 인트로와 방법파트를 그대로 복사붙여놓기 해서 논문에 넣으면됨 (참고로 남들이 출판되기 전에 볼 수 없게 락을 걸어놓아야함. 락을 걸어놓으면, DOI 는 생성이 되지만, 남들은 그사이 볼 수가 없음).

이것을 올리는 사이트는 두곳이 있는데, AsPredicted (http://AsPredicted.org) 과 Open Science Foundation (OSF)(http://osf.io) 이 있는데, 후자를 더 많이 쓰는것으로 알고있음. 이후, DOI 는 출판될 논문어딘가에 집어넣으면 됨 (본 논문의 .


2)데이터의 공개
현재는, 본인이 수집한 데이터를 모두, 또는 publish 된 데이터만, 공개하는게 트렌드임. 일단 공개하기전 이름 또는 그외 그 어떠한 흔적을 남기는 정보를 삭제하고, 완전히 무기명으로 만들어야함. 이 데이터들은, 리뷰어나 에디터, 또는 다른 학자들에 의해 검증되고 또 새로운 가설을 만드는데 사용됨 (물론, 여러 ethical 문제가 제기되기도 하고, 저작권과 관련한 문제들이 나오지만, 현재의 open science 트렌드는 그럼).

Preregistration 와 같은 사이트에 올려서 데이터에 대한 DOI 를 또하나 받거나, 본인의 웹사이트에 올리기도함 (이때 학자마자, 연구에 사용된 Variables 만 공개를 하기도 하고, 데이터 베이스 전체를 공개하기도함. 전자가 더 많은 것으로 알고있음).

3)누구나 공짜로 열람이 가능한, Open access journal 에 투고
이것도 말이 많은 practice 인데, 이곳에 투고하는것이 옳다고 생각하는 학자들이 점점 많아지고 있음 (메이저 저널들은, 내가 쓴 논문을 내가 돈내고 다운받아야 하는 웃픈상황이 만들어지기도함). 문제는, 이중 대부분은 본인논문이 accept 되면, 학자 본인이 돈을 몇백만원 내야함. 대신 다운은 누구나 무료.



마치는말: 워낙 방대한 내용이라 모두 다 알지도 못할 뿐더러, 그나마 아는것조차도 다 다루지 못함. 메타사이언스 (과학 결과의 과학적 분석) 분야를 집중적으로 공부한 사람이 아니라, 그저 한 저널리스트가 쓴 학회의 흐름정도로 받아드려주셨으면 함. 실제로 쓰면서, 이걸 내가 이곳에 쓰는게 맞나 싶은 생각도 중간중간 들었음. 이런게 있었구나 하는 참고 용으로만 봐주시면 감사 하겠음. 혹시 직접 적용하게 된다면, 더 많은 자료를 확인하고 하시길.


*이상 모든 내용은 한 대학원 수업에서 다룬 내용을 토대로 쓴 것이고, 배운 내용을 한국의 연구자들과 공유하고 싶은 마음에 작성되었다는 점을 알려드립니다.