카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

가장 핫한 댓글은?

논문 재현성 안되는거 흔해? 데이터조작인가?

넉살좋은 척척박사*

누적 신고가 20개 이상인 사용자입니다.

2023.04.28

26

10110

실험하는데 논문따라해도 50프로도 재현성이안되네...
데이터 조작하는 논문 태반인것같은데 왜 이렇게 재현성 없는 논문이많은거야? 이거 잡기가힘드닌?

카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

댓글 26개

춤추는 비트겐슈타인*

2023.04.28

원래 10개 중에 1개 나오면 논문 쓰는 사람들 많아. 유학중에 그렇게 해서 서울대 교수된 사람 2명이나 알고 있음.

대댓글 6개

넉살좋은 척척박사작성자*

2023.04.28

Nature Science Cell 이런거는 데이터조작같으면 철회하고한다던데, IF 10이하는 그냥 그런것도없나보네

IF : 5

2023.04.28

데이터 조작이랑 재현 안되는건 다르지

2023.04.29

여러 실험샘플중 좋은 데이터를 선정해서 쓰는건.. 흔한일이죠. 그게 거짓말이나 데이터 조작은 아니지만, 연구자로써 이래도될지 현타가 오는것도 사실같습니다.
워낙 손많이 타는 실험도 많고, 환경에 민감하게 반응하는것도 많아서.. 저희도 금손인 사람이 상당히 중요합니다 ㅎㅎ 대가랩에서는 그래서 태크니션들도 있고요.

2023.04.29

첨언하면 중국인이 워낙 많아서 그런사람들이 눈에띄는건지, 문화적 차이가 있는지 몰라도, 중국인들은 데이터 선별이 아니라 조작하는 사람이 많은건.. 누구나 알고있을겁니다. 그래서 낮은저널에 중국인 그룹이면.. 저는 개인적으로는 의심하면서 보기는 합니다. 물론 정직하고 성실하고 잘하는 중국인 그룹도 많고, 반대로 한국인그룹이든 하다못해 대가랩 출신중에서도 대이터 조작하는 사람들도 있겠죠.

2023.04.29

썰좀 풀어줘
직설적인 아담 스미스*

2023.05.01

여러 데이터중에 좋은 데이터를 선별하는거 그게 바로 조작임 ㅋㅋㅋㅋ 의도적이면 쓰레기짓이고 의도적이지 않더라도 잘못된 행동이고. 뭐 대표이미지같은걸로 예쁘게 보여주는거라면 모를까 데이터 상에는 무조건 모든 데이터가 다 들어가는게 원칙이고 아웃라이어 골라내려면 명확히 명시된 기준으로 골라내야됨.

IF : 1

2023.04.28

실험자 자신도 모르는 bias가 있는데 그걸 캐치를 못해서(좋게 포장하면 노하우) 논문에 기술을 못한 경우일 수도 있고, 10개중에 운좋게 몇개 됐는데 논문썼을 수도 있고... dry한 연구랑 다르게 wet 연구는 만약에 기술된 performance가 안나오면 뭐 때문에 안나오는지 솔직히 캐치하기 어렵습니다.

대댓글 1개

IF : 1

2023.04.28

좀 극단적인 예시로, 독일 연구실에서 10년 연구한거 노하우 응축시켜서 논문 쓴거를 보고 따라해보려고 했는데 잘 안됐습니다. 어떻게 보면 남들 몇 년 연구한거 종이 몇 쪽 보고 따라하는거 자체가 어려운 일이죠. 그런 만큼 논문 저자들이 최대한 자세히 기술해주고 피드백도 적극적으로 해줘야 한다고 생각은 하는데 내가 다한 최선이 상대방의 기준에 미치지 않는 경우가 많으니...

2023.04.28

reproducibility/replicability 없는 것은, 리서치가 아니지. 구라라고 봐야지. "내가 그때 할때는 되던데?" 이런 개소리하는 인간들 다 사라져야함.
배고픈 임마누엘 칸트*

2023.04.28

근데 의심하는건 좋은데 본인들이 제대로 했는지 확인해야함. 일단 실험 데이터도 사람손 타고 실험장비, 재료, 논문에 나온 그대로 했는지 여부 등등 다양하게 고려해야함. 실제로 미국 서부에서는 실험 결과가 나왔는데 그걸 그대로 미국 동부 실험실에서 했는데(심지어 실험 수행자들도 똑같았음. 실험 수행자가 서부에서 동부로 이동해서 했음) 결과가 안나왔음. 문제는 동부하고 서부 대기질이 달라서 실험결과가 달라진거였음. 또 알래스카에선 되던 실험이 미국 텍사스에선 안되길래 알아보니 실온이 달라서 그런거였음....

결론 논문 결과에 대해 의심하는건 좋으나 의심하는 동시에 본인도 실험의 모든 사항이 제대로 수행됬는지 확인해야한다.

2023.04.28

니가 모르는 뭔가가 있는거야. 그게 논문에 안적혀 있는거고
그게 물질의 순도가 될 수도 있는거고, 물질을 만드는 과정에 들어간 뭔가가 될 수도 있는거고
그 모든걸 논문에 적을 수는 없어서 이런 문제가 발생되는듯

대댓글 2개

점잖은 에이다 러브레이스*

2023.04.29

논문을 제대로 못쓰고 리뷰를 제대로 안한거라고 봐야지

2023.04.29

예 하나만 들어볼게 ㅋㅋ 너 혹시 유리 쓰는 실험하니?
슬기로운 그레고어 멘델*

2023.04.29

10에 9는 재현자의 실력 부족 (장비든 손재주든 뭐든)

2023.04.29

나 같은 경우는 겔 가교하는건데
이온가교결합제 필요하다고 주장하는데
그거 빼니까 잘만되드라 ㅋㅋㅋ. 성능도 더 잘나옴ㅋㅋㅋㅋ 논문 개 구라라는거 알았음ㅋㄱㅋ

2023.04.29

저도 교반시간 2배로 늘리니까 잘되고 그러든데...

2023.04.29

ML쪽은 개노답인 코드공유는 죽어도 안하려고 하더라, 애시당초 그런논문 왜 억셉하는건지도 모르겠음

대댓글 1개

2023.11.01

소설가들이 왜 소설을 쓰는지 아냐?
쓸모 없어서다. 소설가가 소설을 쓰는 진정한 이유는 쓸모 없기 때문이다. 쓸모 없기 때문에 그 자체로 의미가 있는거다.
과학도 마찬가지다. 구색만 맞추고 사이언스 픽션 같은 논문을 싸질러서 문학계에 큰 획을 긋고 싶다하면 코드를 공개할 굳이 이유는 없다.
https://phdkim.net/board/free/32006

2023.04.29

10개 중에 1개 재현되면 다행인 수준
그따구로 논문쓰면 일주일에 한개씩 쓸것 같은데
저널측에서 실험자 다 모아놓고 재현안되면 학위 박탈시켜야함 리얼루;;
능글맞은 레오나르도 다빈치*

2023.04.30

안정적으로 재현 안되는 논문이 있는 것도 사실이고
구현하는 사람이 재현을 제대로 못하는 경우가 있는 것도 사실임 (논문에 모든 detail을 쏟아 부을 수는 없는 거고 이 부분은 재현하는 사람의 능력도 중요).

상식적으로 이게 하나의 답이 있을 것 같나?
그리고 리뷰어들이 논문을 다 재현해보고 결정을 내리는 게 상직적으로 가능할거라고 생각하나?

2023.04.30

ㅇㅇ흔한거.
환경 시약 장비 등등 다르고 심지어 하는 사람의 무의식적 순서나 습관에도 영향을 받음.

2023.04.30

ㅇㅇ 은근히 큰 문제는

같은 물질이라도 서플라이어가 다르면 결과가 재현안되는 경우 허다하고

심지어 같은 서플라이어라도 그 batch의 특성이 다를 수도 있음.

손재주도 많이 타고..

2023.04.30

컴퓨터로 돌리는거 아니면 사실 재현성이 50프로면 엄청나게 높은거죠...

2023.04.30


방법차이 + 해당 셀의 분리주 특이성까지 고려하면
방법은 참고용인게 맞는거 같습니다

2023.04.30

진짜 흔한걸 넘어 졸라 많아요. 이게 뭐 논문 뿐만 아니라 국책 과제도 이X랄로 해서 내고 논문쓰고 또 과제 따고 이러는데. 이건 우리나라 성과주의가 낳은 악습이고 몇십년이 지나도 바뀌지 않을 잔재가 될 것 입니다. 그냥 그러려니 하시고 본인 연구에 매진하시고 정직하게 쓰시면 됩니다.

훗날 이러한 선택을 강요받거나 자발적으로 선택하는 날이 한 번은 찾아옵니다. 그때 어떤 선택을 할지는 본인 몫이죠.

댓글쓰기

게시판 목록으로 돌아가기

김박사넷의 새로운 거인, 인공지능 김GPT가 추천하는 게시물로 더 멀리 바라보세요.

자유 게시판(아무개랩)에서 핫한 인기글은?

자유 게시판(아무개랩)에서 최근 댓글이 많이 달린 글

🔥 시선집중 핫한 인기글

최근 댓글이 많이 달린 글