다른분야에서 논문을 쓰는 연구자로써 챗 gpt는 상당히 놀라웠다.

현재 상위저널에 논문을 투고했다 1리젝 1리비 맞고 리젝당해서 코멘트 참고해 다시 투고하기위해 논문을 찾던 중
여기서도 챗봇 얘기가 나오길래, 과연 어느수준으로 도움이 되길래 계속 얘기가 나오는지 궁금해져서 검색해봄


결과는 상당히 놀라웠음. 내가 여러 논문들을 뒤적여가며 정립한 내용을 단순히 please explain the ~~~ growth process라고 치자마자
서술의 차이는 있었지만 틀린 내용 없이 장문으로 기승전결로 나오더라

어쨋든 나는 관련분야를 전공한 입장으로써 알고있는 내용이긴 했고, 특정 분야에서는 잘못된 내용이나 잘 나오지 않을수도 있겠지만
최소한 이번에 내가 검색하고 확인한 답변은 조금만 다듬으면 바로 intro에 부분적으로 때려 박을수도 있겠다 싶은 수준으로 나옴

논문들처럼 citation이 없어 내용전개의 신뢰성을 의심할 수는 있겠지만
이처럼 간단하게 검색하고, 짧은시간만에 정확한 정보를 논리정연하게 얻을 수 있다는 점에서 상당히 놀라운 일이었음
(이거 표절 피하기용으로 꽤 쓸만할지도..?)

다만 출처 및 관련 논문을 알려달라는 질문에는 굉장히 높은 확률로 제대로 작동하지 않음
이에 대한 내 경험을 설명하자면

1. 답변에 대한 출처를 알려달라고 했을때, 제목 [ㅁㅁㅁㅁ] 이고 저자 [김, 나, 박, 이] 이 [A저널] 에 게재했다고 함
2, 제목, 인용 등으로 검색하니 논문이 안나와, 링크 알려줘 하니 [A 링크] 줌. not found 뜸
3. 더 자세한 정보 알려달라고 하니 [doi ~~~) 줌. 작동 안함
4. 다시 링크 알려달라고 하니 [B 링크] 줌. not found거나 다른 논문이 연결됨
5. [ㅁㅁㅁㅁ]논문 있는거 맞아? 라고 물어봤더니 다시 찾아보니 없는 논문이라고 답변함

즉, 교차검증 없이 그냥 던진 인용문헌을 가져다 쓰면 개쪽당할 수 있다는 얘기고
주장하는 얘기 자체가 잘못됐을 가능성을 전혀 배제할 수가 없음.
출처라고 주는게 존재하지도 않는 문헌에 잘못된 오류들인데 어떻게 답변을 신뢰할 수 있겠음?

따라서 약간 "요즘 유튜브" 느낌임. 정보들을 다 모아 요약해서 빠르게 알려주긴 하는데 그 신뢰성이나 출처가 전혀 신뢰되지 않음


++ 평가를 안좋은 쪽으로 좀 수정하겠음
이거 문제가 위 내용에서 연결되는데 단순히 잘못된 정보를 주는것이 아닌 "굉장히 그럴싸하게 포장된" 틀린 정보를 전달함.
연구를 하는 입장에서 모르거나, 애매하게 아는사람이 사용할 시 굉장히 안좋은 버릇이 들 수 있을거같음

특정 분야 또는 추측하는 내용과 관련된 논문을 알려달라고 했을 때 정말 "그럴싸한 제목만 가진" 모든게 틀린 논문을 제안함
몇시간동안 건드려봤는데 "정확한 논문을 제시하는 경우가 단 한번도 없음"

이걸 연구용으로 사용하기엔 현재로써는 안될듯. 단점이 너무 치명적임