카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

가장 핫한 댓글은?

Ai 논문 쓸 때 제일 잘 나온걸로 올려도 되나요?

2025.05.03

18

3543

질문이 좀 이상하긴 한데, 상황 설명을 해보자면,

Swin-T에 어떤 방식 적용해서 성능을 평가했는데 원래 결과가 81.2였구요, 제가 적용한 결과가 81.4가 나왔습니다.

근데 Swin 모델 에포크가 300인데 마지막 부분에서 와리가리 하는 경향이 있어서, 300 에포크 최종 결과는 81.4인데 300 에포크 도중 max accuracy는 297~8 에포크에서 81.5가 나온 상황입니다. 이런 상황에서 논문 표에 올릴 때 81.5가 나왔다고 올려도 되는걸까요?

카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

댓글 18개

비관적인 코페르니쿠스*

2025.05.03

BEST Ai는..그냥 제일잘나온거
다들그렇게쓰고
아무도 숫자에 책임안짐
재현안되는코드도 수두룩

대댓글 1개

2025.05.03

?? 다들 그렇게 쓰진 않아요...

2025.05.03

우린 이걸 논문 논란 중에 체리피킹이라고 부르기로 했어요

2025.05.03

지도교수님이 성능은 제일 잘 나온걸로 쓰라 하십디까?

2025.05.03

298부터 오버피팅이 생긴거니까 오버피팅 이전에서 학습끊은게 베스트가되죠

대댓글 2개

2025.05.04

이게 맞는데 왜 비추가..
댓글들이 ml에 대해 하나도 모르는 것 같은데..
총 epoch 후 에러가 왜 중요함
가장 낮은 값을 써야지 당연히

2025.05.04

저 error가 test error인지 validation error인지가 중요합니다. 총 epoch 후 에러가 300 에폭 이후에 추가 학습을 했는지 여부라먼, 글을 잘 못 읽으신 것 같네요. 오버피팅 여부도 test set에서 확인하면 cheating입니다. 혹시 그렇게 연구하고 계신 것 아니죠?

2025.05.03

Best validation 쓰는 건 상관없는데, best test performance쓰는 건 이상합니다. Testset leakage나 cheating이라고도 볼 수도 있어요. 제가 리뷰어고 그런 걸 알게 된다면 강한 어조로 실험의 프로세스의 신빙성을 의심하는 리뷰를 남길 것 같네요.

대댓글 2개

2025.05.03

그리고 분야가 어딘지는 모르겠는데 81.2에서 81.4로 바뀐거면 성능차이가 미미하다고 볼 수 있겠네요. 0.1이 엄청 중요한 분야인가요..? 아쉬운 건 알겠는데, 81.5가 된다고 해서 크게 경향성이 바뀌지는 않을 것 같네요.

2025.05.03

0.1 이 중요해도 딱 한번만 해보고 이렇게 하진 않음. 랜덤 하게 샘플링도 하고 5회 이상 돌려서 평균 쓰기도 하는데..
비관적인 코페르니쿠스*

2025.05.03

Ai는..그냥 제일잘나온거
다들그렇게쓰고
아무도 숫자에 책임안짐
재현안되는코드도 수두룩

대댓글 1개

2025.05.03

?? 다들 그렇게 쓰진 않아요...

2025.05.03

스탠다드는 평균과 표준편차를 함께 쓰는것
다만 몇몇 논문에서 베스트라고 표기하면서 작성한 논문은 본 것 같아요

2025.05.03

AI 분야 문제긴한데 차이가 심하면 잘나온거 그냥 써도 뭐라하는 사람이 없음 ㅋㅋㅋ SOTA모델도 다들 잘나온거 올리고…

근데 0.1 차이면 너무 적은거 아님? 랜덤시드만 달라져도 결과 다를꺼같은데

2025.05.03

ai쪽은 잘나온거로 씁니다.

2025.05.03

세부분야마다 차이가 좀 있는데 모두가 베스트 기준으로 경쟁하고 있는 동네면 그렇게 해도 됩니다

2025.05.04

Validation 기준으로 선택 후 test셋 검증 기본입니다.

2025.05.04

Validation에서는 제일 좋은거 골라도 되는데, test에서 그러면 조작임. 그렇게 안할거면 왜 validation과 test set을 따로 떼어놓을까?

2025.05.05

열번돌리고 평균쓰셈

2025.05.05

AI 뿐만아니라 우리나라 논문 대부분이 이럼.
같이 연구했던 사람들도 raw data 죽어도 공유 안해주고, deviation도 지 멋대로 잡더라 ㅋㅋㅋㅋㅋㅋ 뭐 측정하고 앞에는 허수라고 지워버리고..
언젠가 한번 크게 터질 것은 분명 ㅋ 이미 냈던 사람들도 긴장하시길

댓글쓰기

게시판 목록으로 돌아가기

김박사넷의 새로운 거인, 인공지능 김GPT가 추천하는 게시물로 더 멀리 바라보세요.