카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

가장 핫한 댓글은?

본문이 수정되지 않는 박제글입니다.

diffusion model 모르는게 있는데 제발 알려주세요 ㅠㅠㅠ

재치있는 유클리드*

2023.05.27

10

1447

diffusion model 공부중인 학부생인데 이해가 안가는 부분이 있어서 알려주셨으면 좋겠습니다 ㅠ

forward process(Noise를 주입시키는 과정)에서 q(x_t | x_t-1)의 분포를 N(평균, 표준편차^2)으로 나타낼때 평균이
sqrt(1-B) * x_t-1로 나타나지는데 여기서 질문이 있습니다.
x_t-1은 이미지인데 도대체 정규분포의 평균을 x_t-1 * sqrt(1-B)라고 하면 (이미지 * 숫자값이 평균...?)
x_t-1의 평균값에 sqrt(1-B)를 곱한 게 평균이 되야 되지 않나 라는 생각이 드는데 이게 뭔뜻인지 전혀 모르겠어서 질문드립니다.

카카오 계정과 연동하여 게시글에 달린
댓글 알람, 소식등을 빠르게 받아보세요

댓글 10개

2023.05.27

이미지라기 보다는 픽셀 값이 더 맞는 말인 것 같아요. 각 픽셀별로 정규분포를 하나씩 두고 정규분포의 평균값을 각각 계산하는 것입니다.

대댓글 3개

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

2023.05.28

일단 q(x_t | x{t-1})은 Conditional probability이기때문에 "평균"이라 하심은 E[x_t] 가 아니라 E[x_t|x_{t-1}] 를 필요로 하는 것 같습니다.
매 스텝마다 noise를 더해서 image분포가 N(0,1)에 가까워질때까지 noising을 진행하니까 평균은 점점 0에 가까워져지고 variance는 1에 가까워져요.
첫 forward step에서는 B=0, t=1; sqrt(1-0)*(x_{1-1}) = 1*x_0 = 원래 이미지
for t in range (1,T): x_t = sqrt(1-B)*x_{t-1} + sqrt(B)*noise = weighted x_{t-1} + weighted noise
마지막 step에서는 B=1, t=T; sqrt(1-1)*(x_{T-1}) = 0 AND x_{T} ~ N(0,1)

그리고 평균이 이미지 평균값 (H,W평균)이 아니라 윗분 말씀대로 각 픽셀별로 어떤 distribution의 값 (결국 평균)이 들어와야 마지막 update step 이후에 target image랑 아주 가까워질 수 있는지를 학습하는 방법 같습니다.

대댓글 5개

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

해당 댓글을 보려면 로그인이 필요합니다. 로그인하기

댓글쓰기

게시판 목록으로 돌아가기

김박사넷의 새로운 거인, 인공지능 김GPT가 추천하는 게시물로 더 멀리 바라보세요.