현재 델파이 방법을 활용한 설문조사를 진행하고 있습니다. 델파이 방법은, 소수 전문가들을 대상으로 3차례 정도 반복 설문하는 설문기법인데요,
2차 조사 이후 신뢰도와 전문가 합의도 등을 종합적으로 고려하여 불필요한 문항은 제거하고, 3차 조사를 시행하였습니다.
3차 조사가 완료된 후 크론바흐 알파 신뢰도 계수를 계산하는데, 크론바흐 알파 값이 너무 낮게 나옵니다. (0.6 이상은 넘겨야 하는 것으로 알고 있습니다.)
문제는 '항목 삭제 시 크론바흐 알파' 값도 0.6을 넘기지 못합니다.
찾아보니, 신뢰도가 낮은 이유는 크게 아래와 같이 구분되더군요. 1) 문항 설계의 오류 2) 표본 수가 너무 적음 3) 응답자의 무성의한 응답(한줄 찍기)
그런데 문항설계라고 하기엔... 2차 조사 시에는 크론바흐 알파 값이 너무 정상적으로 잘 나왔구요, 표본 수가 너무 적다고 하기엔... 델파이법 특성 상 30명이면 충분한 표본 수를 확보했구요, 아무래도 전문가 합의도가 높은 문항들로만 추려내 3차 조사를 시행했기 때문에 한 줄 찍기가 나올 수 밖에 없다고 생각이 됩니다.
혹시 이런 상황에서는 어떻게 해결을 해야 하는지 궁금합니다... 마지막 3차 조사에서 이런 문제가 터져버리니 무척 당황스럽네요🥲🥲🥲
댓글쓰기