비영리 단체와 대학의 교육 프로그램은 후원사나 학교에 효과를 보고해야 합니다. 가장 흔한 방법이 사전·사후 설문인데, 설계 단계에서 몇 가지를 놓치면 분석 단계에서 복구할 수 없습니다. 저희가 청년 교육 프로그램과 멘토링 프로그램의 평가를 맡으며 정리한 순서입니다.
두 응답을 이을 열쇠를 먼저 정합니다
사전 설문은 프로그램 시작 전에, 사후 설문은 종료 직후에 받습니다. 두 응답을 같은 사람끼리 잇는 매칭 키를 설계 단계에서 정합니다. 이름 대신 생년월일 일부와 휴대폰 뒷자리 같은 조합을 쓰면 익명을 지키면서 이을 수 있습니다.
같은 문항으로 두 번 묻습니다
프로그램이 바꾸려는 것을 재는 척도를 고르고, 사전과 사후에 같은 문항을 씁니다. 분석 전에 영역별 신뢰도를 확인하고, 신뢰도가 낮은 영역은 해석에 제한을 둡니다.
변화량은 효과크기와 같이 적습니다
매칭된 응답으로 대응 검정을 하고, 유의성과 별도로 효과크기를 보고합니다. 참가자가 30명 안팎이면 비모수 검정을 함께 쓰고, 효과크기에는 신뢰구간을 붙입니다. 유의하지 않은 영역도 숨기지 않고 적습니다.
누구에게 효과가 컸는지 봅니다
학년, 참여 횟수, 소속 같은 특성별로 변화량을 나누어 봅니다. 어떤 집단에서 효과가 컸는지가 다음 기수 운영에 바로 쓰이는 정보입니다.
개방형 응답도 셉니다
개방형 문항은 범주로 묶어 빈도를 세고, 각 범주의 대표 응답을 인용합니다. 수치 결과와 나란히 두면 변화의 내용이 보입니다.
보고서에 들어가야 할 것
영역별 사전·사후 평균과 변화량, 검정 결과와 효과크기, 특성별 비교표, 개방형 응답 범주와 대표 응답, 그리고 설문 회수율과 매칭 성공률을 함께 받으십시오. 매칭 성공률이 낮으면 결과의 대표성부터 설명해야 합니다.


