MHResearch

주관식 응답 텍스트마이닝 절차

분석 단위, 사용자 사전, 주제 수 결정, 원문 확인까지 텍스트마이닝 보고서에 담는 순서를 정리했습니다.

설문의 주관식 응답, 민원 기록, 상담 일지처럼 글로 쌓인 자료를 받으면 먼저 단어 빈도표와 워드클라우드를 요청받습니다. 빈도표는 어떤 말이 많이 나왔는지는 알려 주지만 그 말이 어떤 맥락에서 쓰였는지는 알려 주지 않습니다. 저희가 텍스트마이닝을 맡을 때 정하는 순서를 적습니다.

1. 분석 단위

응답 한 건을 한 문서로 볼지, 문장 단위로 나눌지를 먼저 정합니다. 한 응답에 불만과 제안이 함께 들어 있으면 문서 단위 분석은 둘을 섞습니다. 짧은 응답이 대부분이면 문장 단위는 잡음을 키웁니다. 자료를 백 건쯤 읽어 보고 단위를 정하면 뒤의 재작업이 줄어듭니다.

2. 사전

형태소 분석기는 기관 이름, 제도 명칭, 현장에서 쓰는 줄임말을 제대로 자르지 못합니다. 사용자 사전에 고유 명사를 등록하고, 같은 뜻의 표현을 하나로 묶는 동의어 사전과 분석에서 뺄 불용어 목록을 만듭니다. 세 가지 사전은 보고서 부록에 싣습니다. 사전이 없으면 같은 자료를 다시 분석해도 결과가 달라집니다.

3. 주제 수

토픽 모형에서 주제 수를 정할 때 일관성 지표 같은 통계만 보면 주제가 지나치게 잘게 나뉘거나 뭉칩니다. 지표가 비슷한 후보를 몇 개 두고, 각 주제의 대표 문서를 사람이 읽어 이름을 붙일 수 있는지로 정합니다. 이름을 붙이기 어려운 주제는 합치거나 뺍니다.

4. 동시출현 네트워크

어떤 단어가 어떤 단어와 함께 나오는지를 그리면 빈도표에서 보이지 않던 묶음이 드러납니다. 선이 많아질수록 그림은 읽기 어려워지므로 중심성이 높은 단어 몇 개와 그 주변만 남기고, 그 묶음이 자료에서 실제로 어떤 문장으로 나타나는지 원문을 함께 보여 줍니다.

5. 해석

주제별 비율, 집단별 차이, 기간별 변화를 쓸 때마다 그 수치를 대표하는 원문을 두세 건 인용합니다. 원문이 있어야 분석자가 아닌 사람도 결과를 설명할 수 있습니다.

주제별 응답 비율을 두 집단으로 비교한 막대그래프
그림 1 (예시 데이터). 주제별 응답 비율을 두 집단으로 나눠 본 것입니다. 전체로는 안내 부족이 가장 많지만 집단 B에서는 대기 시간이 앞섭니다. 이런 차이는 대표 원문과 함께 보고합니다.

결과물로 받아야 할 것

워드클라우드 외에 분석 단위와 전처리 기준, 사용자 사전과 불용어 목록, 주제 수를 정한 근거, 주제별 대표 원문, 집단이나 기간에 따른 비교표를 함께 받으십시오.

Insights 목록으로 이 주제로 상담하기