챗봇 대화 만족도 확인 방법

대화 만족도의 판단 기준

챗봇 대화 만족도는 응답 속도만으로 판단하지 않고, 이용자에게 문의 해결 여부·이용 편의·막힌 이유를 직접 물어 확인합니다. 플랫폼 응답 지표는 대화 만족도와 구분해 별도의 참고 자료로 사용합니다. 병원 담당자는 답장이 도착했는지와 이용자가 원하는 일을 마쳤는지를 서로 다른 질문으로 다뤄야 합니다.

평가를 시작하기 전에 챗봇 대화에서 이용자가 달성하려던 목적을 정합니다. 진료 시간 안내를 얻으려던 대화라면 필요한 정보를 얻었는지가 평가 대상이고, 직원에게 요청을 전달하려던 대화라면 전달 과정에서 불편이 있었는지가 평가 대상입니다. 병원이 처리하려던 업무만 기재하면 이용자가 기대한 결과와 평가 항목이 어긋날 수 있습니다.

문의 해결 여부와 이용 편의도 같은 뜻으로 취급하지 않습니다. 원하는 안내를 받았어도 질문을 여러 번 입력하거나 낯선 표현을 이해하느라 불편했을 수 있습니다. 반대로 사용 방법은 쉬웠지만 필요한 답을 얻지 못했을 수 있으므로, 담당자는 두 응답을 각각 해석합니다.

자료별 해석 범위

네이버 톡톡 안내는 응답률과 응답시간을 이용자의 메시지에 첫 답장을 보내는 기준으로 설명합니다. 자동응답 메시지인 친구추가 감사 메시지와 FAQ는 해당 측정에 포함되지 않는다고 안내합니다. 따라서 이 지표를 챗봇의 전체 대화 경험이나 자동응답 만족도를 측정한 결과로 읽으면 안 됩니다.

카카오의 챗봇 제작 팁은 이용자의 요청을 이해하면 결과를 빠르게 전달할 수 있지만, 요청을 제대로 이해하지 못하면 동작이 어려워질 수 있다고 설명합니다. 속도와 요청 이해는 함께 고려할 요소이므로 병원 담당자는 빠른 답장만으로 평가 질문을 대신하지 않습니다. 예약 성사나 직원 업무 감소도 별도 운영 결과로 관리하고 대화 만족도라는 이름에 합치지 않습니다.

평가 질문 준비 순서

실장은 평가 대상이 되는 문의 목적을 정하고, 상담 담당자는 이용자가 이해할 수 있는 짧은 질문을 준비합니다. 마케팅 담당자는 질문 문구와 응답 선택지, 응답을 받을 방법을 문서로 정리합니다. 평가 기능이 실제로 사용 가능한지는 운영 환경에 따라 따로 판단하고, 특정 플랫폼에 설문 기능이 있다고 전제하지 않습니다.

1. 평가할 문의 목적과 평가 대상 대화를 정합니다. 단순 안내를 얻는 대화와 직원의 후속 처리가 필요한 대화는 목적을 따로 기재합니다.
2. 문의 해결 여부와 이용 편의를 묻는 문장을 작성합니다. 선택지에는 해결되지 않음이나 판단하기 어려움처럼 긍정 평가 외의 답도 포함합니다.
3. 불편을 느낀 이용자가 이유를 남길 기회를 마련합니다. 이유 응답은 선택 사항으로 정하고 평가를 건너뛰어도 이용에 지장이 없도록 준비합니다.
4. 직접 평가 응답과 플랫폼 지표를 별도 자료로 정리합니다. 담당자는 질문 문구, 응답 대상, 수집 시점이 무엇인지 함께 기록합니다.

질문을 내보내기 전에는 병원 용어를 모르는 직원에게 문장을 읽게 하고, 무엇을 묻는 질문으로 이해했는지 설명하게 합니다. 설명이 의도와 다르면 질문을 더 짧게 고치거나 묻는 대상을 명시합니다. 준비 자료에는 평가 문구뿐 아니라 각 선택지가 뜻하는 상태와 판단을 보류할 조건도 포함합니다.

경험별 질문과 응답 범위

질문은 이용자가 방금 겪은 대화에 한정해 작성합니다. 해결 여부를 묻는 문장에 친절함이나 병원 전반의 인상을 함께 넣으면 어떤 경험에 답했는지 가리기 어렵습니다. 다음 질문은 병원 업무에 적용할 수 있는 문구안이며, 플랫폼이 정한 공식 평가 항목은 아닙니다.

막힌 이유는 입력하기 어려움, 답의 뜻을 이해하기 어려움, 다음 행동을 알기 어려움처럼 경험을 중심으로 선택지를 작성합니다. 다른 이유를 남기거나 답하지 않을 수 있게 준비하고, 상세 설명을 필수로 요구하지 않습니다. 평가 목적과 관계없는 진료 내용이나 개인 사정을 자유 응답에 요청하지 않습니다.

무응답과 평가 보류의 기록

평가에 답하지 않은 이용자는 만족한 사람으로 처리하지 않습니다. 담당자는 평가를 요청한 대상과 실제 응답한 대상을 따로 기록하고, 결과 설명의 범위를 응답자의 경험으로 제한합니다. 응답 요청을 받지 못했거나 평가 전에 대화를 중단한 이용자가 있는지도 기록에서 가립니다.

무응답의 이유는 기록만으로 확정하지 않습니다. 평가 질문을 놓쳤거나 답할 필요를 느끼지 못했을 가능성은 있어도, 해당 이용자가 이유를 말하지 않았다면 추정으로 남겨야 합니다. 보고서에는 응답하지 않은 이용자의 만족 여부를 알 수 없다는 한계를 기재합니다.

판단하기 어렵다는 답과 질문을 건너뛴 상태도 따로 관리합니다. 전자는 이용자가 평가를 유보했다는 직접 응답이고, 후자는 평가 의견을 받지 못한 상태입니다. 후속 안내가 끝나지 않은 대화는 담당자가 그 상태를 표시해 완료된 경험과 섞이지 않게 합니다.

AI 분류 초안과 원뜻 대조

AI에는 평가 응답을 정해진 항목으로 분류하는 초안을 맡길 수 있습니다. 담당자는 분류 이름과 그 이름을 적용할 조건을 먼저 전달하고, 뜻이 불명확한 응답은 판단 보류로 남기도록 요청합니다. 이용자가 기재하지 않은 불만 원인이나 감정을 AI가 덧붙이지 않도록 작업 범위를 제한합니다.

사람은 분류 결과와 이용자의 실제 문장을 나란히 대조합니다. 필요한 답을 얻었다는 표현과 사용하기 불편했다는 표현이 함께 있으면, 해결 여부와 편의에 관한 의견을 각각 보존합니다. 문장의 일부만 읽어 긍정 또는 부정으로 묶은 항목은 사람이 고칩니다.

분류를 수정할 때는 원문, 처음 부여한 항목, 최종 항목, 수정 이유를 함께 기록합니다. 이 기록을 바탕으로 다음 분류에서 적용할 조건을 보완하되, AI가 정리한 항목 이름을 이용자가 직접 선택한 답처럼 취급하지 않습니다. 보고서를 작성하는 담당자는 직접 응답과 해석을 거친 분류 결과의 차이를 표시합니다.

질문 문구 변경 전후의 해석

평가 질문을 변경했다면 이전 응답과 이후 응답을 곧바로 합치지 않습니다. 문의가 해결됐는지를 묻던 질문을 답변이 친절했는지를 묻는 질문으로 변경하면, 응답이 가리키는 경험 자체가 달라집니다. 담당자는 질문 문구와 선택지의 변경 내용을 응답 자료에 함께 기재합니다.

같은 질문을 유지했더라도 평가 대상 문의나 질문을 전달한 시점이 달라졌다면 결과의 차이를 만족도 변화로만 설명하지 않습니다. 운영 변경을 판단하려는 실장은 무엇이 같고 무엇이 달라졌는지 먼저 정리합니다. 이전 자료와 조건이 맞지 않으면 각각의 응답 경향을 별도로 설명하고, 좋아졌다는 결론은 보류합니다.

자주 묻는 질문

전체 만족도 질문만으로 평가해도 되나요?

전체 만족도 질문은 이용자의 종합적인 인상을 받는 용도로 사용할 수 있습니다. 그러나 그 답만으로 어떤 경험이 평가에 영향을 주었는지는 알기 어렵습니다. 종합 질문을 추가한다면 개별 경험을 묻는 답과 별도 항목으로 기록하고, 종합 평가에서 해결 여부를 역으로 추정하지 않습니다.

좋은 평가를 유도하는 질문은 어떻게 가리나요?

질문에 병원이 기대하는 답을 미리 넣었는지 읽어 판단합니다. 편리하게 이용했는지를 당연한 사실처럼 묻거나 좋은 평가를 부탁하면 이용자가 불편을 표현하기 어려울 수 있습니다. 담당자는 긍정적인 상태를 전제하는 표현을 삭제하고, 긍정과 부정 중 어느 쪽도 자연스럽게 답할 수 있도록 고칩니다.

같은 이용자가 평가를 여러 번 남기면 어떻게 하나요?

서로 다른 대화를 평가했는지, 같은 경험에 대해 의견을 다시 남겼는지 먼저 가립니다. 대화별 평가라면 각각의 경험으로 기록할 수 있지만, 동일 경험에 대한 추가 설명을 새 평가처럼 중복 처리하지 않습니다. 자료를 정리하기 전에 반복 응답 처리 원칙을 정하고 적용 내용을 기록합니다.

평가에 보상을 제공해도 결과를 해석할 수 있나요?

보상을 제공한 평가도 응답자의 의견을 읽는 자료로 사용할 수 있습니다. 보상 때문에 응답에 참여한 사람이 있을 수 있으므로, 자발적으로 받은 평가와 같은 참여 조건이었다고 설명하지 않습니다. 보상 여부를 기록하고 평가 내용과 참여를 유도한 조건을 따로 해석합니다.

이용자에게 평가 결과를 다시 안내해야 하나요?

결과 안내 여부는 평가를 받을 때 알린 목적과 후속 소통 계획에 따라 정합니다. 안내한다면 응답 내용이 어떤 운영 판단에 사용됐는지 설명하되, 아직 결정하지 않은 개선을 완료했다고 표현하지 않습니다. 개별 응답을 공개하는 대신 개인을 드러내지 않는 요약을 준비하고 공개 범위를 별도로 판단합니다.

이어서 읽을 주제

병원 플레이스 예약 연결을 이어 읽으면 챗봇에서 안내받은 뒤 실제 예약을 진행하는 과정에서 무엇을 준비해야 하는지 정리할 수 있습니다. 대화 평가와 별도로 예약 경로를 담당하는 직원이 준비할 업무를 정할 때 참고합니다.