[JAMA Internal Medicine]
환자질문에 대한 의사와 인공지능 쳇봇 응답 비교 연구 -
품질과 공감면에서 모두 ChatGPT 우수함 나타내…
연구 목적(RESEARCH OBJECTIVE)
최근 JAMA 발표된 환자 질문에 대한 의사 답변과 인공지능(AI) 챗봇 어시스턴트(ChatGPT) 응답에 대한 정보제공 품질과 공감에 대한 비교 연구가 캘리포니아 샌디에고 대학 연구팀에서 발표되어 주목을 끌고 있다.
2022년 11월에 출시된 AI 챗봇 어시스턴트(ChatGPT)의 능력을 평가하기 위하여 공개 소셜 미디어 포럼에 나타난 환자 질문에 대하여 의사와 AI 챗봇 어시스턴트(ChatGPT)의 능력을 비교 평가하기 위한 연구가 수행되었다.
인공지능 챗봇 어시스턴트 (AI Chatbot assistant)가 환자 질문에 대해 의사가 작성한 답변에 필적할 만한 정도의 질적인 답변을 제공할 수 있는지를 확인하고 또한 AI 챗봇 어시스턴트(ChatGPT)의 공감 능력을 의사와 비교하기 위하여 수행된 연구이다.
연구 디자인 및 참가자(DESIGN, SETTING, AND PARTICIPANTS)
공개 소셜 미디어 포럼에서 공개된 환자 개인정보 식별이 불가능한 환자 질문 데이터베이스를 사용하여 2022년 10월부터 확인된 의사가 공개적으로 답변한 환자 질문 195개의 환자 질문내용과 답변을 무작위로 추출하였다.
AI 챗봇 어시스턴트(ChatGPT)에 주어진 질문은 새로운 세션이나 사전 질문없이 원래 질문을 입력하였다. 챗봇 응답은 2022년 12월 22일과 23일에 원래 의사에게 질문하였던 내용을 입력하여 생성하도록 하였다.
의사가 응답한 환자 질문에 대한 답변과 쳇봇이 응답한 환자 질문에 대한 답변은 모두 원질문내용과 함께 익명화 처리되어 무작위 배정되어 의료 전문가 팀에 의하여 세번 평가되었다. 평가지들은 어떤 응답이 환자 질문에 대하여 보다 더 나은 정보를 제공하였는지를 매우 나쁨에서 매우 좋음의 (very poor, poor, acceptable, good, or very good) 5단계로 평가하도록 하였다. 또한 응답에 대한 품질평가와 함께 공감 능력과 메너에 대한 평가도 함께 이루어졌다. 공감능력에 대한 평가도 공감하지 않음에서 매우 공감( (not empathetic, slightly empathetic, moderately empathetic, empathetic, and very empathetic) 의 5단계에 걸쳐 평가하도록 하였다. 평균 결과는 의사와 쳇봇 간에 1에서 5점 척도를 사용하여 정렬하였다.
연구결과(RESEARCH RESULTS)
전체 195개에 대한 환자 질문에 대한 의사와 쳇봇의 답변 중에서 78.6% (95% CI, 75.0%-81.8%)가 쳇봇 응답을 보다 선호하는 것으로 나타났다.
의사가 대답한 내용은 쳇봇 응답보다 통계적으로 유의하게 짧은 내용으로 나타났다. 의사의 답변 내용은 평균 52개 단어를 사용한 반면, AI 쳇봇이 제공한 응답에서는 평균 211 단어를사용하였으며 이는 통계적으로 유의하게 쳇봇이 응답한 단어수가 높음을 나타내었다 (52 [17-62] words vs 211 [168-245] words; t = 25.4; P < .001).
환자 질문에 대해 제공된 정보 품질 평가에서도 쳇봇응답은 의사가 제공한 응답보다 휠씬 높은 품질로 평가되었다(t = 13.3; P < .001). 예를 들어 제공된 응답 품질이 매우 우수하거나 우수하다고 평가 된 응답의 비율을 비교하여 볼 때, 의사보다 챗봇이 유의하게 더 높게 나타났다(챗봇: 78.5%, 95% CI, 72.3%-84.1%; 의사: 22.1%, 95% CI, 16.4%-28.2 %;). 이는 쳇봇에 대한 매우 우수 혹은 우수에 대한 응답 제공률이 의사에 비교하여 3.6배 더 높음을 의미하였다.
공감 능력에 대한 평가결과를 비교하여 볼때 쳇복 응답은 의사의 응답보다 훨씬 더 공감하는 것으로 평가되었다(t = 18.9; P < .001). 환자 질문에 대한 응답에서 의사가 제공한 공감은 4.6%로 나타난 반면 쳇봇이 제공한 답변에서 공감 혹은 매우 공감으로 평가된 비율이 45.1%로 나타나, 의사가 제공한 답변보다 쳇봇 응답이 유의하게 높게 나타났다(physicians: 4.6%, 95% CI, 2.1%-7.7%; chatbot: 45.1%, 95% CI, 38.5%-51.8%; physicians: 4.6%, 95% CI, 2.1%-7.7%). 이는 의사 답변보다 쳇봇이 제공한 답변에서 공감적이거나 매우 공감적은 응답 제공률이 9.8배 더 높다는 결과를 나타내었다.
이번에 수행된 새로 개발된 인공지능 쳇봇에 대한 능력을 의료 분야에 적용하기 위하여 총 195개 무작위로 선별한 환자 질문에 대한 의사가 제공한 답변과 인공지능 쳇봇이 제공한 응답에 대한 결과를 크게 두가지 측면에서 살펴보았다. 우선 정보 제공에 대한 질적인 측면에서 챗봇 응답은 의사 응답보다 훨씬 높은 품질로 평가되었다(t = 13.3; P < .001). 공감 응답에 대한 측면을 분석한 결과에서도 챗봇 응답이 의사가 제공한 답변보다 9배 이상 훨씬 더 공감하는 것으로 평가되었다(t = 18.9; P < .001).
이번에 수행된 횡단적 연구에서 나타난 결과는 ChatGPT는 온라인 포럼에 나타난 환자 질문에 대하여 양질의 공감 응답을 제공하는 것으로 나타났다. ChatGPT가 발표되면서 다양한 분야에 대한 적용이 시도되고 있는 가운데, 이번 연구는 임상과 의료분야에 적용된 초기 연구라는 점에 그 의의가 있다. 임상에서 흔히 접할 수 있는 환자질문에 대해 임상의사와 ChatGPT 응답에 대한 정보제공 품질과 환자 공감에 대한 평가를 5점 척도로 분석하였다. 환자 질문은 공개 소셜 미디어 포럼에서 공개된 환자 개인정보 식별이 불가능한 환자 질문 데이터베이스를 사용하였으며 총 195개의 환자 질문에 대한 의사의 답변과 ChatGPT에 대한 답변의 차이를 분석 비교하였다. 추후 보다 다양한 임상 분야에서 광범위한 질문 수를 이용하여 이러한 인공 지능 기술을 활용한 무작위 실험에 대한 후속 연구가 필요할 것이다. 인공 지능 쳇봇 기능이 향상된다면 임상 의사의 피로도를 낮추면서, 보다 개선된 환자 결과를 기대할 수 있는 인공지능 지원(AI assistants) 사용이 가능할 것으로 예측되고 있다.
의과학연구정보센터(MedRIC) 제공
* 본 내용은 MedRIC (www.medric.or.kr)의 연구동향에서 제공되는 내용입니다.