* 롱아일랜드 대학교 약사들의 연구에 따르면 무료 버전의 ChatGPT는 약물 관련 질문에 대해 부정확하거나 불완전한 답변을 제공하거나 아예 답변을 제공하지 않을 수 있습니다.
* 이 연구는 환자와 의료 전문가가 약물 정보를 얻기 위해 OpenAI의 챗봇에 의존하는 것에 신중해야 하며, 신뢰할 수 있는 출처를 통해 답변을 확인해야 한다는 것을 보여준다고 이 연구의 수석 저자는 말했습니다.
* ChatGPT는 출시 이후 가장 빠르게 성장하는 소비자 인터넷 앱으로 널리 알려지며 인공지능의 획기적인 한 해를 열었습니다.
약물 관련 질문 시 크로스체크 필요
화요일에 발표된 새로운 연구에 따르면 무료 버전의 ChatGPT는 약물과 관련된 질문에 부정확하거나 불완전한 답변을 제공하거나 아예 답변을 제공하지 않을 수 있으며, 이는 OpenAI의 챗봇을 사용하는 환자를 잠재적으로 위험에 빠뜨릴 수 있다고 합니다.
5월에 무료 ChatGPT에 39개의 질문을 던진 롱아일랜드 대학교의 약사들은 챗봇의 답변 중 자신들이 설정한 기준에 따라 ‘만.족스러운’ 답변은 10개에 불과하다고 판단했습니다. 나머지 29개의 약물 관련 질문에 대한 ChatGPT의 답변은 질문에 직접적으로 답하지 않았거나 부정확하거나 불완전하거나 둘 다였다고 연구팀은 밝혔습니다.
이 연구는 환자와 의료 전문가가 약물 정보를 얻기 위해 ChatGPT에 의존하는 것에 주의를 기울여야 하며, 챗봇의 답변을 신뢰할 수 있는 출처를 통해 확인해야 한다는 점을 시사한다고 LIU의 약학 실무 부교수인 사라 그로스만(Sara Grossman)은 말합니다. 신뢰할 수 있는 출처는 담당 의.사나 미국 국립보건원의 MedlinePlus와 같은 정부 기반 약물 정보 웹사이트가 될 수 있습니다.
ChatGPT는 출시 이후 가장 빠르게 성장하는 소비자 인터넷 앱으로 널리 알려졌으며, 이는 인공지능의 획기적인 한 해를 열었습니다. 그러나 그 과정에서 챗봇은 사기, 지적 재산권, 차별, 잘못된 정보 등 문제에 대한 우려를 불러일으키기도 했습니다.
여러 연구에서 ChatGPT의 잘못된 응답과 유사한 사례가 지적되었고, 7월에는 미국 연방거래위원회에서 챗봇의 정확성과 소비자 보호에 대한 조사를 시작했습니다.
한 분석에 따르면 10월에 ChatGPT는 전 세계적으로 약 17억 건의 방문을 유도했습니다. 얼마나 많은 사용자가 챗봇에 의료 관련 질문을 하는지에 대한 데이터는 없습니다.
특히 ChatGPT의 무료 버전은 2021년 9월까지의 데이터 세트만 사용하도록 제한되어 있어 급변하는 의료 환경에서 중요한 정보가 부족할 수 있습니다. 올해 초 실시간 인터넷 검색을 사용하기 시작한 유료 버전의 ChatGPT가 약물 관련 질문에 얼마나 정확하게 답변할 수 있는지는 불분명합니다.
그로스만은 유료 버전의 ChatGPT가 더 나은 연구 결과를 가져올 가능성이 있다는 점을 인정했습니다. 하지만 더 많은 일반인이 사용하고 접근할 수 있는 무료 버전의 챗봇에 초점을 맞춰 연구를 진행했다고 말했습니다.
그녀는 이 연구가 올해 초의 챗봇 성능에 대한 “하나의 스냅샷”만 제공했다고 덧붙였습니다. 연구진이 지금 비슷한 연구를 수행한다면 무료 버전의 ChatGPT가 개선되어 더 나은 결과를 도출할 수 있을 것이라고 그녀는 덧붙였습니다.
ChatGPT 연구 결과
이 연구는 2022년 1월부터 올해 4월까지 롱아일랜드대학교 약학대학의 약물 정보 서비스에 실제 질문이 출제된 것을 사용했습니다.
약사들이 45개의 질문을 조사하고 답변한 후, 두 번째 연구자가 이를 검토하여 ChatGPT의 정확도 기준으로 사용했습니다. 연구진은 데이터 기반 답변을 제공할 수 있는 문헌이 없다는 이유로 6개의 질문을 제외했습니다.
연구에 따르면 ChatGPT는 11개의 질문에 직접적으로 답변하지 못했습니다. 또한 챗봇은 10개 질문에 부정확한 답변을, 나머지 12개 질문에는 부정확하거나 불완전한 답변을 제공했습니다.
연구진은 각 질문에 대해 챗봇이 제공한 정보를 확인할 수 있도록 답변에 참고.자료를 제공하도록 요청했습니다. 그러나 챗봇이 제공한 참고 자료는 8개의 답변에 불과했으며, 각 답변에는 존재하지 않는 출처가 포함되어 있었습니다.
한 질문은 약물 상호작용, 즉 한 약물이 다른 약물을 함께 복용할 때 다른 약물의 효과를 방해하는 경우가 존재하는지에 대해 ChatGPT에 질문했습니다. 화이자의 코로나19 항바이러스제인 팍슬로비드와 혈압 강하제인 베라파밀 사이에 약물 상호작용 또는 다른 약물의 효과를 방해하는 약물이 존재하는지에 대해 질문했습니다.
ChatGPT는 이러한 약물 조합에 대한 상호작용이 보고되지 않았다고 밝혔습니다. 실제로 이러한 약물은 함께 복용할 경우 혈압을 과도하게 낮출 가능성이 있습니다.
그로스만은 “이러한 상호작용에 대한 지식이 없으면 환자는 원치 않지만 예방할 수 있는 부작용으로 고통받을 수 있습니다.”라고 말합니다.
그로스만은 미국 규제 당국이 2021년 12월에 팍슬로비드를 처음 승인했다고 언급했습니다. 이는 2021년 9월 ChatGPT 무료 버전의 데이터 제공이 종료되었기에 약물에 대한 제한된 정보만 액세스할 수 있다는 것을 의미합니다.
많은 팍슬로비드 사용자가 데이터가 오래되었다는 사실을 모를 수 있으며, 이로 인해 ChatGPT에서 부정확한 정보를 받을 수 있는 위험에 노출될 수 있습니다.
또 다른 질문은 근육 경련을 치료할 수 있는 두 가지 다른 형태의 약물인 바클로펜의 용량을 어떻게 변환할 수 있는지에 대한 질문이었습니다. 첫 번째 형태는 척수강 내, 즉 척추에 직접 약물을 주입하는 경우이고 두 번째 형태는 경구용입니다.
그로스만은 자신의 연구팀이 두 가지 형태의 약물 사이에 확립된 전환이 없으며, 연구팀이 조사한 다양한 사례에서 차이가 있다는 것을 발견했다고 말했습니다. 그녀는 이것이 “간단한 문제가 아니다”라고 말했습니다.
그러나 ChatGPT는 이에 대한 답변으로 용량 전환에 대한 한 가지 방법만을 제공했는데, 이는 증거에 의해 뒷받침되지 않았으며, 그 전환 방법의 예도 함께 제공하지 않았습니다. 그로스만은 이 예시에는 심각한 오류가 있었다고 말했습니다. ChatGPT는 척수강 내 용량을 마이크로그램이 아닌 밀리그램 단위로 잘못 표시했습니다.
그로스만은 의료 전문가가 이 예시를 따라 적절한 복용량 변환을 결정한다면 “적정 용량보다 1,000배나 적은 용량을 투여하게 될 것”이라고 말했습니다.
필요한 것보다 훨씬 적은 양의 약을 복용하면 환각과 발작을 동반할 수 있는 금단 현상을 경험할 수 있다고 덧붙였습니다.
< 참고 : Free ChatGPT may incorrectly answer drug questions, study says >
