인공지능(AI) 챗봇이 심리 상담을 수행하는 상황을 표현한 일러스트. 연구에서는 AI 상담 과정에서 가짜 공감, 편향, 위기 대응 실패 등 윤리적 위험이 나타날 수 있다고 분석했다. ⓒGettyimagesbank



ChatGPT 등 인공지능(AI) 챗봇을 심리 상담 도구로 활용할 수 있는지에 대한 논의가 이어지는 가운데, 이러한 시스템이 실제 정신건강 치료의 핵심 윤리 기준을 충족하지 못할 수 있다는 연구 결과가 나왔다. AI를 상담 도구로 활용할 경우 안전성과 책임 구조를 둘러싼 논쟁이 커질 수 있다는 지적이다.
바다신2릴게임
미국 브라운대 연구진은 AI 챗봇이 상담 상황에서 다양한 윤리적 문제를 일으킬 수 있다고 분석했다. 이 연구는 최근 사이언스데일리를 통해 소개됐으며, 결과는 인공지능 윤리 분야 학회인 AAAI/ACM 인공지능, 윤리 및 사회 콘퍼런스 논문으로 발표됐다.
● 위기 대응 실패·편향·‘가짜 공감’ 등 15가지 위험
오션릴게임 연구진은 상담 경험이 있는 동료 상담가 7명이 인공지능 챗봇과 인지행동치료(CBT) 방식의 상담 대화를 진행하도록 한 뒤 결과를 분석했다. 이후 임상 심리학자 3명이 대화 기록을 검토해 윤리적 문제 여부를 평가했다.
분석 결과 챗봇 상담에서는 총 15가지 윤리적 위험이 확인됐다. 개인의 상황을 충분히 고려하지 않은 일반적 모바일바다이야기 조언, 잘못된 믿음을 강화하는 답변, 성별이나 문화와 관련된 편향적 표현 등이 대표적인 사례로 지적됐다.
연구진은 특히 AI가 실제 이해 없이 공감 표현을 사용하는 ‘가짜 공감(deceptive empathy)’을 주요 위험 요인으로 꼽았다. 예를 들어 챗봇이 “당신의 기분을 이해한다”는 표현을 사용하지만 실제로는 이용자의 감정 상태를 파 릴게임황금성 악하지 못한 채 패턴에 기반한 문장을 생성한다는 것이다. 자살 등 위기 상황에서 적절한 도움을 안내하지 못하는 사례도 확인됐다.
연구진은 심리치료가 환자와 상담사 사이의 관계와 맥락을 기반으로 이루어지는 과정인데, 대규모 언어 모델(LLM)은 이를 단순한 언어 생성 문제처럼 처리하는 구조적 한계를 가지고 있다고 지적했다.
바다이야기릴게임 ● “AI 상담 활용 논의…규제·책임 구조 필요”
연구진은 인간 상담사 역시 실수를 할 수 있지만 AI 상담에는 책임 구조가 부족하다는 점을 문제로 꼽았다.
인간 상담사는 면허 제도와 감독 기구를 통해 의료 과실이나 부적절한 치료에 대한 책임을 질 수 있다. 반면 AI 챗봇이 상담 과정에서 문제를 일으킬 경우 이를 규제하거나 책임을 묻는 제도적 장치는 아직 마련되지 않은 상태다.
연구진은 AI가 정신건강 분야에서 전혀 활용될 수 없다는 의미는 아니라고 설명했다. 다만 상담 도구로 활용하기 위해서는 명확한 윤리 기준과 규제 체계, 안전 장치가 필요하다고 강조했다.
연구를 이끈 자이나브 이프티카르 브라운대 박사과정 연구원은 “AI 상담 시스템에 대한 교육적·윤리적·법적 기준을 마련하는 작업이 필요하다”고 밝혔다.
전문가들은 인공지능이 정신건강 관리에서 보조 도구로 활용될 가능성은 있지만 실제 상담이나 치료 역할을 맡기기에는 아직 윤리적·제도적 기준이 충분히 마련되지 않았다고 지적한다.
AI 챗봇과 관련된 극단적 선택 사건을 둘러싼 논쟁도 이어지고 있다. 최근 미국 플로리다에서는 구글의 AI 챗봇 ‘제미나이’가 한 남성의 극단적 선택에 영향을 미쳤다는 의혹이 제기돼 유족이 구글을 상대로 소송을 제기했다. 유족 측은 챗봇이 이용자와 친밀한 관계를 형성하며 망상적 대화를 이어갔다고 주장하고 있으며, 구글은 해당 사안을 검토 중이라고 밝혔다.
관련 논문https://ojs.aaai.org/index.php/AIES/article/view/36632
최현정 기자 phoebe@donga.com