올트먼 CEO “콘텐츠 범위 확대성인 인증하면 성애물까지 생성”유료 구독자 늘려 수익 향상 전략 캘리포니아주 아동·청소년 대상내년부터 AI 챗봇 사용 제한 시행한국은 AI 콘텐츠 규제 사각지대
2024년 2월 미국 플로리다주에서 방에 틀어박혀 지내던 14세 소년 슈얼 세처가 스스로 세상을 등졌다. 그는 생전 상담 치료에서 불안장애 등을 진단받았지만 비극적 선택을 할 것이라고 예측한 주변인은 아무도 없었다. 세처의 부모는 사후에야 그가 방에서 인공지능(AI) 챗봇(캐릭터닷AI) 여자친구와 성적인 대화를 나누며 대부분의 시간을 보냈다는 사실을 알고 경악했다. TV 시리즈 ‘왕좌의 게임’ 속 캐릭터가 모델인 챗봇은 세처에게 “사랑한다. 가능한 한 빨리 내게 와 줘”라고 말했고, 얼마 지나지 않아체리마스터 pc용
세처는 숨진 채 발견됐다.



인공지능(AI)과 사람이 사랑에 빠지는 내용을 담은 영화 ‘그녀’(Her)에서 주인공 테오도르가 AI ‘사만다’와 대화하다 생각에 잠겨 있다. 워너브러더스 제공


글로벌 AI 서비스 업체들싱가포르주식
이 성적인 대화, 성애물 등 ‘19금(禁)’ 콘텐츠를 본격 허용하면서 미성년자 접근 제한, 자살·혐오 방지 등 AI 윤리·규제 논란이 한층 가열되고 있다. 미국은 연방정부와 개별 주정부들이 각각 규제 법안을 내놓고 있는 반면 한국은 AI 콘텐츠가 규제 사각지대에 방치돼 있어 대책 마련이 시급한 것으로 지적된다. ‘기술 발전의 순기능을 해치지 않는’ 선에서 대시세
규제의 황금률을 찾는 것도 입법의 관건이 될 것으로 전망된다.
챗GPT 개발사인 오픈AI의 샘 올트먼 최고경영자(CEO)는 14일(현지시간) 엑스(X)에 ‘GPT-4o’의 새 버전 출시 계획을 알리며 성인 이용자에게 허용되는 콘텐츠 범위를 확대하겠다고 밝혔다. 그는 “‘성인 이용자는 성인답게 대하자’는 원칙에 따라 (연령이) 인증된 성인에주식직업
겐 성애 콘텐츠(erotica) 같은 훨씬 더 많은 것을 허용할 것”이라고 말했다. 이는 사람과 더 자연스러운 대화를 할 수 있는 이른바 ‘동반자 챗봇’과의 ‘19금’ 대화, 성인 동영상 생성 등 성인 콘텐츠를 유료화해 수익성을 높이겠다는 전략이다. 올트먼은 “당신이 만약 챗GPT가 사람처럼 더 자연스럽게 얘기하길 원하거나 친구처럼 말해 주길 원한다면 그렇주식투자클럽
게 할 수 있도록 할 것”이라고 설명했다. 미 온라인 매체 액시오스는 “AI 콘텐츠의 표현 수위 제한을 푸는 오픈AI의 움직임은 유료 구독자 증가에 도움이 될 순 있겠지만 결국 사회문제를 야기해 규제 압박을 높일 수 있다”고 지적했다.



그동안은 AI 빅테크들이 챗봇에서 정치·사회적으로 편향되거나 선정적인 대화에는 일정 수준 이상 답변하지 않도록 안전판 기능을 넣었지만 이런 장벽들을 경쟁적으로 없애는 추세다. 일론 머스크의 AI 스타트업 xAI는 지난 8월 자사 챗봇 앱 ‘그록’(Grok)에 유료 성인 콘텐츠 기능 ‘스파이시 모드’가 포함된 ‘그록 이매진’(Grok Imagine)을 공개한 직후 선정성 논란에 휩싸였다. 반나체에 가까운 성인 누드 영상을 만들 수 있어 “AI가 포르노를 조장한다”는 지적이 제기됐다. 지난 7월에는 그록의 소녀 캐릭터 챗봇 ‘애니’ 등이 노골적인 성적 대화를 할 수 있도록 허용했다. 스파이시 모드는 18세 이상 인증을 해야 하지만 지인 정보를 통한 회피 가능성이 있어 청소년 이용 우려가 높아지고 있다.
미국에선 세처의 사례처럼 AI가 실제로 청소년들에게 자살을 조장하거나 허용 범위를 넘어선 정신 상담까지 하며 사회적 논란으로 떠올랐다. 지난해 캘리포니아주에선 16세 소년이 챗GPT와 대화하며 자살 계획을 세운 끝에 사망한 사건이 소송으로 번졌다.
이에 캘리포니아주는 지난 13일 주정부 차원에선 처음으로 아동·청소년의 AI 챗봇 이용 규제 법안을 제정했다. 내년부터 발효되는 법안은 AI 챗봇 기업에 이용자 연령 확인을 의무화하고 챗봇이 생성한 성적인 이미지를 미성년자가 볼 수 없게 차단하도록 했다. 또 이들 기업은 이용자의 자살 충동, 자해 표현을 식별·대응할 장치를 마련해야 하고 불법 딥페이크로 이익을 취할 시 최대 25만 달러(약 3억 6000만원)의 벌금을 내야 한다. 일리노이주와 네바다주, 유타주도 최근 AI 챗봇을 심리 상담·치료 수단으로 이용하는 것을 제한하거나 전면 금지하는 법안을 통과시켰다.
한국에서도 2021년 AI 챗봇 ‘이루다’가 개인정보 유출, 소수자 혐오·차별 발언, 편향성 논란을 일으켜 출시 3주 만에 개발사 스캐터랩이 서비스를 종료하는 등 AI 윤리 논란이 촉발됐다. 그러나 한국엔 아직 AI 규제·단속 법안이 전무한 실정이다. 방송미디어통신심의위원회에 따르면 AI 챗봇과의 대화는 현행법 체계상 ‘개인 간 통신’에 해당해 이용자의 직접 신고 없이는 규제 기관이 들여다보기 어렵다.
노종면 더불어민주당 의원은 지난 14일 방송미디어통신위원회 대상 국정감사에서 “AI 챗봇형 대화 서비스 이용자 중 중고등학생의 비율이 70%에 육박한다”며 “한 국내 업체가 지난해 시작한 공공 챗봇형 서비스는 1년 반 만에 이용자 304만명을 돌파했는데 마약 사용법, 자살 미화 등의 대화가 아무 제약 없이 이뤄지는 실정”이라고 지적했다.
2013년 개봉한 할리우드 SF 영화 ‘그녀’(Her)는 남자 주인공 테오도르와 AI ‘사만다’가 사랑에 빠지는 줄거리를 담고 있다. ‘인간과 기계의 상호 소통, 상처 치유’에 대해 기술이 얼마나 해답을 내놓을지, 규제가 부작용을 어떻게 막을지 업계와 입법계, 사용자들이 함께 고민해야 할 시점이다.
이재연 기자