오픈AI./로이터 연합뉴스


청소년에 대한 SNS 부작용으로 각국이 규제에 나선 가운데, 생성형 AI(인공지능)의 위험성도 커지고 있다. 오픈AI가 상반기 당국에 신고한 아동 착취 관련 건수는 지난해 같은 기간보다 80배 증가했다. 누구나 손쉽게 콘텐츠를 만들 수 있는 생성형 AI가 발전할수록 범죄에 악용되는 사례도 급증하는 것이다. 이에 AI 개발 빅테크들도 안전장치 마련에 나서고 있다.
◇생성형 AI 발전으로 관련 범죄 급증
IT 전문 매체 와이어드에 따르면, 오픈AI가 2025년 상반기에 국립실종아동착취센터 바다이야기게임기 (NCMEC)에 접수한 아동 착취 사건 신고 건수는 7만5027건으로 집계됐다. 이는 지난해 상반기 신고 건수 947건의 80배에 이르는 수치다. 올해 상반기와 작년 상반기 아동 착취 콘텐츠 수는 각각 7만4559개와 3252개였다.



그래픽=조선디자인랩 한유진
야마토통기계

NCMEC의 사이버 신고 센터(CyberTipline)는 아동 착취 사례를 신고하는 의회 승인 기관이다. 기업이 법적으로 아동 착취가 의심되는 경우 센터에 신고하면 센터는 이를 검토한 후 적절한 법 집행 기관에 수사를 의뢰한다. 이번 집계에는 9월 출시된 동영상 생성 AI ‘소라’와 관련된 신고는 없었는데, 이 야마토게임다운로드 를 포함하면 사례가 더 늘어날 것으로 추정된다.
이처럼 최근 AI로 인한 부작용은 심각해지고 있다. 미국에서는 10대 소년이 챗GPT와 대화를 나눈 뒤 사망에 이르렀다며 유족이 오픈AI를 상대로 소송을 제기하기도 했다. 미국, 유럽 등에서 청소년에 대한 SNS 규제 논의는 본격 시작됐지만, 생성형 AI에 대한 논의는 초기 단계다. 미국 4 야마토게임예시 2개 주 법무장관들은 구글·메타 등 빅테크와 오픈AI·엔스로픽·xAI·퍼플렉시티 등 주요 AI 스타트업에 서한을 보내 챗봇 안전장치 강화를 촉구했다. 이들은 “생성형 AI가 내놓는 아첨적이거나 망상적 출력으로 인한 피해를 즉각 완화하고, 아동 보호를 위한 추가 안전장치를 도입하라”며 “조치를 소홀히 할 경우, 각 주 법률을 위반할 수 있다”고 했다.
오션파라다이스릴게임◇안전장치 만드는 빅테크
AI 개발 기업들은 안전장치를 내놓고 있다. 오픈AI는 챗GPT에 연령 예측 모델을 차례로 도입하고 있다. 이 모델은 이용자가 챗GPT와 나누는 대화의 주제나 주로 사용하는 시간대 등을 분석해 해당 이용자가 18세 미만인지를 판별한다. 앤스로픽도 챗봇 클로드와의 대화 과정에서 이용자가 미성년자일 가능성을 시사하는 미묘한 대화 신호를 감지하는 시스템을 개발 중이다. 미성년자로 확인된 계정은 비활성화되며, 대화 중 스스로 미성년자임을 밝힌 이용자는 이미 별도로 표시된다.
메타는 부모가 10대 자녀들이 AI 캐릭터와 일대일 채팅을 하는 것을 간편하게 차단할 수 있는 새로운 방법을 도입했다. 또한 10대에 적합한 답변을 제공하도록 AI를 설계하는 등의 조치도 취하고 있다.