[지데일리] 생성형 인공지능(AI)이 만들어내는 성착취물이 인터넷을 뒤덮고 있지만, 정작 이를 설계·구현하는 개발 현장에서는 “어떻게 나쁘게 쓰일지 자연스럽게 떠오르지 않는다”는 말이 여전히 나온다.?

기술은 이미 딥페이크 성범죄와 젠더 기반 괴롭힘의 핵심 인프라가 됐는데, 위험을 감지하고 차단해야 할 출발점인 개발 문화와 데이터 거버넌스는 여전히 ‘성중립적’인 척 침묵하고 있는 셈이다.







생성 릴게임바다이야기사이트 형 AI 딥페이크로 디지털 성범죄가 급증하지만, 개발자 문제의식은 부족하다. 한국여성정책연구원 연구는 AI 전문가 인터뷰로 개발 문화의 윤리 공백을 드러냈고, 한국어 젠더폭력 데이터셋 부재를 지적했다. 공공 주도의 데이터 구축과 문화 변화가 시급하다. ⓒ픽사베이




황금성릴게임사이트


최근 한국여성정책연구원이 발표한 '디지털 기반 젠더폭력 방지를 위한 AI 벤치마크 데이터셋 필요성 연구'는 이러한 간극을 정면으로 드러낸다.?
연구진이 대기업·일반 대기업·IT 스타트업, 공공 프로젝트 등에 참여 중인 거대언어모델(LLM) 및 AI 실무 담당자 8명 우주전함야마토게임 을 심층 인터뷰한 결과, 상당수 개발자가 “AI가 젠더폭력과 어떤 식으로 연결될 수 있는지”를 애초에 문제로 상정하지 않는다는 사실이 확인됐다.?
한 30대 대기업 개발자는 “(AI가) 어떻게 나쁘게 이용될지에 대해 자연스럽게 생각이 안 들어서 (문제) 인식을 잘 못했다”며 “AI를 통해서 성희롱이나 성적 괴롭힘에 어떤 문제가 있을 수 모바일릴게임 있는지 전혀 떠오르지 않는다”고 말했다.
공공 부문 프로젝트에서도 상황은 크게 다르지 않았다. 정부 기관의 AI 플랫폼을 구축 중인 한 50대 중소기업 개발자는 한국지능정보사회진흥원(NIA) 등의 자료를 찾아보면서도 “동료들이 윤리·안전 가이드라인에 그렇게 관심이 있지 않다”며 “신경을 아직 못 쓰고 있다”고 토로했다.?
바다이야기게임기 또 다른 대기업 기술기획 담당자는 “완전 하위 레벨에서 개발하는 분들은 (안전 문제를) 너무 싫어한다”며, 데이터의 안전성과 젠더폭력 위험을 점검하는 일보다 모델의 완성도와 효율을 높이는 것이 사업적으로 우선이라는 인식을 전했다. 결국 AI 윤리·안전은 개발 프로세스의 ‘옵션’으로 취급되고, 젠더폭력 방지는 그 옵션 안에서도 후순위에 머무는 구조가 고착되고 있는 것이다.
문제는 이런 개발 문화가 이미 현실에서 피해로 이어지고 있다는 점이다. 성평등가족부와 한국여성인권진흥원이 발표한 ‘2024 디지털성범죄 피해자 지원 보고서’에 따르면, 중앙 디지털성범죄피해자지원센터를 통해 상담·삭제 지원·법률 연계 등을 받은 디지털 성범죄 피해자는 2024년 1만305명으로, 전년 8983명에서 14.7% 증가했다.?
피해 영상물 삭제 지원 건수는 30만여 건으로 전년 24만5000여 건에서 22.3% 늘어 처음으로 30만 건을 넘어섰고, 이 중 약 4분의 1은 이름·연령·주소 등 개인정보 유출이 동반된 피해였다.?
보고서는 특히 AI 기반 합성기술을 악용한 딥페이크 성착취물이 증가하면서, 피해자의 동의 없이 얼굴과 신체를 합성한 영상 유포, 이를 미끼로 한 협박, 재유통 확산 등이 복합적으로 일어나고 있다고 지적했다.
지역 단위에서도 생성형 AI를 활용한 성범죄는 이미 ‘일상적인’ 수사 통계로 잡히고 있다. 작년 광주·전남 지역에서만 여성 신체를 몰래 촬영해 유포하거나, 피해자 얼굴을 합성한 딥페이크 영상으로 협박하는 등 사이버 성폭력 범죄로 검거된 인원은 1년 새 126명에 달했다.?
피의자 상당수는 상용·오픈소스 AI 이미지 생성도구를 통해 손쉽게 합성물을 제작했고, 텔레그램·SNS·익명 커뮤니티를 유통 통로로 삼았다. 이런 사례는 기술 장벽이 낮아질수록 ‘지인능욕’과 같은 디지털 성범죄가 누구에게나 가해질 수 있는 위험으로 확장되고 있음을 보여준다.
딥페이크 기술의 악용은 더 이상 해외 사례가 아닌 한국 사회의 구체적 젠더폭력 양식으로 자리 잡고 있다. 한국 사회에서 2010년대 중반 포착되기 시작한 ‘지인능욕’은 소라넷, 이후 텔레그램 등에서 여성의 사진을 무단으로 가져와 성적 합성물을 제작·유포하는 방식으로 확산됐고, 최근에는 딥러닝 기반 얼굴 합성 기술이 결합되면서 피해 양상이 더욱 잔혹해졌다.?
교사·공무원·방송인 등 특정 직업군 여성의 얼굴을 합성해 성착취물을 제작하거나, 전 연인·동료·동급생 등 실제 관계를 딥페이크 영상으로 왜곡해 보복과 괴롭힘 도구로 사용하는 방식이 보고되고 있다. 일부 사례에서는 피해자의 연락처와 실명, 근무지까지 함께 유포되어 2차 스토킹과 오프라인 위협으로 이어지기도 했다.
그러나 이처럼 명백히 젠더화된 폭력이 AI 기술과 결합해 발전하고 있음에도, 기술 개발 단계에서 젠더폭력은 여전히 ‘비즈니스 요구사항’ 바깥의 문제로 취급된다. 여성정책연구원의 연구는 현 개발 문화 속에서 윤리·안전정책이 “있으면 좋은 것” 정도로 간주되며, 실적과 출시 일정, 모델 성능 지표에 밀려 우선순위에서 밀리고 있다고 분석한다.?
특히 하위 레벨 개발자일수록 “안전 이슈를 위해 추가 필터링·테스트를 하는 과정이 귀찮고, 업무 부담만 늘린다”고 인식하는 경향이 나타났다. 다시 말해, 젠더폭력 방지는 도메인 전문가·법무·정책 부서의 몫으로 치부되고, AI 개발은 ‘중립적인 기술 작업’이라는 자기 정당화가 작동하는 것이다.
아이러니하게도 인터뷰에 참여한 개발자들은 “젠더폭력 방지를 위한 안전 체계 구축은 공공 부문이 앞장서야 한다”는 점에는 상당 부분 공감했다.?
한 대기업 AI 담당자는 “(젠더폭력을 명시하는 안전정책 강화가) 기업에선 어려울 것 같다”며, 이미 해외에서 마련된 안전 관련 기준과 사례가 많으니 이를 한국어 데이터셋으로 제공한다면 업계가 적극적으로 활용할 수 있을 것이라고 말했다.?
이는 민간 기업이 자발적으로 젠더폭력 관점의 안전규범을 설계·적용하기보다는, 공공이 명확한 가이드라인과 평가 기준을 제시하고 이를 준수하도록 요구해야 현실적인 변화가 가능하다는 역설적 인식이기도 하다.
연구진이 국내외 AI 벤치마크 데이터셋 구축 현황을 비교한 결과는 이 같은 인식의 공백을 수치로 보여준다. 영어권에서는 이미 혐오발언·성차별·혐오 표현을 탐지·차단하기 위한 여러 벤치마크 데이터셋이 구축되어 있고, AI 모델 성능 평가 시 이런 사회적 안전성 지표가 주요 기준으로 활용되는 사례가 늘고 있다.?
반면 한국어 데이터셋은 지역·연령·직업 등 일반적인 사회편향을 판별하는 수준에 머물러 있고, 한국 사회의 젠더폭력·여성혐오 맥락을 정교하게 반영한 벤치마크는 거의 전무한 상태다.?
연구보고서는 “성희롱을 비롯한 젠더 기반 괴롭힘이 특정 문화권의 상징체계, 언어적 함축, 세대별 은어와 신조어를 통해 우회적으로 표현된다”는 점을 지적하며, 한국어와 한국 젠더문화에 특화된 데이터셋 개발의 시급성을 강조했다.?
실제 한국 온라인 커뮤니티에서 통용되는 여성혐오 표현과 젠더 비하 은어는 번역으로는 드러나지 않는 ‘로컬 코드’다. 특정 아이돌 팬덤을 겨냥한 비하 표현, 여성의 외모와 몸을 숫자화해 평가하는 용어, 데이트 폭력과 디지털 성범죄를 정상화하거나 조롱하는 말투 등은 사전적 의미만으로는 폭력성을 포착하기 어렵다.?
이 때문에 해외에서 설계된 혐오발언 필터를 그대로 들여와 한국어 서비스에 적용하면, 노골적인 욕설 일부만 걸러낼 뿐, 한국형 젠더폭력 담론의 미묘한 뉘앙스와 구조적 차별은 그대로 통과시킬 위험이 크다.
여성정책연구원은 이러한 이유로 “한국의 특수한 젠더갈등 양상, 온라인 커뮤니티 담론, 언어적 뉘앙스를 반영한 데이터셋에 관한 논의는 거의 이뤄지지 않는 상황”이라고 진단했다. 연구는 인공지능기본법 시행을 앞둔 현 시점에서, 상용 인공지능의 잠재적 성적 침해 및 편향 가능성을 검증할 수 있는 공신력 있는 기준이 필요하다고 강조했다.
특히 젠더폭력 위험을 체계적으로 측정·비교할 수 있는 벤치마크 데이터셋은, “경제적 이해관계에서는 중요하게 고려되기 어려운 영역인 젠더편향·차별·젠더폭력에 공공이 적극 개입해야 할 근거”라고 규정한다.
이 연구와 각종 통계, 사례들이 공통으로 던지는 메시지는 먼저, 생성형 AI는 이미 디지털 성범죄와 젠더폭력의 핵심 인프라로 기능하고 있으며, 이는 피해자 수와 딥페이크 검거 사례의 증가로 입증되고 있다.?
그럼에도 AI 개발 현장은 이러한 위험을 ‘개발 외부의 문제’로 밀어두고 있고, 안전·윤리 기획은 제품 성능과 속도 경쟁에 밀려 후순위 과제로 남아 있다. 한국 사회 특유의 젠더 갈등과 여성혐오 담론을 반영한 한국어 데이터셋과 벤치마크가 부족해, 해외 기준을 그대로 적용하는 방식으로는 실제 피해 양상을 제어하기 어렵다.
에에 ‘AI 윤리’라는 추상적 구호를 넘어서, 젠더폭력 방지라는 구체적 목표를 향해 제도·기술·문화 차원의 행동을 설계하는 데 있다. 우선 공공 부문이 젠더폭력 관점을 반영한 AI 벤치마크 데이터셋을 주도적으로 구축해야 한다는 요구가 나온다.?
이 데이터셋에는 한국 온라인 커뮤니티에서 실제로 사용되는 여성혐오·성희롱·성착취 관련 표현과 맥락, 피해자 증언에서 드러나는 언어 패턴, 플랫폼별 유통 양상이 체계적으로 반영돼야 하며, 수집·가공 과정에서 피해자 보호와 2차 가해 방지를 위한 비식별화·접근 제한이 엄격히 설계돼야 한다.?
공공이 이렇게 구축한 데이터셋을 상용 AI의 학습·검증 단계에서 ‘의무적으로’ 활용하도록, 인공지능기본법 하위 규정과 조달 기준, 인증제도 등에 반영하는 것도 필요하다.
또한 개발 조직 내부의 목표 설정 방식을 바꾸는 노력이 뒤따라야 한다. 지금까지는 정확도·속도·비용 효율성이 AI 프로젝트의 주요 지표였다면, 앞으로는 “젠더폭력·성착취물 생성 및 유통 가능성을 얼마나 낮췄는가”를 별도의 성과 지표로 설정하는 식의 재구성이 요구된다.?
이를 위해 벤치마크 데이터셋을 활용한 정기적 안전성 평가를 개발 프로세스의 필수 단계로 편입하고, 그 결과를 공시·감독과 연계하는 방안도 검토할 수 있다.
더불어 교육과 문화 차원의 개입이 필요하다. 개발자 교육 과정과 사내 트레이닝에서 젠더폭력과 디지털 성범죄의 실제 피해 사례, 딥페이크·지인능욕의 구체적 메커니즘, 법적 책임과 윤리 기준을 다루는 커리큘럼을 의무화하면, “어떻게 나쁘게 쓰일지 떠오르지 않는다”는 인식 자체를 줄일 수 있다.?
동시에 채용·평가·리더십 구조 안에서 다양성을 확대하고, 여성·소수자 개발자의 참여를 늘리는 것도 기술 설계 단계에서 감수성을 높이는 방법이 될 수 있다.
이와 함께 이용자와 시민사회가 AI 안전성 논의의 외곽이 아닌 중심으로 들어와야 한다. 여성단체와 인권단체, 피해자 지원 기관이 AI 정책·표준 논의 테이블에 참여해 벤치마크 설계와 안전 가이드라인 수립 과정에서 실제 피해 경험을 반영할 수 있도록 제도적 경로를 마련해야 한다. 플랫폼 기업과 AI 기업은 딥페이크·성착취물 탐지·신고·삭제 시스템을 고도화하는 동시에, 투명한 통계 공개와 외부 감사를 통해 책임성을 높여야 한다는 주장이다.?
생성형 AI는 이미 한국 사회의 젠더폭력을 ‘가속’하는 거대한 증폭기다. 이 증폭기를 어떻게 설계·조정하느냐에 따라, 앞으로의 10년은 더 폭력적인 인터넷이 될 수도, 혹은 기술이 폭력을 감지하고 차단하는 새로운 안전망이 형성되는 시기가 될 수도 있다. 지금 필요한 것은 “개발자가 할 수 있는 일이 있을까”라는 체념이 아닌 기술과 정책, 문화 전반에서 젠더폭력 방지를 ‘기본 설정’으로 삼겠다는 집단적 결단이라 하겠다.