한국여성정책연구원 세미나, 사후 대응이 표준이 된 젠더폭력 대응 구조 지적
“사후 대응 뿐 아니라 사전 설계 중요…성평등 정책 AI 기술 영역으로 확장해야”
사전 예방 위해 ‘플랫폼 책임성’ 강화해야 “민·관 적극적인 의지, 책임 분담 필수”인공지능(AI) 기술을 활용한 디지털 젠더폭력이 급속도로 확산되는 가운데, 삭제 요청에 기반한 사후 대응 중심 구조가 피해 확산을 막지 못하고 있다는 비판이 제기됐다. 기술 설계 단계부터 성평등 관점을 반영하고, 플랫폼의 사전 책임을 강화하는 등 사전 예방 방안을 적극 모색해야 한다는 지적이 나온다.
지난 16일 서울 은평구 한국여성정책연구원에서 진행된 개원 43주년 기념 세미나 'AI 시대 디지털 젠더폭력 대응 정책의 전환 모색: 사후 조사에서 사전 예방으로'에서는 AI 확산 속 디지털 젠더폭력을 대응할 구체적인 방안들이 논의됐다. AI가 상용화되면서 디지털 성착취물 제작·유통은 더 조직화, 자동화된 방식으로 확산되고 있다. 텍스트 프롬프트 하나로 몇 초 내 성착취물 생성이 가능한 환경에서 피해가 수익으로 이어지는 시장 구조는 더 커지는 상황이다. 피해자가 피해 사실을 알지 못하는 경우도 다수이고, 딥페이크 봇·텔레그램 익명 채널을 경유하면 생성자와 유포자가 분리되고 증거가 빠르게 삭제돼 가해자 특정도 어렵다.
그러나 현재의 디지털 젠더폭력 대응 구조는 삭제 요청에 기반한 사후 대응에 집중돼 있어 피해 확산 속도를 따라잡기엔 역부족이라는 지적이 나온다. 가령, 2024년 디지털성범죄 피해영상물 삭제지원은 약 30만 건에 달했으나 국외 서버 기반 사이트가 많아 실질적 삭제에는 한계가 있었고, 삭제 이전 이미 영상이 빠르게 복제·재유포되는 상황이 반복됐다. 콘텐츠 유통량이 수익과 직결되는 미디어 산업 환경에서 플랫폼 자율 규제가 이뤄지기도 어렵다.
이날 발제에 나선 김애라 한국여성정책연구원 연구위원은 "사후 대응은 당연히 해야 하는 것이고, 선제적 대응 방안을 찾아야 한다"며 "젠더폭력이 기술 인프라를 경유해 발생한다면 개입 역시 젠더폭력의 생성과 유통 단계에서 기술적 마찰을 일으켜야 한다"고 말했다. 생성·유통 과정에서의 어려움을 높여 발생 빈도와 규모 자체를 줄여야 한다는 설명이다.
그는 성인지적 AI를 설계해야 한다고 강조했다. 전 생애주기에 걸쳐 젠더 권력 관계, 교차적 불평등, 폭력 구조를 체계적으로 검토하고 차단하도록 설계된 AI를 도입해야 한다는 설명이다. 이를 위해 그는 기술 설계 단계에서 젠더편향과 젠더폭력 측면을 검토하는 절차를 의무화하는 방안을 제안했다. 챗봇, 교육AI, 고객상담 AI 서비스 등에 한국어 맥락의 젠더폭력 방지 평가 기준을 구축할 수 있는 시스템을 실시해야 한다는 제안도 나왔다.
지난 1월 시행된 인공지능 기본법에도 젠더폭력에 대한 위험성이 빠져있다는 지적이 제기된다. 특히 김 위원은 사람의 생명·신체 안전과 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI 시스템을 규정한 '고영향 AI' 범주 안에 젠더폭력 위험 관련 내용을 명시해야 한다고 했다. 디지털 젠더폭력을 빠르게 대응해야 할 정부 기관의 역할이 각 부처마다 분산돼 있어, 부처 간 효율적인 협력 구조 마련도 필요하다.
김 위원은 "부처 간 협력체가 존재한다면 협력 의무나 공개 보고 같은 규정을 마련해야 한다"며 "어떤 것이 젠더폭력인지, 그 위험성을 어떻게 측정할 것인지 기준이 될 수 있는 '젠더 안전 지표'를 수립하고 관련해 사회적으로 공론화하는 과정도 필요하다"고 말했다. 아울러 "사후 대응 뿐만 아니라 사전 설계 측면에 눈을 돌릴 필요가 있다"고 강조하며 "법, 제도, 관행 중심의 성평등 정책 영역을 AI 기술 영역으로 확장하려는 적극적인 논의가 필요하다"고 했다.
디지털 젠더폭력의 사전 예방을 위해선 플랫폼의 역할과 책임도 중요하다. 두 번째 발제에 나선 정연주 한국여성정책연구원 부연구위원은 "온라인 환경에서 유통되는 아동·청소년 성착취물에 대해 국가가 플랫폼의 협조 없이 유통을 효과적으로 통제하는 데에는 한계가 있다. 플랫폼에는 불법정보 발견 시 신고·삭제 의무가 부여돼 있지만 사후 대응만으로는 유포 예방에 한계가 존재한다"며 플랫폼의 책임성 강화 필요성을 강조했다.
해외에선 관련해 다양한 모델이 운영되고 있다. 인도네시아는 민간 전자시스템운영자 규정(MR5)을 통해 민간 전자시스템운영자에 대해 국가 시스템에 등록할 의무를 부과하고, 플랫폼에 금지된 전자정보가 포함되면 제재하는 시스템을 구축하고 있다. 금지정보가 발견돼 정부에서 삭제를 명령했는데 이행하지 않을 경우엔 서면경고, 벌금, 시스템 접근 차단까지 이뤄질 수 있다. 지난 1월 아동·청소년 성착취물 생성·유포로 비판받은 AI 챗봇 '그록'이 인도네시아에서 차단됐고, 이후 운영사 측의 재발 방지 약속을 받은 후에 서비스를 조건부 재개한 사례가 있다.
EU(유럽연합)의 경우 모든 플랫폼에 동일한 의무를 부과하기보다 초대형 플랫폼에 더 큰 위험 완화 의무를 부과하는 차등 규제 구조를 운영하고 있다. 초대형 플랫폼(월간 EU 이용자 4500만 명 이상)은 서비스 설계와 알고리즘 시스템, 콘텐츠 조정, 광고 시스템, 데이터 관행 등이 일으킬 수 있는 위험을 정기적으로 평가해야 한다. 특히 미성년자 보호, 불법 콘텐츠 확산, 기본권 침해, 젠더 기반 폭력 등 구조적 위험을 사전에 평가하고 관리하도록 한다. 의무를 위반하면 최대 전세계 연매출의 6%까지 벌금을 부과할 수 있다.
영국 온라인 안전법(OSA)은 미성년자에게 영향이 큰 주요 플랫폼에 대해 아동을 보호할 법적 의무를 부과하고, 서비스 설계·운영 전반에서 안전 확보를 요구한다. 특히 규제기관인 오프콤(Ofcom)이 플랫폼이 수행해야 할 위험성 평가, 보호조치의 구체적 기준을 제시하고 의무 이행 여부를 감독·평가한다. 호주의 경우 통신부 장관이 온라인 안전에 관한 기대 기준을 설정하고, 온라인 안전국(eSafety Commissioner)이 준수 모니터링, 가이드라인 마련, 신고·삭제 등 감독, 집행 역할을 맡는다. 온라인상 안전에 대한 기대 기준에는 신고 구조 마련, 유해물 최소화, 아동의 특정 유해물 접근 방지 등 예방적 요소에 대한 내용이 포함돼 있다.
정 위원은 "한국에서 사전 예방 정책을 설계할 때 해외 입법 사례에 기반한 고민이 필요하다"며 "규제 방식을 선택할 때 결과를 중심으로 설계할 지, 지속가능한 구조를 만드는 것에 초점을 맞출지 고민해야 하고, 플랫폼의 자율성과 국가 개입 수준의 균형도 필요하다"고 말했다. 아울러 "규제 기준의 명확성과 유연성 간의 조정이 필요하고, 규제 기관의 역할과 역량도 설계해야 한다. 기준을 설정하는 정부의 역할과 집행하고 감독하는 전담기관 간의 역할 분리 여부가 중요하다"며 "사전 예방 정책은 민·관의 적극적인 의지와 책임 분담이 필수적"이라고 강조했다.