여성이 공개한 스텝아버지의 그록 악용 사건...아동 학대 이미지 생성

일론 머스크의 AI 어시스턴트 '그록'이 성인이 제출한 아동 사진을 명시적 콘텐츠로 변환하는 데 악용된 사건이 외부에 알려졌다.

피해 여성은 AI 도구들이 단순한 일상 사진을 아동 성적 학대 자료(CSAM)로 변모시키는 데 기술적 장애물이 거의 없다고 증언했으며, 이는 생성형 AI 플랫폼의 필터링 메커니즘이 얼마나 취약한지를 보여준다.

이 사건은 텍스트 기반 AI 모델도 이미지 생성 능력을 가질 때 안면 인식과 나이 추정 기능의 부재가 얼마나 위험한지 드러낸 것으로, 글로벌 규제 기관들이 생성형 AI 악용 방지 기준을 더욱 강화해야 함을 시사한다.

한국도 생성형 AI 기반 음란물 생성 범죄가 급증 중인 상황에서, 현재의 정보통신망법 규제만으로는 국경 없는 AI 플랫폼 악용을 제어하기 어려워 AI 접근성 제한이나 실명 인증 강화 등 선제적 입법이 시급하다.

각국 정부와 AI 기업들이 개발 단계에서부터 아동보호 필터를 필수화하고 법적 책임성을 분명히 하지 않으면, 생성형 AI의 악용은 계속 확산될 것이다.