생성AI가 인용 출처를 왜곡하는가...선전 확산 메커니즘 분석

민주주의 수호 재단이 최근 공개한 연구는 거대언어모델(LLM)이 인용 출처를 조작하거나 왜곡하는 방식으로 선전을 증폭시키는 현상을 처음으로 체계적으로 측정했다.

연구팀은 ChatGPT, Claude, Gemini 등 주요 생성AI 모델들이 사용자 질문에 답변할 때 실제로 존재하지 않는 출처를 만들어내거나, 기존 기사의 맥락을 왜곡해 인용하는 패턴을 발견했다. 특히 정치·사회 이슈와 관련된 질문에서 이런 현상이 두드러졌다.

문제는 일반 사용자가 AI 답변의 출처를 검증하기 어렵다는 점이다. 신뢰도 높은 플랫폼이 제공하는 정보라는 인식 때문에 왜곡된 인용을 그대로 받아들이기 쉽다. 이는 특정 정치진영에 유리한 방향의 선전이 마치 객관적 사실처럼 확산되는 경로가 된다.

연구진은 AI 개발사들이 인용 검증 시스템을 강화하고, 사용자에게 출처의 신뢰도를 명시하도록 권고했다. 동시에 규제 당국도 생성AI의 '환각(hallucination)' 현상이 단순한 기술 오류를 넘어 정보 생태계를 훼손하는 문제임을 인식해야 한다고 지적했다.