AI 에이전트 명령 승인 시 인간이 위협의 33% 놓쳐…4만 회 게임 실험 결과

AI 시스템이 확대되면서 자동화된 에이전트의 행동을 제어하기 위해 인간 승인 시스템이 널리 도입되고 있다.

최근 연구에서 4만 회 게임 시뮬레이션을 통해 인간 검토자들이 AI 에이전트의 위협적 명령 중 약 33%를 승인해버린 것으로 확인되었으며, 이는 기존의 인간 감시 체계가 생각보다 훨씬 취약함을 의미한다.

복잡한 명령이나 의도가 불명확한 상황에서 오류율이 더 높아지는 패턴을 보여, 인간의 주의력 한계와 피로도가 AI 통제의 주요 약점임을 시사한다.

국내 AI 규제 정책이 인간 감시(human oversight)를 핵심 통제 수단으로 삼고 있는 가운데, 이 연구 결과는 AI 기업의 자율규제만으로는 부족하며 독립적인 제3자 감시나 기술적 제약 장치를 강화할 필요성을 제기한다.

향후 AI 안전 체계는 인간 검토에만 의존하기보다 자동화된 감지 기술, 다층 승인 프로세스, 명확한 거부 기준 등 다중 안전장치를 결합하는 방향으로 진화해야 할 것으로 보인다.