AI 모델 평가는 기술 문제가 아니라 정책 문제다

Hugging Face의 정책 담당자 Irene Solaiman은 AI 랩들이 모델 벤치마킹이라는 중립적이고 정확한 평가 시스템에 명성을 걸고 있지만, 실제로는 이 평가 방식이 복잡하고 아직 성숙하지 않았다고 지적했다. 각 AI 제품이 다른 제품보다 얼마나 나은지를 측정하도록 설계된 이 평가 체계가 진정 중립적인지, 어떤 기준으로 만들어졌는지가 명확하지 않다는 뜻이다.

개발팀과 기업들은 AI 모델 성능을 객관적 수치로 입증하려 하지만, 누가 평가하고 어떤 데이터로 평가하느냐에 따라 결과가 달라진다. Solaiman의 지적은 벤치마크가 단순한 기술 도구가 아니라 이해관계가 얽힌 정책 문제임을 의미하며, 투명성과 거버넌스 없이는 내장형 AI 평가 도구가 진정한 해답이 될 수 없다는 경고다.