국가 차원의 인공지능(AI) 경쟁력 제고를 목표로 추진되고 있는 '독자 AI 파운데이션 모델 프로젝트(독파모)'의 평가가 진행을 거듭할수록 논란을 낳고 있다.
사실 경쟁 사업에서 평가 결과를 둘러싼 이견 발생이 그리 특별하지는 않다. 기업마다 이해관계가 다르고, AI 모델의 성능을 하나의 기준으로 평가하기도 쉽지는 않은 일이다. 문제는 같은 논란이 평가 단계마다 반복되고 있다는 점이다.
엄밀히 독파모는 최우수 AI 모델 하나를 선정하는 수준에서 그치는 사업이 아니다. 막대한 국가 자원이 투입되는 것은 물론, 국내 AI 산업의 전반적 역량을 끌어올리기 위한 종합 정책 사업으로 봐야 한다.
따라서 최종 결과 못지않게, 과정의 공정성과 평가에 대한 신뢰는 매우 중요하다. 정부는 객관적 평가를 통해 국가 대표 모델을 선정해야 하고, 참여 기업은 정해진 기준에 따르면서 결과를 존중해야 한다.
최근 논란의 핵심은 외부 벤치마크와 독파모 자체 평가 사이의 차이다. 물론 특정 평가에서 높은 점수를 받은 모델이 종합 평가에서 기대와 다른 결과를 받은 것이 잘못된 것은 아니다. AI의 경쟁력 지표는 단순히 벤치마크 점수만으로 판별될 수 없으며, 전문가의 판단이나 실제 유저의 체감 성능까지 골고루 평가돼야 하는 것이 옳다.
그러나 반대편의 문제 제기 역시 가볍게 볼 수 없다. 정부가 평가 항목과 배점을 어떻게 적용했는지, 각 평가별 편차를 얼마나 공정하게 조정했는지, 전문가 집단과 유저들 간 모델을 평가하는 기준은 무엇인지 등을 명확하게 설명하지 못한다면, 결과에 대한 의문은 자연스럽게 커질 수밖에 없다. 어느 주체의 주장이 옳고 그른지는 다음 문제다.
사실 AI는 일반 제품들과는 달리, 단편적 시각으로 사양 및 제원을 비교하기가 힘들다. 언어 능력은 물론이고, 이해 및 추론, 멀티모달, 에이전트 적용, 보안성, 비용 효율성 등 평가 요소가 워낙 광범위한 데다, 이마저도 영역은 실시간으로 확대되고 있다. 태생적으로 어떤 항목에 높은 가중치를 주느냐에 따라 순위가 달라질 수밖에 없는 구조다.
이는 결과를 놓고 서로 다른 해석이 나오지 않도록, 평가 시스템을 얼마나 정교하게 짜는지가 관건임을 의미한다. 무엇을 평가했는지, 어떤 항목을 선택한 이유가 무엇인지, 각 평가 가중치는 어떻게 되는지, 정성 평가와 정량 평가의 기준이 무엇인지 등에 대한 명확한 가이드라인이 제시돼야 한다. 평가에 대한 신뢰가 무너지면, 그 여파는 다음 경쟁과 다음 정책으로 이어진다.
무엇보다 평가 과정에서의 이의 제기가 제도 개선의 계기로 자리매김할 수 있다는 인식도 필요하다. 정부는 모든 평가가 완벽할 수 없다고 인정하고, 합리적인 문제 제기에 대해서는 진지하게 받아들이고 개선하려는 노력을 기울여야 한다. 반대로 기업 역시 공개된 평가 절차와 납득할 만한 설명을 확인했다면, 결과에 승복하는 자세를 갖춰야 한다.
독파모의 진정한 성패는 누가 최후의 1인이 되느냐에만 달려 있진 않다. 정부, 기업, 국민 모두 매 평가 과정마다 납득할 수 있는 평가 체계가 마련되는 것만이, 독파모가 진정한 국가 AI 경쟁력 강화의 초석이 될 수 있는 길이다.
김충범 테크지식산업부장
이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 김충범 테크지식산업부장이 최종 확인·수정했습니다.
ⓒ 맛있는 뉴스토마토, 무단 전재 - 재배포 금지