독파모 글로벌 평가 '이변'…모티프·업스테이지 1·2위

국가대표 인공지능(AI)을 선발하는 독자 AI 파운데이션 모델(독파모) 프로젝트 2차 평가에서 글로벌 성능 지표상 스타트업들이 대기업을 앞서는 결과가 나왔습니다.

모티프테크놀로지스와 업스테이지가 글로벌 AI 성능 평가 지수에서 각각 1·2위를 차지한 반면 1차 평가 1위였던 LG AI연구원은 최하위로 밀렸습니다.

다만 해당 지표는 전체 평가의 일부인 데다 한국어 성능을 반영하지 않고 벤치마크 점수 자체를 겨냥한 이른바 '벤치맥싱' 논란도 있어 이를 독파모 모델의 실제 경쟁력이나 최종 평가 결과로 단정하기는 어렵다는 지적이 나옵니다.

오늘(13일) AI 업계에 따르면 글로벌 AI 성능 평가 기관 아티피셜 애널리시스가 산출하는 '아티피셜 애널리시스 인텔리전스 지수(AAII)'에서 독파모 4개 참여사 모델의 최신 점수는 모티프테크놀로지스 '모티프 3'가 47점으로 가장 높았습니다.

이어 업스테이지 '솔라 오픈2'가 37점, SK텔레콤 '에이닷엑스(A.X)-K2'가 35점, LG AI연구원 'K-엑사원(EXAONE) 2.0'이 31점 순이었습니다.

LG AI연구원은 지난해 12월 독파모 1차 평가에서 벤치마크 종합 33.6점으로 1위를 차지한 바 있어 이번 결과가 더욱 눈길을 끕니다.

다만 이번 AAII 점수가 독파모 2차 평가 최종 결과를 곧바로 의미하지는 않습니다.

독파모 2차 평가에서 벤치마크 평가는 총 100점 만점 중 40점을 차지하며, 이 중 AAII가 25점, 한국지능정보사회진흥원(NIA) 벤치마크 평가가 15점을 담당합니다.

나머지 배점은 전문가 평가(35점)와 사용자 평가(25점)로 구성됩니다.

AAII는 지식·추론·코딩 등 영역별 개별 벤치마크 여러 개를 묶어 단일 점수로 환산하는 종합 지수 방식입니다.

모델의 전반적인 지적 능력을 하나의 수치로 비교하는 데는 유용하나, 어떤 벤치마크를 묶느냐에 따라 점수 변동이 큽니다.

버전 업데이트마다 수학 등 특정 분야가 통째로 빠지기도 하며, 주요 벤치마크 교체 시 10~20점 수준의 변동도 발생합니다.

특히 한국어 벤치마크가 반영되지 않는다는 점이 한계로 꼽힙니다.

한국어를 포함한 다국어 이해 능력이나 특정 산업 과업에서의 성능, 운영 효율 등은 AAII만으로 가늠하기 어렵다는 것입니다.

이런 가운데 벤치마크 점수 자체의 신뢰성을 둘러싼 논란도 여전합니다.

AI 업계에서는 벤치마크 취약 항목을 집중적으로 공략해 실제 성능과 무관하게 점수만 끌어올리는 행위를 '벤치맥싱'이라고 부릅니다.

오픈AI 공동 창업자 출신인 안드레이 카파시 앤트로픽 AI 연구원은 지난해 연간 보고서를 통해 "벤치마크에 대한 신뢰를 잃었다"고 밝힌 바 있습니다.

국내 AI 업계 관계자도 "벤치마크 점수만 올린 모델이 실제 성능까지 담보하지는 않는다"고 말했습니다.

정부는 전문가 평가와 이용자 평가를 병행하는 만큼 벤치마크 과적합 문제가 있더라도 충분히 보완될 수 있다는 입장입니다.

정부는 어제(12일) 마감한 국민 평가를 마지막으로 독파모 2차 평가 결과를 조만간 발표할 예정입니다.

최종 평가에서 4개 참여사 중 3팀이 생존해 다음 단계로 진출합니다.

(사진=연합뉴스)