미국 스탠퍼드대, AI 투명성 지수 발표…GPT-4 · 울트라 하위권

챗GPT 개발사 오픈AI와 구글의 최신 AI 모델의 투명성이 다른 모델 대비 크게 낮은 것으로 나타났습니다.

미 스탠퍼드대의 인간중심인공지능연구소(HAI)는 21일(현지시간) 주요 14개 AI 모델의 투명성 지수를 평가한 보고서를 발표했습니다.

지난해 10월 처음 지수를 발표한 이후 7개월 만의 업데이트로, 이번 조사 대상 모델은 지난해 10개보다 조금 더 늘었습니다.

인간중심인공지능연구소(HAI)의 투명성 지수는 사회적으로 영향력 있는 AI 개발자들이 개발 과정 등을 더 많이 공개하도록 장려하기 위한 것으로, 매개변수와 훈련 방식, 데이터 공개 여부, 설명 가능성 등의 지표를 기준으로 100점 만점으로 평가했습니다.

이번 평가에서 14개 모델 중 허깅페이스-서비스나우의 스타코더가 85점으로 가장 높은 점수를 받았고, 오픈AI의 GPT-4는 49점으로 11위에 그쳤습니다.

GPT-4는 지난해 10월 지수에서는 48점이었습니다.

오픈AI는 최근 공개한 'GPT-4o'(포오)의 음성이 미국 유명 배우 스칼릿 조핸슨의 목소리를 모방했다는 논란에 휩싸여 있습니다.

구글의 1.0 울트라는 47점으로 12위였습니다.

작년 10월에는 구글의 팜2가 조사 대상에 포함됐는데 40점이었습니다.

앤스로픽의 클로드3(51점)는 10위를 차지했고, 마이크로소프트 파이-2(62점)는 5위, 메타 라마-2(60점)는 6위를 각각 기록했습니다.

조사 대상 모델의 평균 점수는 지난해 10월 37점에서 58점으로 상승했습니다.

연구팀은 "지수의 일부 영역은 지속적으로 불투명성을 보여준다"며 "이는 거의 모든 개발자가 이에 대한 정보를 공개하지 않는다는 것을 의미한다"며 평가했습니다.

이어 "10월 이후 일부 긍정적인 발전이 있었다"며 "앞으로 투명성의 진전이 책임성 강화, 혁신 증대, 정책 개선과 같은 더 나은 사회적 결과로 이어지기를 바란다"고 밝혔습니다.

(사진=스탠퍼드 HAI 캡처, 연합뉴스)