KT가 국내외 인공지능(AI) 모델을 한 곳에서 이용하고 사용량과 비용까지 통합 관리할 수 있는 AI 플랫폼 '토큰팩토리'를 오는 30일 출시합니다.

출시 초기에는 AI 모델 73종을 제공하고 다음 달 글로벌 AI 플랫폼 오픈라우터와 연계해 500개 이상의 모델을 연계할 예정입니다.

기업 고객을 시작으로 내년 3월에는 개인과 개발자까지 서비스 대상을 확대하고 구독형 요금제도 선보일 계획입니다.

KT는 오늘(27일) 서울 종로구 광화문 웨스트빌딩에서 기자간담회를 열고 AI 모델 선택부터 비용 관리, 보안 기능까지 통합 제공하는 'KT 토큰팩토리'를 공개했습니다.

토큰팩토리는 업무 목적과 비용에 맞는 AI 모델을 선택하고 이용 현황 모니터링부터 결제까지 통합 관리할 수 있는 플랫폼입니다.

KT는 자체 개발한 AI 모델 라우팅 기술 오토 모델 라우터를 적용해 비용 효율성을 높였습니다.

이 기술은 질문의 업무 유형과 난이도, 요구 품질, 비용 등을 종합적으로 분석해 적합한 AI 모델을 자동으로 선택합니다.

KT에 따르면 오토 모델 라우터는 글로벌 벤치마크 '라우터아레나'에서 종합 1위를 기록했습니다.

한국어 특성을 고려한 프롬프트 압축 기술도 적용했습니다.

불필요한 반복 표현 등을 제거해 질문의 의미와 응답 품질을 유사하게 유지하면서 입력 토큰 수를 줄이는 방식입니다.

KT는 프롬프트 압축과 모델 라우팅 기술을 통해 토큰 사용을 최대 25% 절감할 수 있다고 설명했습니다.

프롬프트 압축으로 약 20%, 적합한 저비용 모델 선택으로 약 5%를 절감한다는 것입니다.

출시 초기 제공하는 AI 모델 73종 가운데 7종은 KT가 국내 데이터센터의 그래픽처리장치(GPU)를 활용해 직접 추론 서비스를 제공하는 소버린 AI 모델입니다.

이진형 KT AX사업본부장 상무는 "7종은 국내에서 가장 많이 쓰는 모델과 국내 스타트업의 최신 모델을 선별한 것"이라며 "내년에는 소버린 AI 모델을 10여 종까지 확대하려고 한다"고 말했습니다.

아울러 KT는 글로벌 AI 모델 마켓플레이스 사업자인 오픈라우터와 국내 최초로 공식 파트너십을 체결했다고 전했습니다.

오는 11월 오픈라우터가 보유한 500개 이상의 글로벌 AI 모델을 토큰팩토리에 연계하고 국내 AI 모델을 오픈라우터를 통해 해외에 유통하는 사업도 추진합니다.

다만 글로벌 모델은 제공 사업자에 따라 해외 서버에서 추론이 이뤄질 수 있습니다.

KT는 이용자에게 모델별 제공 사업자와 운영 지역 정보를 공개할 방침입니다.

(사진=연합뉴스)