중국 바이트댄스 매개변수 10조 AI 훈련…앤트로픽 미토스와 비슷

틱톡의 모회사인 중국 테크 기업 바이트댄스가 매개변수(파라미터)가 10조(兆) 개에 이를 가능성이 있는 대규모 인공지능(AI) 모델을 훈련 중이라고 영국 일간 파이낸셜타임스(FT)가 현지시간 7일 전했습니다.

이 전망대로라면 바이트댄스가 개발 중인 모델은 매개변수 수에 있어 미국 AI 기업 앤트로픽의 고성능 첨단 모델 '미토스'와 비슷한 수준이 됩니다.

지금까지 나온 중국 최대 규모 AI 모델은 매개변수가 3조 개인 '문샷 키미 K3'였습니다.

개발 중인 바이트댄스 모델은 현재 통상 3∼6개월이 걸리는 사전훈련(pre-training)을 하고 있으며, 모든 것이 순조롭게 진행될 경우 세부 조정을 거쳐 공개될 예정입니다.

정확한 모델 크기는 아직 결정되지 않은 것으로 알려졌습니다.

앤트로픽은 자사 모델에 쓰이는 매개변수 수를 공개하지 않지 않고 있으나, 최신 첨단 모델인 '미토스 5'는 약 8조 개, 그보다 성능이 조금 낮은 '페이블 5'는 약 5조 개라는 업계 추산이 나옵니다.

AI 모델의 성능은 매개변수 수뿐만 아니라 훈련에 쓰인 데이터의 질과 훈련 방식 등 다른 요인들에 의해서도 달라집니다.

최근 수 주간 중국 문샷과 알리바바에서 나온 AI 모델들은 비교 테스트에서 성능이 좋다는 평가를 받았으며, 일부 분야에서는 앤트로픽의 페이블 5에만 뒤지는 것으로 나왔습니다.

앤트로픽의 최신 첨단 모델 미토스 5는 현재 일부 고객에게만 제공되고 있습니다.

중국에서 페이블 5 규모의 모델을 훈련 중인 연구개발팀은 여러 개가 있는 것으로 알려졌으나, 바이트댄스는 미토스 5와 맞먹는 규모의 모델을 만들려고 시도중이라는 점에서 가장 야심이 크다는 게 업계 관계자들의 설명이라고 FT는 전했습니다.

특히 많은 중국 기업들이 개방형 AI 모델을 밀고 있는 것과 달리, 바이트댄스의 모델들은 대부분 폐쇄형입니다.

바이트댄스의 '시댄스'는 영상 생성에서 세계에서 가장 앞선 모델 중 하나로 평가되며, 일반 소비자들이 사용 가능한 더우바오(豆包)는 월 사용자가 3억 2천400만 명으로 중국에서 가장 인기 있는 AI 모델입니다.

최근 3년간 바이트댄스는 중국 테크 대기업들 중 가장 적극적으로 AI에 투자하면서 데이터센터를 확충하고 연구원들을 채용해 왔습니다.

바이트댄스는 또 기업에 AI 솔루션을 판매하는 클라우드 사업부 '볼케이노 엔진'에 대한 투자를 늘렸으며, 자체 AI 칩 개발도 추진하고 있습니다.

바이트댄스는 2023년 초에 AI 모델 기초연구팀 '시드'(Seed)를 만들었으며, 구글과 그 자회사 딥마인드에서 일하다가 2025년 2월 바이트댄스에 합류한 우융후이(吳永輝)가 현재 시드 팀의 연구 책임자입니다.

FT에 따르면 현재 시드 팀에는 중국과 해외를 합해 핵심 연구원, 인프라 엔지니어, 데이터 레이블링 팀, 번역가들 등을 합해 약 2천 명이 근무하고 있습니다.

바이트댄스 시드 팀은 다른 연구소의 기존 모델을 '증류'(distillation)하는 방식에 의존하지 않고 보다 독립적으로 모델을 개발하는 접근법을 택했다고 이 사안을 아는 한 관계자는 FT에 전했습니다.

이 방식은 1년 넘게 적용돼 왔으며, 일부에서는 이것이 경쟁사들보다 개발 속도가 느린 것처럼 보이는 원인이 됐다고 봅니다.

'증류'란 규모가 크고 복잡한 AI 모델의 지식과 출력 결과를 더 작은 모델이 모방하도록 훈련해 압축하는 과정입니다.

그러나 장이밍(張一鳴) 바이트댄스 창업자는 증류가 아니라 독자 개발을 통해서만 경쟁사를 앞서는 모델을 만들 수 있다는 확신을 품은 것으로 알려졌습니다.

장이밍은 약 2주 전 내부 회의에서 시드 팀에 단기적으로 뒤처지는 데 지나치게 우려하지 말고 장기적으로 "세계 최고 수준의 모델 역량"을 목표로 하라고 말한 것으로 알려졌습니다.

이 발언은 중국의 경제·테크 전문 매체 레이트포스트(LatePost·晚点)와 미국 정보기술(IT) 전문 매체 디인포메이션을 통해 전해졌습니다.

바이트댄스는 논평 요청에 응답하지 않았다고 FT는 전했습니다.
(사진=게티이미지)