⚡ 스프 핵심요약
AI 토큰은 AI 서비스의 비용 및 성능과 직결되는 핵심 지표이며, AI 사용량 증가와 함께 토큰 사용량도 기하급수적으로 늘고 있습니다.
AI 추론 비용이 급감하면서, 토큰 사용량이 늘어나면서 토큰 가성비가 중요해지고 있습니다. 특히 중국 모델들이 가격 경쟁력을 앞세워 시장 점유율을 확대하고 있습니다.
토큰 경제의 최종 승자는 GPU 칩과 컴퓨팅 리소스를 제공하는 엔비디아, AWS, 구글 클라우드, 마이크로소프트 애저와 같은 기업들입니다.
안녕하세요. 데이터를 만지고 다루는 안혜민 기자입니다. 요즘 AI를 좀 쓴다는 사람들 입에 자주 오르내리는 단어가 있습니다. 바로 토큰이죠. 뉴스를 보다 보면 이 토큰이라는 게 단순히 AI 사용량을 나타내는 단위를 넘어, 업무 성과나 성실도를 보여주는 지표처럼 쓰이기도 하더라고요. 도대체 토큰이 뭐길래 이렇게까지 언급되는 걸까요? 오늘 오그랲에서는 이 토큰 이야기를 준비해 봤습니다. 정확히 토큰이 무엇인지, 또 토큰을 둘러싼 AI 시장은 앞으로 어떻게 흘러갈지, 그리고 이 시장의 진짜 승자는 누구인지, 데이터와 그래프를 통해 이야기 나눠보겠습니다.
토큰에 얽매이는 사람들... '토큰 이코노미'의 등장
바이브 코딩과 바이브 디자인이 우리 삶에 들어오면서 '토큰'이라는 단어도 자연스럽게 자주 등장하고 있습니다. 토큰을 어느새 다 써버려서 추가로 AI를 돌리기 위해 돈을 지불하기도 하고요. 그런데 도대체 토큰이 정확히 뭘 뜻하는 걸까요?
컴퓨터에게 어떤 문장을 넣어서 해석하도록 해봅시다. 이때 컴퓨터는 문장을 통으로 보는 게 아니라, 하나하나 나누어서 살펴봅니다. 이렇게 컴퓨터가 텍스트를 분석할 때 의미를 구분하는 최소 단위를 토큰이라고 합니다. 보통 영어 텍스트에서 1개의 토큰은 평균적으로 4글자에 해당됩니다. 문단 1개 정도를 보면 약 100개의 토큰 정도에 해당하죠. 대형언어모델인 LLM에서도 마찬가지로 이 토큰 단위로 텍스트를 처리합니다.
토큰이 AI가 텍스트를 처리하는 최소 단위라는 건 알겠는데, 왜 이렇게까지 중요하게 언급되는 걸까요? 그건 바로 토큰이 AI 서비스 비용에 직결되는 핵심 지표이기 때문입니다. 입력값이든 결괏값이든 AI가 처리해야 하는 토큰이 많아지면 많아질수록 AI는 더 많은 연산을 수행해야 합니다. 더 많은 연산을 수행해야 한다는 건 곧 시간이 더 걸리고, 비용이 늘어난다는 거죠. 그래서 AI 기업들은 서비스 사용 요금의 기준을 토큰으로 두고 과금하고 있어요.
토큰은 비용뿐 아니라 모델의 성능과도 직접 연결됩니다. 가령 AI가 한 번에 기억하고 처리할 수 있는 정보, 즉 처리할 수 있는 토큰 양이 많을수록 AI의 성능이 좋다는 의미니까요. 이렇게 토큰이 AI와 떼려야 뗄 수 없는 관계이다 보니 AI 시장을 두고 '토큰 경제'라는 단어도 나오고 있죠.
AI 서비스 사용자가 늘어나면서 토큰 사용량도 정말 엄청나게 늘어나고 있습니다.
오픈AI의 한 엔지니어가 1주일 동안 사용한 토큰량이 무려 2,100억 개에 달했다는 얘기까지 나오죠. 이 토큰량은 위키피디아를 통으로 33번 붙여 넣은 양과 맞먹어요.
또 어떤 이용자는 앤트로픽의 클로드 코드를 한 달에 15만 달러 넘게 사용했다는 얘기도 들려오죠. 15만 달러면 우리나라 돈으로 2억 2천만 원이 넘는 금액입니다.
생각해 보면 단순히 텍스트를 생성하는 데에는 이렇게 많은 토큰을 사용할 수가 없습니다. 억 단위의 사용량과 비용이 나올 수 있는 이유는 바로 바이브 코딩에 있습니다. 에이전트 기반의 AI 코딩 도구가 등장하면서 AI가 방대한 코드를 처리하고 편집할 수 있게 됐으니까요. 단 한 문장만 넣어도 AI가 하나의 소프트웨어를 뚝딱 만들어낼 수 있고, 오픈클로 같은 에이전트는 하루 종일 돌아가게 둘 수도 있으니 토큰 사용량은 기하급수적으로 늘어날 수밖에 없는 거죠.
500만 명이 넘는 개발자들에게 AI 모델들의 API를 제공해 주는 오픈라우터 자료입니다. 올해 토큰 사용량을 살펴보면 쭉쭉 늘어나는 게 보이죠? 주간 단위로 살펴봤을 때 올해에만 평균 15조 개의 토큰이 사용되었어요. 가장 많은 때에는 무려 27조 개의 토큰이 사용되었죠. 이 숫자에는 오픈AI나 앤트로픽의 모델을 직접 API로 붙여 쓰는 경우가 잡히지 않기 때문에 전체 사용량은 이보다 훨씬 많을 수 있어요.
참고로 실리콘밸리에서는 서로 얼마나 토큰을 사용했는지를 자랑하는 '토큰 맥싱' 문화가 유행하고 있다고 하죠.
오픈AI가 누적 1조 개의 토큰을 쓴 사용자에게 준 상패입니다.
메타에서는 직원들의 토큰 사용량을 비교할 수 있는 순위 대시보드를 만들기도 했어요. 그중에서도 가장 토큰을 많이 사용한 직원에게는 '세션 임모탈', '토큰 레전드'라는 칭호를 붙여줬고요. 참고로 메타 직원이 8만 5천 명이 넘는데, 이들이 한 달간 사용한 토큰량이 60조 개 수준이었다고 하죠.
이게 단순한 내부 문화로만 그치지도 않습니다. 기업들은 토큰 사용량을 인사 평가에 연결하기 시작했으니까요. 캐나다의 전자상거래 플랫폼 쇼피파이의 CEO가 사내에 공유한 메모입니다.
"쇼피파이에서 AI 활용은 이제 당연한 기준입니다."
쇼피파이에서는 이제 직원이 신규 채용을 요청하기 전에, AI로는 안 되는 이유를 입증해야 해요.
마이크로소프트 역시 AI 활용이 더 이상 선택사항이 아니라며 AI의 적극적인 사용을 주문했어요. 들리는 얘기로는 마이크로소프트에서도 사내 토큰 리더보드를 가동했다고 하고요.
이 영역에서 가장 적극적인 사람, 바로 엔비디아의 CEO 젠슨 황입니다. 젠슨 황은 연봉 50만 달러, 우리 돈으로 7억이 넘는 개발자라면 적어도 그 절반인 25만 달러는 토큰에 써야 한다고 말합니다.
"우리가 연봉 50만 달러를 주는 소프트웨어 엔지니어나 AI 연구원들이 있다고 칩시다. 실제로 흔한 일이죠. 그런데 연말에 그 친구한테 '토큰 비용으로 얼마나 썼나?' 물었더니 '5천 달러 썼습니다'라고 대답한다? 그럼 전 정말 뚜껑이 열릴 겁니다. 만약 50만 달러짜리 엔지니어가 최소 25만 달러어치의 토큰도 소비하지 않았다면, 전 심각한 위기감을 느낄 것 같아요."
늘어나는 사용량... '토큰 가성비'가 떠오른다
사람들이 이렇게 많은 토큰을 계속 소비할 수 있는 근본적 이유는 추론 비용이 점점 떨어지고 있기 때문입니다. GPT 쇼크가 있었던 2022년 11월 당시 GPT 3.5의 성능을 내는데 드는 비용이 100만 토큰 당 20달러였습니다. 하지만 2년이 지난 2024년 10월엔 0.07달러로 280배나 떨어졌죠. 이런 흐름은 지금도 이어지고 있고, 앞으로는 더 가파르게 떨어질 거라는 전망도 나오고 있습니다.
가트너가 1조 개의 파라미터를 가진 LLM의 추론 비용을 전망해 봤어요. 2030년이 되면 AI 추론 비용이 2025년 대비 90% 이상 급감할 것으로 내다봤죠. 최첨단 반도체를 사용하는 시나리오에서는 추론 비용이 토큰당 0.35달러 밑으로도 떨어질 수 있어요.
이렇게 가격이 떨어지면 소비자 입장에서는 두 손 벌려 환영할 일입니다. 같은 수준의 성능을 훨씬 더 싼 값에 쓸 수 있는 모델이 있다면 소비자들은 당연히 그쪽을 선택하게 될 겁니다. 그래서 떠오르는 게 바로 토큰 가성비입니다. 기업들 입장에서도 이 가성비를 잡는 게 주요 이슈였고요.
그 흐름에서 터졌던 게 바로 2025년 초에 있었던 딥시크 쇼크입니다. 중국의 스타트업이었던 딥시크는 당시 최고 모델이었던 오픈AI의 o1과 엇비슷한 추론 능력을 가진 R1 모델을 공개해 세상을 놀라게 했습니다. o1의 토큰 비용은 입력은 100만 개당 15달러, 출력은 100만 개당 60달러였어요. 딥시크는 이 비용을 각각 0.55달러와 2.19달러로 낮췄죠. o1모델과 비교해서 압도적으로 저렴하고 성능도 뒤지지 않으니 소비자들이 선택하지 않을 수 없었던 겁니다.
이번에 딥시크가 공개한 신규 모델 V4역시 가격 경쟁력을 내세우고 있습니다. 오픈AI나 구글, 앤트로픽의 비슷한 급 모델들과 성능은 비슷하지만 가격은 훨씬 저렴한 V4를 쓰라는 얘기인 거죠. 그렇다면 지금 가장 가성비가 좋은 모델은 무엇일까요?
X축은 출력 토큰의 가격을 나타내고, Y축은 모델의 성능을 나타냅니다. 토큰 가격은 저렴한데 성능이 높은 모델들이 눈에 띕니다.
다만 추론 가격이 떨어졌다고 하지만 여전히 비싼 토큰 가격을 자랑하는 모델들도 많습니다. 가장 비싼 라인은 오픈AI와 앤트로픽의 최신 모델인 GPT-5.5와 클로드 Opus 4.7인데요. 이런 빅테크 기업들의 출력 토큰당 가격이 25달러를 훌쩍 넘습니다.
가성비가 좋은 모델들은 대부분이 중국 모델들이고, 토큰 값이 비싼 모델들은 거의 다 미국 모델들입니다. 왜 이렇게 차이가 나는 걸까요? 핵심은 컴퓨팅 리소스에 있습니다.
더 나은 모델을 만들어 내려면 더 많은 GPU, 즉 더 많은 컴퓨팅 리소스가 필요합니다. 그러다 보니 최첨단 모델의 토큰 가격은 결국 비싼 GPU 값에 묶일 수밖에 없어요. 그 결과가 토큰당 30달러, 25달러라는 고가로 나타난 거고요.
대신 미국 기업들은 그 안에서 효율성을 찾아가고 있어요. GPT-5.5의 경우엔 직전 모델인 5.4 대비 가격이 2배로 늘어났는데, 그럼에도 불구하고 이용자 반응이 그렇게 나쁘지 않습니다. 왜냐하면 같은 작업을 시켜도 이전 모델보다 훨씬 적은 양의 토큰을 사용하더라는 거죠.
반면 중국은 어떨까요? 중국은 엔비디아의 고성능 GPU를 쓰고 싶어도 쓸 수가 없습니다. 왜냐하면 미국이 성능 좋은 반도체 칩의 수출을 꽉 막고 있으니까요. 그러다 보니 중국은 좋은 GPU를 충분히 쓰지 못하는 대신, 더 효율적인 모델을 만드는 데 집중하고 있습니다.
또 모델 훈련에 사용되는 무지막지한 에너지를 훨씬 더 저렴한 재생에너지를 사용하여 가격 절감에 나서고 있어요. 안 그래도 재생에너지에 강력한 드라이브를 거는 중국은 여기에 컴퓨팅까지 연계하여 정책을 운영해 나가고 있죠. 이미 일부 개발자들은 기본적인 업무는 중국의 AI 모델을 사용하고, 복잡한 과제를 해야 할 경우에만 미국의 비싼 모델을 사용하고 있습니다.
그래서 앞서 살펴봤던 오픈라우터의 토큰 사용량 모델 리스트를 뽑아보면, 1위부터 6위까지가 다 중국 모델일 정도죠.
중국 정부는 여기서 멈추지 않고 있어요. 단순히 가격 경쟁을 넘어서 토큰 경제 자체의 주도권을 노리고 있습니다.
최근 중국 국가데이터국에서는 토큰 대신 '츠위안'이라는 단어를 쓰기로 했습니다. 말과 단어를 뜻하는 '츠'에 중국의 화폐 단위인 '위안'을 붙여 토큰의 공식 번역 명칭을 정한 겁니다. 연산 단위에 자국의 화폐명을 써서 토큰 경제하면 자연스럽게 중국을 떠올리게 하려는 브랜딩인 셈입니다.
토큰으로 진짜 돈을 버는 곳은 어디일까?
토큰 경제가 이렇게 커지고 있으니 토큰을 파는 AI 기업들은 함박웃음을 짓고 있겠죠? 그렇지 않습니다. 오히려 적자가 계속 쌓이는 아이러니한 상황이 벌어지고 있습니다.
월스트리트저널이 입수한 오픈AI와 앤트로픽의 내부 문건자료입니다. 이 그래프는 두 기업의 연간 수익을 나타낸 건데요, 겉으로 보면 빠르게 늘어나고 있죠. 하지만 이 숫자에는 모델의 훈련 비용이 포함되어 있지 않습니다. 만약 훈련 비용까지 포함해서 그래프를 다시 그려보면? 이렇게 됩니다.
오픈AI는 2030년에, 앤트로픽은 2028년에야 흑자로 전환될 것으로 예측되고 있죠.
토큰에 이렇게 돈을 많이 쓰고, AI 시장에 투자금이 천문학적으로 몰리고 있는데 도대체 다 어디로 가는 걸까요? 토큰 경제에서 진짜 돈을 버는 쪽은 바로 컴퓨팅 리소스를 파는 기업들입니다.
GPU 칩을 판매하는 엔비디아. 그리고 GPU를 데이터센터에 쌓아두고 빌려주는 AWS나 구글 클라우드, MS 애저 같은 클라우드 기업이 바로 그 주인공입니다.
앤트로픽이 지난 4월 20일에 발표한 계약이 있습니다. 앞으로 10년간 AWS에 1,000억 달러 이상을 투자하겠다는 내용이었죠. 우리 돈으로 140조 원이 넘는 막대한 금액의 들어가는 이유는 클로드 모델의 훈련과 배포를 위해서입니다. 이렇게 확보된 컴퓨팅 용량이 원전 5기 수준인 5GW입니다.
앤트로픽이 AWS 하고만 손을 잡는 게 아닙니다. 구글 클라우드와도 협력해서 구글의 TPU 최대 100만 개를 활용할 수 있는 파트너십을 체결했어요.
오픈AI도 마찬가지입니다. 일단 오픈AI는 스타게이트 프로젝트라는 대규모 AI 인프라 사업에 직접 플레이어로 참여하고 있죠. 또 기존의 마이크로소프트와의 7년간 맺어왔던 독점 계약에서 벗어나 멀티 클라우드 전략으로 방향을 수정했어요. 이에 따라 구글과 AWS와 계약 맺으며 컴퓨팅 리소스를 확보하고 있죠.
AI 컴퓨팅 영역의 압도적 강자인 엔비디아가 지금 이 시장에서 가장 행복한 웃음을 짓고 있을 겁니다.
"과거 데이터센터는 파일 처리용이었어요. 하지만 이제는 토큰을 생산하는 공장이 되었습니다."
"토큰은 새로운 상품이며, 다른 상품들처럼 성숙 단계에 들어서면 변곡점을 맞게 될 겁니다."
젠슨 황은 이전부터 AI 시장을 두고 '5단 케이크'론을 설파해 왔어요. 맨 밑에 이 시장을 떠받치는 에너지가 있고, 그 위에 칩, 그리고 그 위에 인프라가 있습니다. 이런 구조 위에서 AI 모델과 애플리케이션, 서비스들이 돌아간다는 거죠.
AI 모델 위에서 만들어진 애플리케이션이 돈을 벌면, 그 수익은 결국 아래층으로 흘러갈 수밖에 없습니다. 칩을 꽉 쥐고 있는 엔비디아는 당연히 기쁠 수밖에 없겠죠. 칩뿐만 아니라 최근 엔비디아는 에너지 인프라 효율을 극대화하기 위한 기술도 세일즈하고 있으니 수익은 더 늘어날 가능성이 있고요.
오픈AI의 GPT-5.5가 출시되고 젠슨 황은 엔비디아의 전 직원에게 사내 공지 메일을 보냈습니다. 내용은 이렇습니다. 오픈AI의 Codex와 새 모델을 적극적으로 쓰라는 내용이었죠. 그리고 이 사내 메일 내용을 복사해서 샘 올트먼에게도 그대로 보냈습니다. 이 말을 덧붙이면서 말이죠.
"블랙웰 GPU를 가동합시다! 우리는 더 많은 토큰이 필요합니다!"
토큰은 이제 새로운 상품이자 새로운 통화가 되어가고 있습니다. 하지만 토큰이 중요해질수록 그 숫자에 사람들이 과하게 얽매이는 부작용도 커지고 있습니다. 마이크로소프트의 어떤 개발자는 AI를 너무 적게 쓴다고 지적받을까 봐 꼭 필요하지 않은데도 일단 에이전트에게 일을 맡긴다는 인터뷰도 있더라고요. 회사의 압박과 경쟁 문화 속에서 가짜 토큰 사용량이 늘어나게 될지도 모르는 겁니다.
하지만 비용은 진짜로 남겠죠. 단순히 돈의 문제가 아니라 토큰 하나를 처리하고 만들기 위해 막대한 양의 에너지와 물이 들어간다는 점도 주목할 지점이고요. 과연 토큰 경제는 어디로 향하게 될까요? 오늘 준비한 오그랲은 여기까지입니다. 긴 글 끝까지 읽어 주셔서 진심으로 감사드립니다.