샘 알트먼이 "눈물 흘릴 정도"라던 AI 컴퓨팅 비용, 앞으론 어쩌나 [스프]

챗GPT나 제미나이, 코파일럿 같은 생성형 AI 등장과 함께 인공지능이 우리 일상으로 성큼 다가오면서, 이와 맞물려 전력 사용의 문제가 급부상하고 있습니다. 이번 지구력은 전형적인 문과 출신 '컴알못' 기자의 시각에서 AI 전력 사용의 문제를 풀어봅니다.

먼저 지난 2022년 12월로 가봅니다. 당시 오픈AI가 챗GPT를 처음 일반에 공개한 뒤 닷새째를 맞던 날이었습니다. 불과 닷새 만에 이용자 100만 명 돌파라는 기염을 토했는데, 오픈AI CEO 샘 알트먼이 이 같은 사실을 트위터에 올렸습니다. 그러자, 한 팔로워가 챗GPT 이용료를 영원히 무료로 할 거냐고 묻습니다. 알트먼은 이에 대해 "언젠가는 유료화해야 할 거"라며, "컴퓨팅 비용이 눈물을 흘릴 정도"이기 때문이라고 답합니다.


이러자, 또 다른 댓글이 붙습니다. 지금은 오픈AI와 법정 다툼을 벌이는 당사자죠. 테슬라의 일론 머스크입니다. 당시만 해도 둘이 꽤 가까운 사이였던 거 같습니다. 머스크는 챗GPT의 챗 하나당 비용이 얼마냐고 물었고 이에 대해 알트먼은 "단 자릿수의 수 센트"라고 답을 합니다. 이 트윗들을 보면 AI 모델의 전력 소모를 비롯한 비용 문제가 얼마나 고민인지 드러납니다.

실제로 그해 오픈AI의 실적을 보면 매출은 2천만 달러에 그친 반면 비용이 5억 6천만 달러로 총손실이 5억 4천만 달러에 달했습니다(2022, 삼성증권). 비용의 대부분은 컴퓨팅 비용이었는데요. 인건비 1억 4천만 달러를 제외한 4억 2천만 달러가 컴퓨팅 비용이었습니다. 이 컴퓨팅 비용의 상당액이 어마어마한 연산 작업에 따른 전기 사용 때문에 발생합니다. AI 컴퓨팅이 어떻길래 이른바 '전기 먹는 하마 AI'란 오명을 쓰게 된 건지 반도체 전문가들에게 물어봤습니다.
 
AI 컴퓨팅의 특성은 단순 병렬 연산의 무수한 반복이란 겁니다. 자동차 타이어 사진을 주고 AI가 이를 알아맞히는 문제를 푼다고 가정하면, AI는 이제껏 자신이 학습 저장해 온 무수한 동그라미 형태의 물체들을 호출해서 이와 가장 똑같은 물체를 찾아낼 때까지 단순 작업을 동시에 대량으로 되풀이하는 식입니다.

이를 위해 AI칩의 대명사로 떠오른 엔비디아의 GPU는 프로세서 내에 연산을 수행하는 단위인 코어가 수천 개에 달한다고 합니다. 반면 종전 컴퓨터에서 썼던 CPU는 이 같은 병렬 연산이 어려운 구조입니다. 코어 숫자도 많아야 5~8개 정도라고 합니다. 그래서 CPU 연산을 빗대 똑똑한 교수 1명이 어려운 수학 문제 풀기로 표현하는 반면 AI칩(GPU) 연산은 초등학생 1천 명이 쉬운 산수 문제를 푸는 것과 비교하기도 합니다.

좀 더 세부적으로 보면 전력 소모 증가의 또 다른 원인도 있습니다. 기존 CPU든 AI용 GPU든 메인 프로세서와 메모리가 주된 구성 요소이죠. 프로세서가 연산을 수행하기 위해 메모리에서 데이터를 불러오고, 연산을 마친 뒤 다시 데이터를 메모리에 저장시키는 작업이 끊임없이 반복됩니다. 그런데 실제 연산 과정보다 메모리-프로세서 간 데이터 이동 과정에서 훨씬 더 큰 전기를 소모하게 됩니다. 같은 단위를 연산할 때 드는 에너지가 1이라면 이를 이동시킬 때에는 200에 달하는 에너지가 소모됩니다. 연산 횟수와 데이터 이동 횟수가 비례관계에 있다 보니 연산량이 무한 증가하는 AI 컴퓨팅에선 데이터 이동시 발생하는 에너지 소모가 '전기 먹는 하마 AI'의 주범 격인 셈입니다.
삼성전자나 SK하이닉스가 앞으로 도전하려는 AI칩의 핵심도 여기에 있습니다. 어떻게 하면 메모리와 프로세서 간 이동 거리를 줄이느냐 하는 겁니다. 그래서 생각해 낸 게 PIM인데요. 'Processor in Memory', 즉 메모리 내부에 프로세서를 심어서 이동 거리를 대폭 줄인다는 개념입니다. 전력 소모도 줄이고 처리 속도도 빨라진다는 겁니다.

(남은 이야기는 스프에서)