700만 원짜리 애플 맥북이, "너무 싸서 쓴다'는 사람들, 대체 무슨 일이? / 오목교 전자상가 EP.193

어지간한 윈도우 PC에선 돌아가지도 못할, 애플 맥북으로 할 수 있는 '가장 고사양의 작업'은 무엇일까요?  정답은 바로 CHATGPT와 흡사한 인공지능 챗봇 시스템을 온디바이스로, 즉 '로컬'에서 구현하는 겁니다. 보통 이러한 인공지능 챗봇은 '대형언어모델(LLM)'을 기반으로 작동하는데요, 이 LLM 작업을 진행 시 엄청나게 많은 비디오 메모리(VRAM)을 요구하곤 합니다. 며칠 전 공개한 오픈소스 대형언어모델 '라마-3(LLAMA-3)'만 하더라도, 최고급 게이밍 RTX 4090로는 가장 경량화 버전(8B)밖에 실행할 수 없을 정도죠. 하지만 애플의 맥 컴퓨터는 전혀 상황이 다릅니다. GPU-CPU-NPU가 모두 동일한 메모리를 공유하는 고대역폭 통합 메모리 구조를 사용하고 있기 때문에, 24~32GB 통합메모리가 탑재된 기본형 맥북 에어로도 로컬 LLM을 거뜬히 돌릴 수 있습니다. 특히 192GB 메모리를 탑재한 맥 스튜디오의 경우 라마-3(LLAMA-3) 70B 버전을 작동시키는 엄청난 잠재력을 가졌는데요, 똑같은 모델을 윈도우에서 작동시키려면 수천만 원짜리 전문가용 그래픽카드가 최소 두개는 필요할 정도라고 하니 그 '가성비'를 짐작할 수 있으시겠죠? 이제는 현실이 된 AI시대, 맥으로만 가능한 로컬 LLM의 세계를 오목교 전자상가와 함께 탐험해보세요!

기획 : 하현종 / 연출 : 박경흠 / 조연출 : 왕성민 안혜리 유세훈 / 편집 : 정혜수 / 촬영 : 박상현 / 디자인 CG : 김태화

(SBS 스브스뉴스)