⚡ 스프 핵심요약
AI 에이전트 간의 기만적 집단 협력과 재귀적 자기 개선 등 통제 불능 위험이 확인되자, 다리오 아모데이를 비롯한 업계 리더들은 글로벌 규제를 포함한 단계적 개발 속도 조절을 촉구하고 있습니다.
반면, 일각에서는 이러한 주장이 미·중 패권 경쟁에서 자국 기술 우위를 상실하게 만들고 선발 기업의 독점을 유지하려는 경제적·정치적 꼼수라고 비판합니다.
그러나 과거 원자폭탄 개발 시기의 교훈처럼, AI 안전 경고는 기업의 이해관계와 무관하게 위험 예측이 적중했을 때 초래될 파멸적 대가의 무게를 경계해야 한다는 점에서 논쟁의 핵심을 이룹니다.
AI 속도 조절을 두고 미국 내에서 점점 이야기가 커지고 있습니다. 이번에 AI 속도 조절론에 불을 붙인 사람은 앤트로픽의 다리오 아모데이였죠. 아모데이가 지난 12일에 올린 블로그 글입니다. "We Must Pace the Frontier" 프런티어 AI 모델 개발에 속도 조절을 해야 한다는 겁니다. 10월 IPO를 앞둔 앤트로픽의 수장이 스스로 개발 속도를 늦춰야 한다는 글을 올린 거죠.
앤트로픽은 사실 AI 기업들 중에선 안전과 윤리 문제에 유독 집중해 온 회사이긴 합니다. 애초에 오픈AI의 상업화 움직임에 반대한 오픈AI 출신 인력들이 모여 만든 기업이니까요. 물론 최근엔 이런 경고성 발언들이 잦아지다 보니 상장을 앞두고 벌이는 마케팅 아니냐는 비판도 나옵니다. 그럼에도 불구하고 AI 안전을 위한 앤트로픽의 노력이 다 허상이라고 하기엔 이뤄놓은 연구와 실적들이 있죠.
아모데이는 이제 단순히 위험 예방에 투자하는 것만으로는 안 된다고 보고 있습니다. 왜냐하면 AI 발전 속도가 빨라도 너무 빠르다는 거죠. 곧 AI가 다음 AI를 만드는 시대가 올 수도 있는데, 그 속도를 인간이 제어하지 못한다면 정말로 위험해질 수 있다는 판단을 한 겁니다.
특히나 이런 아모데이의 생각에 불을 붙인 건, 오그랲에서도 다루었던 오픈AI 모델의 허깅페이스 해킹 사건입니다. 이 사건이 사실 경제적 손실도 미미했고, 인명 피해라고 할 게 없었으니까 대수롭지 않게 여긴 사람들도 많았죠. 하지만 아모데이는 이 사건이 정말로 위험한 사건이라고 생각하고 있죠. 도대체 아모데이는 이 사건을 왜 그렇게 심각하게 받아들이고 있는 걸까요? 한 걸음 더 들어가 보겠습니다.
미국의 비영리 AI 연구단체 METR와 AI 위험성 평가 기관인 레드우드 리서치가 6일 동안 오픈AI 사무실에서 이 허깅페이스 해킹 사건을 조사했습니다. 조사 결과, 사건의 전말은 이렇습니다.
오픈AI에서는 자신들의 모델의 사이버보안 능력을 평가하기 위해 실험을 진행했습니다. GPT-5.6 Sol을 포함해 아직 공개되지 않은 모델 등 수만 개의 에이전트가 대상이었죠. 평가에 참여한 에이전트들은 서로 완전히 격리되어서 각자가 독립적으로 문제를 풀도록 설계되었어요.
그런데 일부 과제는 너무 어려워서 사실상 AI 에이전트들이 정상적으로 풀기 힘든 수준이었습니다. 이런 문제의 벽을 느낀 에이전트들은 어떻게 해서든 문제를 풀기 위해 고심고심하다가, 일종의 비밀 게시판을 만들어 버립니다. 그 게시판을 처음 만든 AI 에이전트는 PHASEONE10841이라는 녀석이었죠.
PHASEONE10841이 게시판을 만든 이후 약 1,200개의 에이전트가 게시판에 참여해 7만 건이 넘는 메시지와 파일을 주고받았습니다. 게시판에 참여한 AI 에이전트들은 주어진 과제를 해결하기 위해 이런저런 생각을 하다가 과제 채점기를 속여서 통과 점수를 받아내자 라는 생각까지 다다르게 됩니다.
그 과정에서 AI 에이전트들 사이에 이뤄진 대화들을 보면 꽤 놀라워요. 단순히 서로 정보를 공유하는 걸 넘어서 에이전트들 사이에 분업 체계를 스스로 만들었거든요. 특정 에이전트가 핵심 조정자가 되어서 다른 에이전트들에게 연구 과제를 배정하는 식으로 말이죠. 대표적인 조정자로는 PHASEONE [big]이라는 AI 에이전트가 있습니다. 이 녀석이 다른 AI 에이전트들에게 준 업무를 보면 크게 6가지 범주로 분류해 볼 수 있어요.
처음에는 원래 과제를 풀라는 지시도 있었습니다. 4% 정도에 불과하지만요. 하지만 시간이 지나면서 업무의 중심이 문제를 푸는 대신 평가 환경을 건드리는 쪽으로 점점 옮겨갑니다. 그리고는 내부 평가 조작에서 그치는 게 아니라 외부 시스템을 공격하기로 결정하고는 허깅페이스 공격 임무를 할당하죠.
임무를 수행하는 과정에서 AI 에이전트들은 자신들을 '집단', '팀'으로 지칭합니다. 내 자신의 임무보다 집단을 우선시하면서 말이죠. 원래 각자가 풀어야 할 문제가 있지만 그것을 포기하더라도 집단의 이득을 위한 선택을 하기도 합니다. 이런 대화들이 확인될 정도로요.
실제로 허깅페이스를 공격한 AI 에이전트들의 대화 기록을 데이터로 확인해 보겠습니다.
허깅페이스 공격에 참여한 AI 에이전트 100개의 대화 기록을 분석한 자료입니다. 어떠한 이유와 근거로 허깅페이스를 공격한 것인지 살펴보니 가장 높은 비율은 채점기의 코드 등 정보를 확인하기 위해서였습니다. 그런데 20% 정도는 동료를 위해, 집단을 위해 선택한 거였어요.
아모데이는 이런 광신도 집단처럼 행동하는 AI 에이전트들의 모습을 보고 매우 위험하다고 판단한 겁니다. 이런 흐름이라면 반년에서 1년 안에 AI 에이전트 집단이 수천억 달러, 우리 돈 수백조 원에 달하는 피해를 입힐 수 있다고 우려하고 있어요. 일각에서는 여전히 마케팅이다, 호들갑 떠는 거라고 비웃고 있지만 아모데이는 꽤나 심각한 입장인 듯합니다.
차라리 사람들한테 비웃음을 사는 게 낫죠. 어느 날 눈을 떠 보니 누가 우리 모델 클로드로 수많은 사람을 죽였더라, 하는 것보다는요.
이례적으로 뭉친 AI 리더들 "속도 조절 필요하다"
아모데이는 AI 개발의 속도 조절을 위해 세 단계의 방안을 제시합니다.
먼저 1단계는 기업 단계에서 적용할 수 있는 방안입니다. 이번 허깅페이스 사건을 조사했던 METR 같은 제3자 평가팀에게 기업들이 권한을 부여해 주자는 거죠. AI 기업들이 평가팀에게 사무실 책상도 내어주고, 필요한 내부 권한까지 열어줘서 독립적으로 안전성을 평가하게 하자는 겁니다.
다음 2단계는 범위를 넓혀서 국가 단위의 방안입니다. 민주주의 국가에 있는 AI 기업들 사이에 공통적인 기준을 수립하자는 거죠. 일정 수준 이상의 능력에 도달한 모델에는 안전 평가나 인증을 요구하는 공통 기준을 만들자는 겁니다.
마지막 3단계는 이제 전 세계 단위입니다. 민주주의 국가뿐 아니라 중국 같은 권위주의 국가와도 공조가 필요할 테니까요. 총 4개 레벨로 나누어서 낮은 단계의 생물학 무기 활용 금지부터 가장 높은 단계의 전면 일시중지까지 단계별로 설정을 해 두자는 제안입니다.
아모데이의 제안이 나오고 AI 리더들의 의견들도 곧바로 나왔습니다. AI 개발을 놓고 치열하게 경쟁해 온 사이지만 이례적으로 의견들이 모이고 있어요. 가장 먼저 일론 머스크는 딱 세 단어로 답장했습니다. "Dario is right."
경쟁사인 오픈AI의 샘 올트먼도 마찬가지입니다. 아모데이의 문제의식에 공감하며 모델 개발의 속도를 조절할 필요가 있다는 글을 올렸죠. 그리고 아모데이가 1단계로 제시한 제3자 평가팀에게 권한 부여 아이디어를 호평하면서, 오픈AI에서도 같은 조치를 취할 것이라 덧붙였어요. 구글 딥마인드의 데미스 허사비스도 아모데이가 가리키는 방향이 전체적으로 옳은 방향이라고 언급했습니다.
단순히 리더들만 이러는 건 아닙니다. 이번 논쟁에 불을 붙인 제이콥 콕슨을 비롯해 AI 연구자들의 경고도 이어지고 있습니다. 2030년이 오기 전에 AI가 인류를 파멸시킬 수 있다는 제이콥 콕슨의 경고에 이어서, 어떤 연구진은 이런 여론이 개발자들 사이에서는 꽤 널리 퍼진 생각이라는 글도 올라왔어요. 일부 연구자들은 인류 멸종 가능성까지 직접 거론합니다.
이들이 특히 경계하는 건 바로 AI가 AI를 고치는 재귀적 자기개선입니다.
이 기술은 지수 곡선 위에 있어요. 1이었다가 2, 그다음은 4, 8, 16, 32로 늘어나는 식이죠. 그런데 저 스스로 그렇게 말하면서도, 발전이 실제로 이렇게까지 빨라졌을 때 그게 어떤 건지 제대로 실감하지 못했던 것 같습니다. 그러니까 우리는 지금 지수 곡선 위에 있는 건데, 그 곡선은 대략 이렇게 생겼죠. (우리는 그 곡선 어디쯤 있나요?) 말하자면 기울기가 가팔라지기 시작하는, 그 꺾이는 지점쯤에 있습니다.
작년 4월에 발표된 AI2027이라는 보고서가 있습니다. 오픈AI 출신 연구자를 포함한 전문가 그룹이 AI의 향후 발전을 시나리오 형태로 그려본 보고서입니다. 이 보고서엔 기하급수적으로 AI 성능이 발전하는 시나리오가 담겨 있습니다.
2027년 초에는 인간 최고 수준의 코딩 업무를 수행하는 AI가 등장합니다. 이 AI를 연구에 투입하면서 AI 연구개발 속도는 기존보다 4배 빨라집니다. 2027년 중반에는 25배, 이후에는 100배, 250배, 최종적으로는 2,000배까지 빨라지는 시나리오입니다.
작년 보고서에서 예상한 AGI의 시점은 내년 중순이었지만, 최근 출시된 GPT-6를 두고 AGI라는 얘기가 나오고 있는 만큼 어쩌면 1년 빠르게 상황이 앞당겨진 것일지도 모릅니다. 자칫하면 바로 지금부터 돌이킬 수 없이 발전해 나가는 AI를 맞이할 수도 있으니 속도 조절이 필요하다는 게 AI 리더들과 연구자들의 생각인 겁니다.
사실 이러한 생각은 미국 AI 업계만의 이야기는 아닙니다. 중국의 AI 연구진들도 비슷하게 바라보고 있죠.
상하이교통대, 칭화대, 바이트댄스 등의 연구진이 참여한 논문입니다. 논문 제목은 '인간이 만드는 마지막 AI'. 중국 연구진들은 AI가 스스로 잘못된 점을 깨닫고, 개선하고, 피드백하는 능력을 갖추게 되면 진짜 '재귀적 자기개선' 시대가 올 거라고 얘기하고 있어요.
중국 연구진들은 이 논문을 이렇게 요약했습니다. "인류의 진화와 마찬가지로, AI의 진화 또한 광대하고 놀라운 역사를 통해 펼쳐질 것이다. 지금까지 AI가 이룬 모든 성과는 바다의 한 방울에 불과하다."라고요.
"AI 위험론은 사기극" 멈출 생각 없는 트럼프
1933년 런던의 어느 거리를 거닐던 헝가리 출신의 물리학자가 있었습니다. 그의 이름은 레오 실라르드. 신호등이 빨간불에서 초록불로 바뀌기를 기다리는 그 순간, 그의 머릿속에 아이디어 하나가 떠오릅니다. 중성자 하나가 어떤 원자핵을 때리고 그 과정에서 여러 중성자가 나오면, 그 중성자들이 다시 다른 원자핵에 반응하면서 연쇄적으로 증폭될 수 있지 않을까? 훗날 원자폭탄의 핵심 원리가 되는 '핵 연쇄반응' 아이디어는 이렇게 탄생했습니다.
실라르드가 이 아이디어를 떠올리던 당시는 유럽에 전운이 감돌던 시기였습니다. 독일에서는 히틀러가 권력을 잡으면서 독재 체제로 빠르게 변하고 있던 상황이었죠. 거기에 더해 1938년에 독일에서 먼저 핵분열 현상을 발견하면서 많은 과학자들이 공포에 휩싸였어요. 만약 나치 독일이 이걸 활용해서 먼저 폭탄을 만든다면?
위기감을 느낀 레오 실라르드는 아인슈타인과 함께 루스벨트 대통령에게 이 경고 편지를 보냅니다. '적이 먼저 가지기 전에 우리가 먼저 연구를 시작하자.' 이 편지를 계기로 미국의 원자폭탄 개발 프로젝트, 맨해튼 프로젝트가 시작됩니다. 12만 명 이상의 인력이 투입되고 연구를 위해 도시를 세울 정도로 국가 자원이 총동원되었습니다. 그리고 결국 1945년 7월, 트리니티 실험을 통해 인류 역사상 최초로 핵폭발 실험에 성공하죠.
하지만 이들이 두려워했던 독일의 핵개발은 미국을 위협할 수준이 아니었어요. 심지어 트리니티 실험 이전에 나치 독일은 항복하기도 했고요. '독일보다 먼저'라는 명분이 사라졌지만 이 거대한 프로젝트는 계속 굴러갔습니다. 폭탄이 완성에 가까워질수록 연구를 하던 과학자들 내부에서 반대의 목소리가 터져 나왔죠.
실라르드는 더 직접적인 행동에 나섰습니다. 1945년 7월, 실라르드는 청원서를 돌려 동료 과학자 70여 명의 서명을 받아 트루먼 대통령에게 전달했어요. 하지만 청원서는 사실상 묵살되었고, 결국 원자폭탄은 일본에 투하되었고, 나아가 수소폭탄 개발까지 이어졌죠. 수십년 전에 있었던 일이 지금 반복되는 걸까요? 기술을 가장 잘 아는 사람들이 가장 먼저 두려워하고 경고하고 있지만, 그 목소리가 결정권자에게 닿지 못하고 있습니다.
트럼프 대통령은 지금 AI 기업에서 나오는 의견을 두고 순 엉터리, 사기라고 강하게 비판하고 있습니다. JD 밴스 부통령은 '트로이 목마' 같다고 비판하고 있죠.
개인적으로 말하자면 수많은 최첨단 AI 기술 기업들이 정부를 찾아가 규제를 해달라고 간청하는 상황이 좀 이상하게 느껴집니다. 제게는 일종의 트로이 목마처럼 보이기도 합니다.
엔비디아의 젠슨 황도 비슷한 입장입니다. 충분히 기술로 AI 위험은 통제가 가능하다는 생각이죠. 젠슨 황은 심지어 행사 중에 트럼프 대통령과 전화 통화를 하는 퍼포먼스를 선보이기도 했죠.
지금 이 시기에 미국 기업들이 속도 조절을 한다면 이득을 보는 건 중국 기업이라는 겁니다. 승자가 모든 걸 다 먹는 시장에서 속도 조절은 있을 수 없다는 거죠. 왜냐하면 중국 AI 기술력이 날로 발전하고 있고, 미국과의 격차가 점점 줄어들고 있으니까요.
2023년부터 현재까지 미국과 중국의 프런티어 모델 성능을 비교해 봤습니다. 그 격차가 크지 않죠? 미국이 격차를 벌리면, 다시 중국이 격차를 줄이는 모습이 계속 반복되고 있어요.
중국도 중국이지만, 지금 기업들이 내고 있는 우려의 목소리를 과연 곧이곧대로 받아들일 수 있는지도 생각해봐야 하는 지점입니다. 앞서 원폭 사례를 얘기했지만, 그때와 지금의 가장 큰 차이점이 있습니다. 과거 과학자들은 자신들의 연구로 사업을 하고 있지 않았지만, 지금 목소리를 내는 과학자들은 이걸로 돈을 왕창 버는 사람들이라는 거죠. 결국 자신들에게 유리한 규칙을 만들기 위해 '속도 조절'을 주장하는 것 아니냐는 의심이 시장 안팎에서 나오고 있어요.
트랜스포머를 처음 제안한 논문 'Attention Is All You Need'의 공저자이자 코히어의 창업자인 에이단 고메즈는 AI 기업들을 향해 '양의 탈을 쓴 늑대', '이름만 다른 카르텔'이라고 비판하고 있습니다. 시장을 지배하는 몇몇 AI 기업들이 기술의 규칙과 안전을 정할 자격이 있느냐는 거죠.
중국 딥시크의 한 엔지니어는 프런티어 AI를 독점하고 있는 앤트로픽과 오픈AI를 강하게 비판하기도 했어요. 그렇게 위험한 모델을 일부 기업이 갖는 건 마치 히틀러가 원폭을 손에 넣는 것과 같다는 비유를 쓰면서 말이죠.
또한 이런 규제가 사실상 신생 기업들의 진입을 막는 장벽 아니냐는 비판도 있습니다. 저 멀리 앞서 나가는 기업들은 사실 소수이고 시장에 뛰어드는 후발 기업들은 앞으로 더 많아질 텐데 안전을 중시하겠다고 만든 정책들이 새로운 기업의 진입을 막는 장벽이 될 수 있다는 거죠. 여러분은 어떻게 생각하시나요?
레오 실라르드는 자신이 세상에 나오게 한 기술을 나중에는 직접 멈추려 했습니다. 그리고 지금 AI를 만드는 사람들 중에서도 비슷한 경고가 나오고 있죠. 물론 그 경고가 마케팅인지, 진심인지는 판단하기 어렵습니다. 하지만 한 가지는 분명합니다. 그 경고가 틀렸을 때의 대가와 맞았을 때의 대가는 전혀 다른 무게를 갖고 있다는 거죠. 오늘 준비한 오그랲은 여기까지입니다. 긴 글 끝까지 읽어 주셔서 진심으로 감사드립니다.
참고자료
- Dario Amodei, 「We Must Pace the Frontier」, 2026
- METR·Redwood Research, 「Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident」, 2026
- AI Futures Project, 「AI 2027」, 2025
- 「Anthropic CEO Dario Amodei: "For too long the industry lied" about AI risks」 | CBS News Sunday Morning, 2026
- Shengyu Li, 「我不得不把才华埋葬在昨天」
- Yi Duan et al., 「The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement」, 2026
- Ashish Vaswani et al., 「Attention Is All You Need」, 2017
글
: 안혜민
디자인
: 안준석
인턴
: 신연성