미국이 현재까지 생성형 인공지능에 대한 투자가 결과물이 시원치 않고 상업적 이익이 거의 없는데도 불구하고 왜 생성형 AI에 천문학적 돈을 투자 (낭비)하고 있는지 엿볼 수 있는 글이라 퍼왔다. 유럽 역시 인공지능 원천기술은 거의 없지만 미국을 따라 생성형 AI 서버 구축에 중국보다 더 많은 돈을 쏟아붙고 있다.

전 구글회장 에릭 슈미트가 포린 어페어스 (Foreign Affairs)에 올린 기고문과 일맥상통하는 논문이다. 슈미트는 중국이 인간지능 (Huaman Intelligence)에서 미국에 앞서니 미국이 중국에 승리하는 길은 인간지능을 뛰어넘는 인공일반지능 (Artificial General Intelligence)를 개발해야 한다는 요지의 기고문을 올렸다.

OAI 전 연구원 논문 역시 중국 (과 비서구권 경쟁자들)과 경쟁에서 승리하기 위해서는 초지능 (슈미트가 인간지능을 뛰어넘는 인공일반지능이라 불렀던)을 개발해 이를 이용해 중국에 비해 압도적인 기술력을 보유해 중국이 감히 미국(과 서구)의 패권에 도전하지 못하고 스스로 포기하게 해야한다고 주장한다.

이에 반해 중국은 생성형 인공지능에 미국과 서유럽만큼의 돈을 투자하지 않지만 현재 미국과 중국의 생성형 AI의 성능차이는 아주 작다. 겨우 1.24%에 불과하다. 그리고 중국은 인공지능을 산업현장과 실생활에 적용하는 응용 인공지능 분야에서 독보적인 기술을 보유하고 있다.

중국과 서구의 인공지능에 대한 태도에서 확연한 차이점을 본다. 난 미국과 서유럽의 인공지능에 대한 자세에서 또다른 제국주의를 본다. 난 이걸 AI 제국주의라 부르겠다. 서구 (미국과 서유럽)는 집요한 패권욕, 즉 서구가 세상을 지배해야 한다는 집요한 욕망을 엿볼 수 있는 반면 중국의 태도는 솔직하고 순진하다고 해야할까 그런 느낌이 든다. 즉 중국은 응용 인공지능의 성과에 보듯이 상업적 이익이나 대중의 삶의 향상에 인공지능을 이용하는데 집중하고 있다. 물론 응용 AI가 과연 인간 삶의 향상에 도움이 돼냐는 것에는 의문부호가 따르지만...

OAI 전 연구원 논문 중에서...

자유 세계는 승리해야 합니다 (초지능과 중국과의 경쟁)

초지능 기술은 경제적, 군사적으로 결정적인 우위를 제공할 것입니다. 중국은 아직 이 경쟁에서 완전히 뒤처진 것이 아닙니다. AGI(범용 인공지능) 개발 경쟁에서 자유 세계의 생존 자체가 위기에 놓일 수 있습니다. 우리는 권위주의 국가들에 대한 우위를 유지할 수 있을까요? 또한, 그 과정에서 자멸하지 않고 성공할 수 있을까요?

인류의 역사는 전쟁의 역사라 할 수 있습니다. 잠깐의 불안정한 평화의 순간을 제외하면, 세상은 한 번도 평화로웠던 적이 없습니다. 역사가 시작되기 전에도, 끊임없는 살육과 분쟁이 만연했습니다.

… 혹시 오렌지 크기만 한 폭탄 하나가 엄청난 파괴력을 지녀 건물 하나를 무너뜨리는 것은 물론, 수천 톤의 화약에 맞먹는 힘을 한곳에 집중시켜 마을 전체를 한순간에 날려버릴 수 있는 그런 무기를 우리가 발견하게 될 수도 있지 않을까요?

-윈스턴 처칠, "우리 모두 자살하게 될 것인가?"

초지능은 인류가 개발한 기술 중 가장 강력한 것이자, 가장 강력한 무기가 될 것입니다. 이는 핵무기와 견줄 수 있을 정도로 결정적인 군사적 우위를 제공할 수 있습니다. 권위주의 정권은 초지능을 세계 정복이나 내부 통제 강화에 이용할 수 있고, 불량국가는 이를 이용해 전 세계를 위협할 수도 있습니다. 많은 이들이 간과하고 있지만, 중국 공산당이 AGI(인공지능 일반)에 눈을 뜨게 되면 경쟁력을 갖출 가능성이 큽니다. 특히 미국이 AI 연구소의 보안 문제를 크게 개선하지 않는 한, 그 가능성은 더욱 커질 수 있습니다.

앞서 나가는 시간이 많을수록 안전에도 유리합니다. 민주주의 동맹국과 권위주의 국가가 초지능을 먼저 확보하기 위해 속도를 내며 경쟁한다면, 그 위험성은 커질 수밖에 없습니다. 이처럼 초지능이 폭발적으로 발전하는 위험한 시기에는 신중함을 포기하고 경쟁에 매달리게 될 가능성이 높습니다. 따라서 민주주의 국가들이 충분한 우위를 유지해야만 이러한 불안정하고 위험한 상황을 효과적으로 관리할 여유가 생길 것입니다. 그리고 미국의 주도적인 역할만이 초지능으로 인한 자멸의 위험을 방지하기 위한 비확산 체제를 구축하는 현실적인 방안입니다.

우리 세대는 평화와 자유를 당연하게 여기는 경향이 있습니다. 하지만 SF 영화나 소설에서 AGI의 시대를 찬양하는 이들은 중요한 문제를 간과합니다. 바로 초지능이 국가 안보와 직결된 문제라는 사실입니다. 그리고 미국은 반드시 이 경쟁에서 승리해야 합니다.

초지능(superintelligence)을 먼저 확보하는 국가는 군사적으로 결정적인 우위를 점하게 될 것입니다. 초지능은 단순한 기술—예를 들어 극초음속 미사일이나 스텔스 기술—과는 차원이 다릅니다. 물론 미국과 자유 민주주의 국가들이 이런 기술에서 주도권을 잡는 것이 바람직하지만, 꼭 필수적인 것은 아닙니다. 미국이 특정 기술에서 뒤처지더라도 다른 분야에서의 우위를 통해 군사적 균형을 유지할 수 있기 때문입니다. 이런 기술들은 중요하지만, 다른 분야에서의 강점으로 상쇄될 수 있습니다.

하지만 초지능이 등장하면 상황은 완전히 달라질 것입니다. 이는 마치 원자 시대의 도래와 유사한 변화를 가져올 것입니다. 초지능을 보유한 국가는 그렇지 않은 국가에 대해 압도적인 지배력을 갖게 될 것입니다.

저는 이미 초지능의 어마어마한 잠재력에 대해 이야기한 적이 있습니다. 초지능을 보유하면, 인간 최고의 과학자보다 훨씬 뛰어난 수십억 명의 자동화된 과학자, 엔지니어, 기술자가 하루 종일 새로운 기술을 개발하게 될 것입니다. 과학과 기술의 발전 속도는 그야말로 경이로울 것이며, 초지능이 군사 기술 연구개발(R&D)에 적용된다면, 우리는 단기간에 수십 년의 군사 기술 발전을 이루게 될 가능성이 큽니다.

걸프 전쟁, 또는 수십 년의 기술 격차가 군사력에 미치는 영향

걸프 전쟁은 20~30년의 군사 기술 격차가 전쟁에서 얼마나 결정적인 역할을 할 수 있는지를 보여주는 대표적인 사례입니다. 당시 이라크는 세계에서 네 번째로 큰 군대를 보유하고 있었고, 병력, 탱크, 포병 등 물량 면에서는 이라크가 미군 주도의 연합군과 대등하거나 오히려 우세한 상황이었습니다. 더구나 이라크군은 방어 태세를 확실히 다진 상황이었기 때문에, 일반적인 전쟁 상황이라면 공격군이 최소 3:1, 또는 5:1의 병력 우위를 가져야 이라크군의 방어선을 무너뜨릴 수 있는 상황이었습니다.

그러나 미군 주도의 연합군은 단 100시간 만의 지상전으로 이라크군을 완전히 괴멸시켰습니다. 연합군의 전사자는 292명에 불과했지만, 이라크 측의 사망자는 2만~5만 명에 이르렀고 수십만 명이 부상 또는 포로로 잡혔습니다. 연합군은 탱크 31대를 잃었을 뿐이지만, 이라크군은 3,000대 이상의 탱크를 잃었습니다.

이 기술 격차는 신화적인 것이거나 상상할 수 없을 만큼의 차이가 아니었지만, 전쟁 결과에 있어서 결정적인 차이를 만들었습니다. 유도 및 정밀 유도 무기, 초기 단계의 스텔스 기술, 뛰어난 센서, 야간과 모래폭풍 속에서도 더 멀리 볼 수 있는 탱크 조준경, 더 우수한 전투기, 정찰 능력에서의 우위 등 다양한 기술적 이점이 이를 가능하게 했습니다.

(좀 더 최근의 사례로는, 이란이 이스라엘에 300발의 미사일을 발사했으나, 이 중 "99%"가 이스라엘, 미국, 그리고 동맹국들의 우수한 미사일 방어 시스템에 의해 요격된 사건을 떠올릴 수 있습니다.)

인공지능 기술에서 1년, 2년, 또는 3년의 차이가 발생할 경우, 그 군사적 우위는 마치 걸프전에서 미군 연합군이 이라크를 상대로 가졌던 압도적인 군사적 우위와도 같을 수 있습니다. 군사력 균형이 완전히 재편될 수 있는 상황이 펼쳐질 것입니다.

만약 20세기의 군사 기술 발전을 10년도 안 되는 기간에 경험했다고 상상해 보세요. 몇 년 만에 말과 소총, 참호전에서 현대식 전차 군대로 진화하고, 그로부터 몇 년 후에는 초음속 전투기, 핵무기, 대륙간탄도미사일(ICBM)로 이루어진 함대가 등장하며, 또 몇 년 뒤에는 스텔스 기술과 정밀 타격 능력으로 적이 눈치채기도 전에 타격을 가하는 수준에 이르렀을 것입니다.

슈퍼지능이 도래하면 우리는 한 세기의 군사 기술 발전이 10년도 채 안 되는 기간에 압축되는 상황을 마주하게 될 것입니다. 초인적인 해킹으로 적군의 군사력을 마비시키고, 로봇 군대와 자율 드론 군집을 보게 될 것입니다. 하지만 더 중요한 것은 우리가 아직 상상조차 못하는 완전히 새로운 패러다임이 나타날 것이며, 파괴력이 수천 배 증가한 새로운 대량살상무기(WMD)와 그 방어 기술 또한 개발될 것이라는 점입니다. 예를 들어, 철벽과도 같은 미사일 방어 시스템이 등장하여 억제력을 계속해서 뒤흔들 수 있습니다.

그리고 이러한 변화는 단지 기술적인 진보에만 그치지 않습니다. 로봇 공학이 해결되면 노동이 완전히 자동화되어 산업 및 경제 전반에서 폭발적인 성장이 가능해질 것입니다. 연간 성장률이 두 자릿수에 이를 가능성도 있으며, 선도 국가의 GDP는 단기간에 뒤처진 국가들을 압도할 수 있습니다. 빠르게 증가하는 로봇 공장들은 기술적 우위를 제공할 뿐만 아니라 막대한 생산 능력도 갖추게 될 것입니다. 수백만 대의 미사일 요격기, 수십억 대의 드론을 생산할 수 있는 능력을 생각해 보십시오.

물론 과학의 한계와 다양한 마찰 요인이 진전을 늦출 수 있을지 모릅니다. 하지만 결정적인 군사적 우위를 차지하는 데 신적인 수준의 발전은 필요하지 않습니다. 수십억 명의 슈퍼지능을 가진 과학자들이 할 수 있는 일은 매우 많을 것입니다. 몇 년 안에, 슈퍼지능 이전의 군사력은 완전히 상대가 되지 않는 시대가 올 것임이 분명해 보입니다.

초지능이 제공하는 군사적 이점은 핵 억지력조차도 결정적으로 무력화할 수 있을 것입니다. 더 명확하게 말하자면, 초지능의 군사적 우위는 상대방의 핵 억지력을 선제적으로 제거할 수 있을 만큼 강력할 가능성이 큽니다. 향상된 센서 네트워크와 분석 기술은 현재 가장 조용한 핵잠수함이나 이동식 미사일 발사대를 찾아내는 데 큰 도움을 줄 것입니다. 수백만, 혹은 수십억 마리의 쥐 크기만 한 자율 드론들이 스텔스 기술을 통해 적진 깊숙이 침투해, 은밀하게 핵 전력을 찾아내고, 파괴하며, 지휘 체계를 무력화할 수 있습니다. 또한, 더욱 정교해진 센서와 목표 추적 시스템은 미사일 방어 능력을 비약적으로 향상시킬 수 있습니다(예를 들어 이란과 이스라엘의 경우처럼). 더 나아가, 산업적 혁신이 일어나면, 로봇 공장에서 상대방의 미사일 하나하나를 요격할 수 있는 수천 대의 요격 미사일을 신속하게 생산할 수도 있을 것입니다. 그리고 이는 기존 과학기술 패러다임을 뛰어넘는 완전히 새로운 방식들, 예를 들어 원격으로 모든 핵무기를 무력화하는 기술을 고려하지 않은 상황에서조차 가능한 일입니다.

그야말로 상대가 되지 않는 싸움이 될 것입니다. 단순히 상호 파괴를 의미하는 핵 억지 차원의 경쟁이 아니라, 상대방의 군사력을 큰 피해 없이 완전히 무력화할 수 있는 압도적인 차이가 생기게 될 것입니다. 초지능에서 몇 년 앞서 나가는 것만으로도 완전한 군사적 우위를 차지하게 될 것입니다.

만약 인공지능이 급격하게 발전한다면, 몇 달의 차이로도 결정적인 우위를 점할 수 있을 것입니다. 그 몇 달 동안에 인간 수준의 인공지능에서 훨씬 더 뛰어난 초지능으로 발전할 수 있기 때문입니다. 초기 단계의 초지능을 확보하는 것만으로도, 이를 널리 배포하기 전에 이미 압도적인 우위를 가질 수 있습니다. 예를 들어, 초인적인 해킹 능력으로 아직 초지능을 갖추지 못한 군대를 무력화시키거나, 제한된 드론 군집을 이용해 상대방의 지도자나 고위 관료, 그들의 가족에게 즉각적인 위협을 가할 수 있습니다. 또한, AlphaFold와 같은 시뮬레이션 기술을 활용하여 특정 민족을 겨냥한 첨단 생화학 무기를 개발하거나, 적에게 치료제를 제공하지 않는 방식으로 큰 피해를 입힐 수도 있습니다.

중국이 경쟁력을 갖출 수 있다

많은 사람들이 중국과 AGI(인공지능 일반)에 대해 다소 안일한 태도를 보이고 있는 것 같습니다. 반도체 수출 통제가 중국의 발목을 잡고 있고, 주요 AI 연구소들이 미국과 영국에 위치해 있으니 크게 걱정할 필요가 없다고 생각하는 것이죠. 물론, 중국의 대규모 언어 모델(LLM)도 어느 정도 성과를 내고 있습니다. 대형 모델을 훈련할 수 있는 능력도 분명히 갖추고 있습니다. 하지만 그들의 기술력은 미국의 2선급 연구소들과 비슷한 수준일 뿐입니다. 게다가 중국에서 발표되는 많은 모델들은 미국의 오픈소스 기술을 약간 변형한 것에 불과한 경우가 많습니다. 예를 들어, Yi-34B 아키텍처는 사실상 Llama2 아키텍처에서 코드 몇 줄만 바꾼 것이라는 지적도 있습니다. 과거에는 중국의 딥러닝 기술이 더 주목받았던 시기가 있었습니다. 예를 들어, 바이두는 현대적 확장 법칙에 관한 초기 논문 중 하나를 발표했었죠. 하지만 최근 몇 년간 중국이 AI 분야에서 주요 혁신을 주도한 경우는 드문 것으로 보입니다. 비록 논문 수로만 보면 중국이 미국보다 더 많은 AI 논문을 발표하고 있지만 말입니다.

하지만 이는 어디까지나 서론일 뿐입니다. 만약 중국 공산당이 AGI의 중요성을 깨닫게 되는 날이 온다면, 그들이 이 분야에서 경쟁하기 위해 엄청난 노력을 기울일 것이라고 예상할 수 있습니다. 그리고 중국이 이 경쟁에 뛰어들 수 있는 명확한 전략이 있다고 생각합니다. 바로 미국을 능가하는 규모로 자원을 투입하고, 알고리즘을 탈취하는 방식이죠.

컴퓨팅

1a. 반도체:

중국은 현재 7nm(나노미터) 칩을 제조할 수 있는 능력을 보유한 것으로 보입니다. 7nm를 넘어서기 위해서는 EUV(극자외선 리소그래피) 기술이 필요하기 때문에 더 어려운 도전이 될 것이지만, 7nm만으로도 충분합니다. 참고로 Nvidia A100 칩이 7nm 공정으로 만들어졌습니다. SMIC의 7nm 플랫폼을 기반으로 한 화웨이의 자국산 Ascend 910B 칩은 성능 대비 가격 면에서 Nvidia 칩에 비해 약 2~3배 정도 효율이 떨어지는 것으로 보입니다.

SMIC의 7nm 생산 수율과 중국의 전반적인 기술 성숙도에 대해서는 논란이 있으며, 이 7nm 칩을 어느 정도 양산할 수 있는지가 중요한 문제로 남아 있습니다. 그럼에도 불구하고, 몇 년 안에 대규모로 생산할 수 있을 가능성이 상당히 높아 보입니다.

AI 칩의 성능 향상 대부분은 AI 사용 사례에 맞게 칩 설계를 최적화하는 데서 나왔으며, 중국은 이미 대만 공급망에서 Nvidia 칩 설계를 탈취한 것으로 보입니다. 7nm와 3nm 또는 2nm의 차이, 그리고 중국 반도체 제조 능력의 미성숙으로 인해 비용이 더 많이 들 수 있겠지만, 이는 치명적인 문제는 아닌 것 같습니다. 7nm 공정 위에서 훌륭한 AI 칩을 충분히 만들 수 있기 때문입니다. 몇 년 안에 중국이 1,000억 달러 이상의 자금과 대규모 훈련 클러스터에 필요한 충분한 연산 자원을 확보하지 못할 것이라는 점에 대해 높은 확신을 갖기 어렵습니다.

1b. 미국을 능가하는 역량:

가장 큰 훈련 클러스터를 구성하는 데 있어 가장 큰 제약은 반도체가 아니라 산업 동원력일 것입니다. 특히 1조 달러 규모의 클러스터를 운영하기 위해 필요한 100GW의 전력이 중요한 문제가 될 것입니다. 하지만 중국이 미국보다 잘할 수 있는 한 가지가 있다면, 바로 '건설 능력'입니다.

지난 10년 동안 중국은 거의 미국 전체 전력 용량에 맞먹는 새로운 전력 시설을 건설했습니다(반면 미국의 전력 용량은 거의 변화가 없었습니다). 미국에서는 이러한 프로젝트들이 환경 검토, 허가, 규제 문제 등으로 인해 진행이 수년간 지연되는 경우가 많습니다. 따라서 중국이 미국보다 더 빠르게 대규모 데이터 학습 클러스터를 구축할 가능성이 상당히 높아 보입니다.

2030년까지 AI 인프라를 구축하는 데 있어 중국이 미국보다 훨씬 더 유리한 상황이라는 전망은 'Racing to the Trillion-Dollar Cluster'의 이전 추정치를 바탕으로 하고 있습니다.

알고리즘

'OOMs(순서상의 중요성)'에 대해 자세히 논의했듯이, 컴퓨팅 자원을 확장하는 것만으로는 충분하지 않습니다. 알고리즘의 발전 역시 AI 진보에 최소 절반 정도 기여하고 있습니다. 현재 우리는 AGI(인공지능 일반)의 핵심적인 알고리즘 돌파구를 개발 중이며, 이는 마치 데이터 처리 한계에 부딪힌 상황에서 알고리즘의 'EUV(극자외선 리소그래피)'와 같은 역할을 하고 있습니다.

현 상황에서 서구권 연구소들이 크게 앞서 있다고 생각하는 것이 자연스럽습니다. 그들은 핵심 인재들을 다수 보유하고 있으며, 최근 몇 년 동안 모든 중요한 돌파구를 만들어왔습니다. 이 우위는 몇 년 안에 10배 또는 100배 더 큰 컴퓨팅 클러스터를 보유한 것과 맞먹는 수준이 될 수도 있으며, 이는 미국이 상당히 안정적인 리드를 확보하는 데 기여할 것입니다.

하지만 현재의 상황을 유지할 경우, 우리는 이 우위를 완전히 포기할 위험이 있습니다. 보안 섹션에서 상세히 논의한 바와 같이, 현재의 보안 상태는 중국이 미국 연구소에 침투하는 것을 매우 쉽게 만들고 있습니다. 그래서 연구소의 보안을 빠르게 강화하지 않는다면, 중국은 AGI 개발에 필요한 핵심 알고리즘 요소를 단순히 훔쳐가 미국의 역량에 필적할 수 있게 될 것입니다. (더욱 심각한 문제는, 보안을 개선하지 않으면 중국이 경쟁할 수 있는 더 직접적인 방법이 있다는 것입니다. 그들은 자신들의 AGI를 훈련시킬 필요조차 없을 것입니다. 그저 AGI 가중치 데이터를 훔치면 되니까요. 일단 자동화된 AI 연구자의 복사본을 손에 넣으면, 그들은 빠르게 자체적인 지능 폭발을 일으킬 수 있으며, 미국보다 더 신속하게 초지능에 도달할 가능성이 있습니다. 특히 그들이 미국보다 신중함이 덜하거나, 혹은 규제와 지연을 덜 적용할 경우 더 빠르게 앞서 나갈 수 있습니다.)

현재까지 미국의 기술 기업들은 AI와 확장성에 중국보다 훨씬 더 큰 투자를 해왔고, 그 결과 우리는 상당히 앞서 있습니다. 하지만 지금 중국을 과소평가하는 것은 2022년 말 ChatGPT가 등장했을 때 AI 경쟁에서 구글을 제외하는 것과 비슷한 일입니다. 당시 구글은 AI에 대한 강력한 투자를 본격적으로 시작하지 않은 상태였고, 오픈AI가 크게 앞서가는 듯 보였습니다. 하지만 구글이 깨어난 후 1년 반 만에 아주 강력한 경쟁자가 되었습니다. 중국 또한 비슷한 길을 걸을 가능성이 큽니다. 중국 공산당이 AGI(인공지능 일반) 경쟁에 본격적으로 뛰어들게 된다면, 상황은 크게 달라질 수 있습니다.

물론 중국 정부가 무능할 수도 있고, AI가 공산당을 위협할 수 있다는 판단하에 지나치게 규제를 강화할 수도 있습니다. 하지만 그렇게 될 것이라고 장담할 수는 없습니다.

저는 우리가 중국이 AGI에 전력을 다해 달려들 것이라는 가정하에 대응해야 한다고 생각합니다. 매년 AI의 성능이 비약적으로 향상되고, 소프트웨어 엔지니어의 업무가 자동화되기 시작하며, AI 수익이 폭발적으로 증가해 10조 달러 규모의 평가와 수조 달러 규모의 클러스터 구축이 이루어지는 상황에서, AGI의 출현이 임박했다는 공감대가 형성되면 중국 공산당도 이를 주목할 것입니다. 미국 정부가 AGI에 깨어나는 것처럼 중국 공산당 역시 AGI에 주목하게 될 것이며, AGI 경쟁에서 뒤처진다는 것이 그들의 국가 권력에 어떤 의미를 갖는지 깨닫게 될 것입니다.

그들은 결코 만만한 상대가 아닐 것입니다.

초지능을 통제하는 독재자가 등장할 경우, 우리는 과거에 경험한 적 없는 막강한 권력을 가진 지도자를 맞이하게 될 것입니다. 이러한 독재자는 다른 나라에 자신의 뜻을 강요할 뿐만 아니라, 자국 내에서도 철저한 통제를 통해 권력을 굳건히 유지할 수 있을 것입니다. 수백만 대의 AI가 제어하는 로봇 경찰이 시민들을 감시하고, 대규모 감시 체계가 더욱 정교해지며, 독재자에게 충성하는 AI들은 각 개인의 반발 기미를 철저히 평가하고 거짓말을 거의 완벽하게 탐지하여 불충실한 사람들을 색출할 수 있습니다.

더 나아가, 이러한 로봇 군대와 경찰력은 오직 한 명의 정치 지도자에 의해 완전히 통제될 수 있으며, 이들은 절대적인 복종을 하도록 프로그래밍될 것입니다. 이로 인해 과거 독재 정권들이 직면했던 군사 쿠데타나 대중 반란의 위험도 사라지게 됩니다.

과거의 독재 체제는 영원하지 못했지만, 초지능은 독재자의 통치를 위협하는 기존의 모든 요소들을 제거하고, 그들의 권력을 영구적으로 고착시킬 가능성이 있습니다. 만약 중국 공산당(CCP)이 이 힘을 얻게 된다면, 그들은 자신들이 규정한 '진리'를 완벽하게 강요할 수 있을 것입니다.

하지만 저는 단순히 "우리의 가치가 더 우월하다"는 이유로 독재자가 초지능을 손에 넣을까봐 걱정하는 것이 아닙니다. 저는 자유와 민주주의를 믿습니다. 그 이유는 제가 올바른 가치가 무엇인지 확신하지 못하기 때문입니다. 역사의 긴 흐름 속에서, '절대적으로 옳다'고 여겨졌던 믿음들은 수없이 도전받아 왔습니다. 저는 실수에 대한 교정, 실험, 경쟁, 그리고 적응의 메커니즘에 우리의 믿음을 두어야 한다고 생각합니다.

초지능(슈퍼인텔리전스)은 이를 손에 쥔 자들에게 반대 세력을 짓누르고, 반대 의견을 억압하며, 인류를 위한 거대한 계획을 강제로 실현할 수 있는 힘을 줄 것입니다. 이러한 막강한 권력을 남용하고자 하는 유혹에 저항하기란 매우 어려운 일일 것입니다. 저는 진심으로 우리가 이 힘을 지혜롭게 사용할 수 있기를 바라며, 미국의 건국자들이 제시한 다양한 가치들이 공존하고, 다채로운 의견들이 계속해서 존중받는 사회가 이어지길 희망합니다.

인공지능(AI) 경쟁에서 우리가 걸고 있는 것은 단순히 먼 미래의 대리전에서의 우위가 아니라, 자유와 민주주의가 앞으로 100년 이상 지속될 수 있을지의 문제입니다. 인류 역사의 흐름은 매우 잔인하면서도 분명합니다. 20세기 동안 두 번이나 독재가 세계를 위협한 바 있으며, 우리는 이 위협이 영원히 사라졌다고 착각해서는 안 됩니다. 저의 많은 젊은 친구들에게 자유와 민주주의는 당연한 것으로 느껴지겠지만, 사실 그렇지 않습니다. 인류 역사에서 가장 흔한 정치 체제는 독재였습니다.

저는 중국 공산당(CCP)과 그 독재 동맹국들의 의도를 정확히 알 수는 없습니다. 다만, 상기해야 할 점은 다음과 같습니다. 중국 공산당은 역사상 가장 많은 인명을 앗아간 전체주의 지도자를 숭배하는 정권입니다. "기아, 박해, 강제 노역, 대량 처형 등으로 4천만에서 8천만 명이 희생되었다는 추정"이 있습니다. 또한, 최근에는 백만 명의 위구르족을 수용소에 가두고 자유로운 홍콩을 강압적으로 억압했습니다. 이 정권은 사회 통제를 위해 최신 기술을 활용한 대규모 감시를 체계적으로 실행하고 있습니다. 휴대전화 추적, DNA 데이터베이스 구축, 안면 인식 기술 등 새로운 방법은 물론, 옛날식으로는 일반 시민들을 동원해 이웃을 감시하게 하는 방식도 병행하고 있습니다. 모든 문자 메시지는 검열을 거치며, 심지어 해외에 있는 자녀가 시위에 참가했다는 이유로 가족을 경찰서로 소환하기도 합니다. 시진핑 주석은 종신 독재자로 자리매김했으며, 이 정권은 자유로운 이웃 국가를 군사적으로 진압하고 '재교육'하려는 목표를 공공연히 내세우고 있습니다. 또한, 중국 중심의 세계 질서를 추구한다는 점도 분명히 하고 있습니다.

자유 세계는 이 경쟁에서 권위주의 세력에 승리해야 합니다. 우리의 평화와 자유는 미국의 경제적, 군사적 우위 덕분입니다. 아마도 중국 공산당이 초지능을 갖추게 된다면, 국제 사회에서 책임 있게 행동하며 각자의 영역을 존중할지도 모릅니다. 그러나 그와 같은 독재자들의 역사는 결코 긍정적이지 않습니다. 만약 미국과 동맹국들이 이 경쟁에서 패배한다면, 우리는 모든 것을 잃을 위험에 처하게 됩니다.

안전 확보를 위해선 꾸준한 우위를 유지하는 것이 결정적입니다.

과학과 기술이 놀라운 발전을 이루는 동안, 동시에 파괴적인 수단도 함께 발전해 왔다는 사실은 불행한 역사입니다. 처음엔 나무와 돌로 시작해, 칼과 창, 소총과 대포, 기관총과 탱크, 폭격기와 미사일, 그리고 결국에는 핵무기까지 이어져 왔습니다. 기술이 진보함에 따라, 파괴력 대비 비용은 꾸준히 감소해 왔습니다. 초지능 이후의 급격한 기술 발전도 이 흐름을 따를 가능성이 큽니다.

생물학 분야의 급진적인 발전은 새롭고 강력한 생화학 무기를 만들어 낼 수도 있습니다. 이 무기들은 소리 없이 빠르게 퍼져, 명령에 따라 치명적인 결과를 일으킬 수 있으며, 가격 또한 저렴해져 테러 단체조차 쉽게 접근할 수 있을지 모릅니다. 또한, 새로운 형태의 핵무기는 핵무기 보유량을 몇 배나 증가시키고, 탐지 불가능한 새로운 전달 방식도 등장할 가능성이 있습니다. 혹은 모기 크기의 드론이 치명적인 독을 실어 특정 국가의 모든 사람들을 제거하는 일도 가능할 수 있습니다. 앞으로 100년간의 기술 발전이 어떤 결과를 가져올지 예측하기는 어렵지만, 분명히 엄청나고 무서운 가능성이 펼쳐질 것이라는 점은 확실합니다.

인류는 냉전 시기 자멸할 뻔한 위기를 가까스로 피했습니다. 역사를 돌아보면, 인공지능(AGI)이 가져올 가장 큰 존재적 위협은 그것이 대규모 파괴 수단을 개발하는 데 도움을 줄 수 있다는 점입니다. 이번에는 이러한 수단들이 더 널리 퍼져, 테러리스트나 불법 단체들에게까지도 쉽게 접근 가능해질 수 있습니다. 특히, 현재와 같은 방향으로 나아간다면, 초지능의 핵심 알고리즘이나 데이터가 충분히 보호되지 못하고 북한, 이란 등과 같은 국가에 의해 도난당할 위험도 커질 것입니다.

이미 북한은 생화학 무기를 개발하기 위한 체계적인 프로그램을 운영하고 있습니다. 미국 정보기관은 "북한이 국가 차원의 공격적인 생화학 무기 개발 프로그램을 가지고 있다"고 평가하고 있습니다. 현재 북한이 겪는 가장 큰 제약은 그들의 소수 엘리트 과학자들이 (합성) 생물학의 한계를 얼마나 극복할 수 있느냐에 달려 있는 것으로 보입니다. 그런데 만약 이 제약이 사라져, 수많은 초지능을 이용해 생화학 무기 연구개발 속도를 극적으로 높일 수 있다면 어떻게 될까요? 예를 들어, 현재 미국은 북한이 유전자 변형 생물학적 제품을 개발하는 데 있어 "제한적인 능력"만 가지고 있다고 평가합니다. 하지만 그 능력이 무한해진다면 어떤 끔찍한 신형 무기들이 등장하여 우리를 위협하게 될까요?

또한, 초지능 폭발 시기나 그 전후에 극도의 안전 문제가 발생할 수 있다는 것은 이미 초맞춤(superalignment) 부분에서 논의된 바 있습니다. 우리는 초인적인 AI 시스템을 신뢰하고 통제할 수 있도록 하기 위해 새로운 기술적 도전 과제에 직면하게 될 것입니다. 이를 위해 어떤 중요한 시점에서 속도를 늦춰야 할 수도 있습니다. 예를 들어, 안전성에 대한 추가 확신을 얻기 위해 AI 폭발이 진행 중인 상황에서 6개월 정도 지연시키거나, 컴퓨팅 자원의 상당 부분을 능력 발전보다는 AI의 정렬 문제 연구에 할애해야 할 수 있습니다.

일부 사람들은 안전 문제에 관한 국제 조약을 기대하지만, 저에게는 비현실적으로 보입니다. 중국 공산당(CCP)과 미국 정부(USG)가 AGI(범용 인공지능)의 위험성을 충분히 인식하고 안전 문제를 진지하게 받아들이는 세상은, 동시에 양국 모두 AGI 경쟁에서 몇 달 뒤처지는 것이 국제 경제 및 군사적 패권을 영원히 상실할 수 있다는 사실을 깨닫는 세상이기도 합니다. 만약 AGI 경쟁이 치열하다면, 최소한 초기 초지능 단계에서 군비 통제 균형이 안정적일 가능성은 매우 낮아 보입니다. 쉽게 '탈주(breakout)'가 일어날 수 있으며, 초지능과 결정적 우위를 먼저 차지하려는 동기(그리고 다른 국가가 이런 동기로 먼저 행동할 것이라는 두려움)가 너무 크기 때문입니다. 결국, 우리가 이 문제에서 만족할 만한 결과를 얻을 가능성은 매우 희박해 보입니다. (기후 변화에 관한 조약들은 어떻게 되었나요? 이 문제는 그에 비해 훨씬 더 해결하기 쉬워 보이지 않나요?)

우리에게 남은 가장 큰, 어쩌면 유일한 희망은 민주주의 국가들이 적대 세력에 비해 우위를 점하고 있다는 사실입니다. 미국은 이 선두에 서야 하며, 그 우위를 바탕으로 전 세계에 안전 기준을 확립하는 역할을 해야 합니다. 과거 핵무기 문제에서 우리는 그러한 방식을 택했으며, 핵기술의 평화적 사용을 지원하는 대신 국제적인 비확산 체제를 구축하는 길을 걸었습니다. 이 체제는 궁극적으로 미국의 군사력이 뒷받침하고 있었고, 지금까지 효과가 입증된 유일한 방법이기도 합니다.

가장 중요한 점은, 우리가 충분한 우위를 가지고 있을 때 협상의 여지가 생긴다는 것입니다. 특히, 인공지능이 급격히 발전하는 상황에서 안전성을 확보하기 위해 추가적인 노력을 기울이는 등, 필요시 이 우위를 부분적으로 활용할 수 있는 능력을 가지게 되는 것입니다.

초지능에 대한 안전 문제는 경쟁이 치열해질수록 관리하기 어려워집니다. 2년의 기술 격차와 2개월의 격차는 큰 차이를 만들 수 있습니다. 만약 우리가 단 2개월 정도의 앞선 기술을 보유하고 있다면, 안전을 위한 여유는 전혀 없다고 볼 수 있습니다. 중국 공산당(CCP)의 초지능 개발에 대한 두려움으로 인해, 우리는 필연적으로 모든 제약을 무시한 채 초지능 개발 경쟁에 뛰어들 가능성이 큽니다. 그 결과, 인간보다 훨씬 더 뛰어난 AI 시스템이 몇 달 만에 개발되면서 중요한 결정을 제대로 내릴 시간적 여유도 없이 급속도로 진행될 것입니다. 이는 초지능이 잘못된 방향으로 흘러갈 위험을 동반하며, 매우 위험한 상황을 초래할 수 있습니다. 동시에 우리와 중국은 빠르게 혁신적인 군사 기술을 개발하면서 억지력을 반복적으로 불안정하게 만드는 불안정한 상황에 직면하게 될 것입니다. 만약 우리의 기술과 정보가 철저히 보호되지 않는다면, 다른 불량 국가들 또한 초지능을 이용해 자신들만의 새로운 대량살상무기를 개발할 수 있는 상황이 될 수도 있습니다. 설령 우리가 간신히 우위를 점한다 해도, 그 승리는 결국 전 세계를 자멸의 위기로 몰아넣는 피로스의 승리에 불과할 것입니다.

만약 민주주의 동맹국들이 2년 정도의 안정적인 우위를 점하게 된다면, 초지능이 등장하는 시기와 그 이후에 직면할 전례 없는 도전들을 헤쳐나갈 시간을 벌 수 있을 것입니다. 이는 상황을 안정시키는 데 필수적인 시간을 제공할 것입니다.

미국이 결정적으로 승리할 것이 분명해지는 순간, 중국을 비롯한 다른 경쟁국들에게 협상을 제안할 시점이 올 것입니다. 그들도 더 이상 승산이 없다는 것을 알게 될 것이고, 결국 협상 테이블에 나올 수밖에 없다는 것을 깨닫게 될 것입니다. 서구의 노력을 방해하려는 마지막 군사적 시도나 극단적인 대치 상황을 피하는 것이 더 바람직하기 때문입니다. 그들에게 내정 불간섭을 보장하고 초지능이 가져올 평화로운 혜택을 공유하는 대가로, 확산 방지와 안전 기준을 준수하며 초지능 이후의 안정을 위한 새로운 질서를 마련할 수 있을 것입니다.

어떤 상황에서도 우리가 자멸의 위협을 잊어서는 안 됩니다. 냉전 시기를 무사히 넘긴 것은 순전히 운이 따랐고, 그때와 비교해 지금 우리가 직면한 파괴력은 수천 배 더 클 수 있습니다. 미국을 중심으로 한 민주주의 동맹국들의 건전한 우위와 그 우위를 바탕으로 불안정한 상황을 안정시키기 위한 진지한 리더십 행사는 우리가 이 위기를 극복하는 가장 안전한 길일 것입니다. 하지만 AGI 경쟁의 열기 속에서 실수하지 않도록 더욱 신중해야 합니다.

초지능은 국가 안보와 직결된 문제입니다.

인공지능의 발전이 미국의 국가 안보에 중대한 도전 과제가 될 것이라는 점은 분명합니다. 이제는 이를 심각하게 받아들여야 할 때입니다.

미국 정부도 점차 이 문제에 대해 움직이기 시작하고 있습니다. 미국산 반도체에 대한 수출 통제가 대표적인 사례로, 당시 매우 선견지명이 있는 조치였습니다. 그러나 이와 같은 조치를 모든 분야에서 더욱 진지하게 실행해야 합니다.

현재 미국이 AI 분야에서 우위를 점하고 있습니다. 그러나 이 우위를 유지하는 데 있어 우리는 실수를 범하고 있습니다. 특히 앞으로 12~24개월 내에 중요한 AGI(인공지능 일반) 돌파구나 핵심 기술이 유출되지 않도록 AI 연구소들을 빠르고 강력하게 통제해야 합니다. 컴퓨팅 클러스터는 미국 내에서 구축해야 하며, 돈만을 쫓는 독재 국가에서 진행해서는 안 됩니다. 또한, 미국의 AI 연구소들은 정보기관 및 군사 기관과 협력해야 할 의무가 있습니다. 미국이 AGI 분야에서 앞서간다고 해서 단순히 AI 연애 애플리케이션을 개발하는 것만으로는 평화와 자유를 보장할 수 없습니다. 불편한 진실일 수 있지만, 우리는 미국의 안보를 위해 AI를 개발해야 합니다.

우리는 이미 수십 년 만에 가장 불안정한 국제 정세를 향해 나아가고 있습니다. 푸틴은 동유럽에서 세력을 확장하고 있으며, 중동은 여전히 혼란 속에 있습니다. 중국 공산당은 대만을 자국 영토로 흡수하는 것이 운명이라고 여기고 있습니다. 여기에 더해 AGI(인공지능 일반)의 개발 경쟁이 가속화되고 있습니다. 초지능이 도달한 이후 수십 년의 기술 발전이 몇 년 만에 압축되어 이루어진다면, 이는 역사상 가장 불안정한 국제 상황을 만들어낼 것이고, 초기에는 선제공격에 대한 유혹이 매우 커질 수밖에 없습니다.

이미 AGI 개발 예상 시점(약 2027년?)과 대만을 둘러싼 중국의 침공 가능성 시기(중국이 2027년까지 대만 침공 준비를 마칠 것이라는 관측) 사이에는 기묘한 일치가 존재합니다. AGI에 대한 경각심이 높아질수록 이 일치는 더욱 주목받을 것입니다. (마치 1960년에 세계 대부분의 우라늄 매장지가 베를린에 집중되어 있었다고 상상해 보십시오!) AGI의 최종 단계가 세계 대전을 배경으로 전개될 가능성도 적지 않다고 생각됩니다. 그때는 어떤 일이 벌어질지 예측하기 어려울 것입니다.