전략 자산으로 떠오른 GPU, 해법은 NPU에서 찾아야

IT동아 · 2024.10.25 17:22:35

[IT동아 남시현 기자] 현지 시간으로 10월 24일, 백악관이 「인공지능 분야에서 미국의 리더십을 강화하고, 국가 안보 목표를 달성하기 위해 인공지능을 활용하고, 인공지능의 안전성과 보안성, 신뢰성을 강화하기 위한 각서 」를 발표했다. 각서의 주제는 ▲ 인공지능의 활용 ▲ 국가 안보를 위한 정보 ▲ 안정성 및 보안 강화 ▲신뢰성이며, 미국 정부 전체에서 활용하는 AI 모델과 기반 기술에 대한 활용 원칙, 그리고 미국의 국가 안보에 위험을 초래하는 적대적 AI 사용에 대한 대응을 담고 있다.

백악관이 지난 10월 24일(현지 시각) ‘인공지능 분야에서 미국의 리더십을 강화하고, 국가 안보 목표를 달성하기 위해 인공지능을 활용하며, 인공지능의 안전성 및 보안성, 신뢰성을 강화하기 위한 각서’를 발표했다 / 출처=백악관

성명은 ‘기술적 변화의 예측은 불가능하나, 최근 AI의 발전은 약화될 조짐이 거의 없다. 여기에는 지속적인 알고리즘 개선, 더 효율적으로 발전하는 컴퓨팅 하드웨어, 산업계의 연구개발 및 투자 증가, 학습 데이터 셋 확장이 포함된다. 현재 상황에서 AI는 더 강력하고 범용적으로 발전할 것이고, 앞으로는 과거에 필요했던 것 이상의 자원, 인프라, 역량, 작업이 필요해질 것’이라는 내용을 담고 있다. 업계에서는 미 정부가 공식적으로 인공지능을 국가 안보의 중대 사항으로 인정했다고 본다.

“지난 50년 간 발전보다 다음 10년의 기술이 더 빠를 것”

미국은 지금도 AI 생태계를 주도하는데, 완전히 미국 중심의 패권주의를 추구하겠다는 의지를 내비쳤다. 앞으로는 연방 정부 차원에서 AI 관련법 제도 정비와 기술적 표준화, 유관 기관의 협력 및 지원, 인적 자원 확보 및 보호 등을 진행하게 된다. 또한 최첨단 기술을 보호하고, 인프라의 해외 유출을 방지해야 한다며, 사실상 GPU 등 최신 AI 반도체를 관리하겠다는 내용도 담았다.

제이크 설리번 미 국가안보보좌관이 24일 워싱턴DC 국방대학에서 각서 내용을 소개했다 / 출처=포브스

지금까지 미국이 AI 산업을 주도한 배경은 구글, 메타, 마이크로소프트 등의 빅테크 기업들 덕분이었다. 하지만 이 기업들이 모두 AI 기술을 개발할 수 있었던 배경에는 엔비디아의 공이 절대적이다. 업계에서는 ‘구글, 메타가 광산을 개척하는 사업을 한다면, 엔비디아는 삽과 곡괭이를 팔고 있다’고 말한다. 삽과 곡괭이가 없다면 광산을 개척할 수도, 밭을 개간할 수도 없으니 이를 가능하게 돕는 엔비디아의 역할이 그만큼 크다는 말이 된다.

엔비디아 AI 반도체 점유율 98%, 시장 상황은?

시장조사기관 테크인사이츠가 집계한 2023년 글로벌 데이터센터용 GPU 출하량은 385만 개다. 2022년 267만 개에서 약 44% 증가했다. 이중 엔비디아가 출하한 데이터센터용 GPU는 376만 개로 시장 수요의 전체에 가깝다. AMD는 1월 초 인스팅트 MI300 시리즈를 내놨고, 인텔은 이제 막 가우디 가속기를 내놓은 시점이지만 두 기업의 판매량을 합쳐도 9만 개에 불과하다. 시장 규모는 2029년까지 3550억 달러(약 490조 원)까지 성장할 전망인데, 이변이 없다면 엔비디아의 점유율은 계속 높게 유지될 것이다.

젠슨 황 엔비디아 최고경영자가 현지시간으로 10월 24일 뭄바이에서 열린 엔비디아 AI 서밋에서 발표 중이다 / 출처=엔비디아

엔비디아가 AI 반도체 점유율을 독점하는 이유는 이 시장 자체를 엔비디아가 만들었기 때문이다. 엔비디아는 2006년 게이밍 그래픽 생성 등에 쓰이던 부동소수점 연산 처리 성능을 범용 계산 용도로 쓰는 GPGPU(General-Purpose computing on Graphics Processing Units) 개념을 제안했고, 20여 년 간 GPGPU를 고연산 작업에 활용할 수 있도록 쿠다 플랫폼 및 API 생태계를 만들어왔다.

이후 시간이 지나 인공지능과 컴퓨터 기술이 발전했고, AI 모델을 대중적으로 쓸 수 있게 되며 엔비디아의 영향력은 더욱 커졌다. 엔비디아는 사전 훈련된 딥러닝 프레임워크가 엔비디아 GPU에서 구동될 수 있도록 돕는 텐서RT 소프트웨어 개발 도구, 쿠다 기반으로 딥러닝 네트워크를 구동하는 cuDNN 등의 생태계 등을 구성해 시장에 제공했고, 시장에서는 엔비디아 GPU로 AI를 개발하는 것이 표준으로 자리 잡았다.

GPU, AI 개발에서 어떤 역할 하나?

현재 AI 개발 환경에서 GPU가 쓰이지 않는 분야는 거의 없다. 인공지능 모델은 대규모 데이터셋을 가공해 특정 기능을 하도록 만든 것이다. 이 과정을 ‘학습(Training)’이라 하며, 연산 처리에 GPU의 부동소수점 처리 성능이 동원된다. 이미지를 인식하거나 자연어를 처리하고, 목소리 등을 분석하는 AI 모델이 모두 GPU 하드웨어로 만들어진다. 연산 처리가 가능하다면 어떤 하드웨어든 가능하지만, 지금으로는 엔비디아 GPU가 가장 효과적이다.

엔비디아 NVIDIA GB200 NVL72 기반 서버, 36개의 엔비디아 그레이스 CPU와 72개의 블랙웰 GPU가 NV링크로 연결된다 / 출처=엔비디아

게다가 엔비디아 GPU는 NV링크라는 GPU 연결 기술을 토대로 수십에서 수만 대의 GPU를 가속 컴퓨팅으로 연결할 수 있다. 이를 통해 기상, 유통, 생물학, 화학, 천문학 등 대규모 데이터를 분석하고 시각화하는 작업에도 활용한다. 3D 모델링이나 물리 시뮬레이션 등을 활용해 영상 제작, 게임, 건축 등의 분야에서도 쓰인다.

한편 엔비디아 GPU의 품귀 현상으로 인해 갈수록 제품의 단가는 올라가고, 수급은 어려워지고 있다. 특히나 간단한 AI 모델 구축에도 GPU를 활용해야 하는데, 제품 단가나 높은 전력 소비량이 발목을 잡고 있다. 이 때문에 엔비디아 GPU를 대체하기 위해 AMD 인스팅트 MI 300 시리즈나 인텔 가우디 3 AI 가속기 같은 GPU나 퓨리오사AI, 세레브라스, 시마.ai 등의 NPU가 대체제로 떠오르는 것이다.

NPU, GPU로 진행하는 AI 추론의 대체제

이 내용까지가 2024년 10월까지의 일이고, 앞으로는 미국 정부가 나서서 AI 하드웨어를 관리하기 시작한다. AI 가속기 수급에 어려움을 겪는 국가는 노선을 전면 수정해야 할 수 있고, AI 동맹국가 역시 자생력을 확보해야 하는 상황이 됐다. 곡괭이를 안 팔면 광산도 개척할 수 없다.

퓨리오사AI의 2세대 NPU 레니게이드(RNGD)의 시스템 온 칩(SoC) / 출처=퓨리오사AI

앞으로도 AI 훈련이나 대규모 데이터 처리에 GPU 이외의 대안은 마땅치 않지만, AI 전용 반도체인 NPU가 성능을 높이면서 대안으로 산업적 대체제로 쓰이기 시작했다. GPU의 경우 부동 소수점 연산에 최적화돼 있고, 텍스처 및 그래픽 렌더링에 강하다. 그래서 AI 가속기로 활용하면 전력 효율이 크게 떨어진다. 반면 NPU는 신경망 연산에 최적화된 설계고, 정수 연산이나 저정밀 부동 소수점 연산 처리에 특화됐다. AI 가속기로의 피크 성능(최대치)은 다소 떨어지지만, 전력 효율은 훨씬 뛰어나다.

메모리 측면에서도 GPU는 대량의 데이터를 다루기 위해 캐시 구조가 복잡하고, 빠른 대역폭이 더 중요하므로 고성능 메모리를 높은 용량으로 써야 한다. 반면 NPU는 데이터 접근 패턴을 예측할 수 있고, 필요한 데이터만 가져올 수 있어서 상대적으로 용량이 적어도 효율이 좋다.

퓨리오사 AI, 2세대부터 GPU 넘보기 시작

NPU가 GPU의 대체제로 떠오르면서 국산 NPU 기업들의 행보도 중요해졌다. 퓨리오사AI가 지난 21년 공개한 1세대 칩 워보이(WARBOY)는 64TOPS(초당 64조 회 연산)의 성능을 제공했고, 비전인식이나 음성 분석, 엣지 컴퓨팅 등 저성능 GPU의 추론 작업을 일부 대체하는 용도로 사용됐다.

퓨리오사AI RNGD와 엔비디아 H100, L40S GPU간의 주요 성능 비교 / 출처=퓨리오사AI

올해 출시된 2세대 반도체 ‘레니게이드(RNGD) NPU부터는 수준이 한층 올랐다. RNGD는 총 48GB의 HBM3 메모리와 400억 개의 트랜지스터가 내장된 5nm 시스템 온 칩(SoC)로 구성됐다. SoC는 메모리 내 데이터를 재사용하는 텐서 축약 프로세서(TCP) 기술이 적용돼 전력 효율을 최적화했고, 작업 속도도 더 끌어올렸다. 열 설계 전력도 150W 수준으로 낮아 데이터 서버의 냉각 소비전력을 줄이는 데 일조한다.

사우디아라비아 리야드에서 열린 글로벌 AI 서밋(GAIN)에서 아마드 알코웨이터 아람코 기술혁신 담당 수석 부사장이 연설 중이다 / 출처=아람코

AI 업계에서는 발 빠르게 도입하는 추세다. 퓨리오사AI는 지난 21일, RNGD 소프트웨어 스택을 활용해 메타 Llama 3.1 70B 등 중간 규모의 LLM 모델 구동을 시연했고, 인공지능 산업 클러스터 기관(AICA)와 국가정보통신산업진흥원(NIPA)의 데이터센터에도 제품을 설치했다. 또한 사우디 아람코와 양해각서를 체결하고 슈퍼컴퓨팅 및 AI 분야의 협업을 모색한다. GPU의 높은 단가와 낮은 전력 소모 환경에 대한 한계를 NPU에서 찾기 시작한 것이다.

AI 반도체 경쟁 격화··· 시장 가능성 지원해야

최근 퓨리오사AI는 2세대 RNGD 기반 서버를 고객사에 제공하기 시작했다 / 출처=퓨리오사AI

백악관의 발표에는 ‘AI 개발의 현재 추세는 계산 리소스에 크게 의존한다. AI에서 선두를 유지하려면 미국은 세계에서 가장 정교한 AI 반도체를 계속 개발하고, 가장 진보된 AI 전용 계산 인프라를 구축해야 한다’라는 내용이 있다. 따라서 미국은 앞으로 고성능 AI 반도체 개발을 우선순위로 둘 것이고, 후발 주자인 우리나라 기업과 정부도 미국의 반도체 우선 주의를 꾸준히 염두에 두고 시장을 형성해야 한다.

특히나 2022년 발효된 미국 반도체 및 과학법을 통해, 우리는 미국이 자국의 이익을 위해 주요 동맹국도 압박한다는 점을 확인했다. 앞으로 엔비디아를 비롯한 미국산 AI 반도체의 활용 가치가 커질수록, 수급이 어렵거나 제품 등급에 차등을 두는 일 등이 벌어질 가능성이 크다. 이런 경우에 대비해서라도 퓨리오사AI를 비롯한 NPU 기업의 성장 가능성을 지원하고, 더 나아가 NPU 산업이 AI 시장의 새로운 가능성으로 자리 잡도록 생태계가 구축되어야 할 것이다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	손해 보기 싫어서 피해 입으면 반드시 되갚아 줄 것 같은 스타는?	운영자	24/11/18	-	-
4556	전문가가 제시하는 스타트업 ESG 경영 전략…’2024 서울 스타트업 ESG 포럼’	IT동아	19:51	11	0
4555	수원대학교 'WoW 스타트업 브랜치 오픈이노베이션' 개최	IT동아	17:01	16	0
4554	[스타트업리뷰] 로닉 “인공지능 맞춤형 음식 도우미, AI 로봇셰프 큐브”	IT동아	16:33	1314	0
4553	[IT기획자의 탄생] 3. IT기획자에게 필요한 상상력과 글로벌 전략	IT동아	10:43	32	0
4552	[IT’s 가성비] 삼성 크리스탈 UHD TV, 2024년형/85인치 모델에 눈길?	IT동아	09:07	1776	0
4551	[스케일업] 클리카 [3] 피터 노빅과의 대담으로 살펴본 'AI 스타트업'의 방향성	IT동아	09:06	31	0
4550	[생활 속 IT] LG 가전 활용도 넓히는 'LG ThinQ' 연결 및 사용법	IT동아	08:21	25	0
4549	[생활 속 IT] 소프트웨어 활용 습관 바꿔줄 윈도 11 ‘가상 데스크톱’ [1]	IT동아	11.20	74	0
4548	[부산창경 BEF 2024] 기술로 문제 풀이와 오답 노트 작성 효율 높인 ‘프라이머스’	IT동아	11.20	46	0
4547	IBM-연세대, 슈퍼컴 능가하는 127 큐비트 양자컴퓨터 국내 첫 도입 [3]	IT동아	11.20	4756	4
4546	[주간스타트업동향] 휴머닉스, 위플로 CES 2025 혁신상 수상 外	IT동아	11.20	93	0
4545	[부산창경 BEF 2024] 만만한녀석들 “모듈형 집기로 친환경 MICE 산업 선도한다”	IT동아	11.20	45	0
4544	[부산창경 BEF 2024] 나누기월드 “외국인 유학생, 장애인 문제 해결에 기여” [3]	IT동아	11.20	247	0
4543	선박 제조업의 디지털 전환 이끄는 ‘버추얼 트윈’ 기술	IT동아	11.19	74	0
4542	에릭슨엘지 “네트워크도 API로 제공…개발자 참여 독려해야”	IT동아	11.19	74	0
4541	[IT애정남] 노트북 SSD의 OEM 파티션, 삭제해도 되나요?	IT동아	11.19	78	0
4540	[부산창경 BEF 2024] 그린에너지(주) “산업 현장 악취·유해물질 플라즈마로 해결”	IT동아	11.19	78	0
4539	[자동차와 法] 행락철 교통사고 책임과 법적 대처 방안	IT동아	11.19	667	0
4538	아이작 컨셉츠 김태영 대표, "반도체·열유체 공학의 산학협력 교두보 만들겠다"	IT동아	11.19	75	0
4537	[시승기] 돋보이는 디자인과 안전 사양 ‘KGM 액티언’ [1]	IT동아	11.18	351	0
4536	+불필요한 PC 앱, 지우려면 이렇게! [이럴땐 이렇게!] [1]	IT동아	11.18	5089	5
4535	[스케일업] 반프 [3] 정예솔 전략총괄 “반프의 가치, 글로벌 시장에서도 매력적”	IT동아	11.18	107	0
4534	[주간투자동향] 숨빗AI, 50억 원 규모 시드 투자 유치 外	IT동아	11.18	99	0
4533	[투자를IT다] 2024년 11월 2주차 IT기업 주요 소식과 주가 흐름	IT동아	11.16	199	0
4532	[스케일업] 보라웨어 [2] 전영복ㆍ이효주 “구성원 복지ㆍ기업 성장이 공존하는 곳”	IT동아	11.15	193	0
4531	[생성 AI 길라잡이] 8종의 AI 모델 골라 쓰는 ‘SKT 에이닷’ 웹 버전	IT동아	11.15	181	0
4530	디지포레, “제조산업의 디지털 전환, ‘팩토리얼 프로’로 앞당길 것"	IT동아	11.15	174	0
4529	[리뷰] 모니터링 헤드폰의 새로운 기준점 제시, 소니 MDR-M1 [5]	IT동아	11.15	6191	1
4528	[2024 고려대] 스페이스점프 “자영업·소상공인 기자재의 모든 것, 소상공간”	IT동아	11.15	166	0
4527	퀄컴, 온디바이스 AI·차량 전동화에 초점 맞춘 최신 솔루션 선보여	IT동아	11.15	186	0
4526	[창업도약+경북대] 비빔블 “비커스ㆍ버튜디오로 상상 이상의 가상경험 제공할 것”	IT동아	11.15	143	0
4525	[AI와 미래] 기존 저작물은 AI 학습에 어디까지 활용할 수 있을까?	IT동아	11.15	1363	0
4524	[월간자동차] 24년 10월, 신차 등록 두 달 연속 증가…싼타페 판매 1위	IT동아	11.15	138	0
4523	[리뷰] 10G 업링크 지원 네트워크 스위치, 넷기어 GS108MX	IT동아	11.14	166	0
4522	데이터 주권 강조하는 소버린 AI, 진정한 의미는? [1]	IT동아	11.14	698	0
4521	[스케일업] 스쿨버스 [3] 통학버스 전문 플랫폼 개발자 인터뷰	IT동아	11.14	168	0
4520	[UDC 2024] 다양한 산업을 변화시키는 블록체인의 힘	IT동아	11.14	161	0
4519	로봇과 문화예술의 만남, 브이디컴퍼니x장 줄리앙의 종이세상	IT동아	11.14	317	0
4518	[IT애정남] 갤럭시워치를 아이폰과 연결해서 쓸 수 있나요?	IT동아	11.13	4653	0
4517	[신차공개] BMW ‘뉴 4시리즈 그란 쿠페’·로터스 ‘에메야’ 공식 출시 [3]	IT동아	11.13	4755	1
4516	[스타트업-ing] 오아시스 스튜디오 “OVP·오닉스·디보틀로 콘텐츠 에코시스템 구축”	IT동아	11.13	172	0
4515	[생활 속 IT] 취업 서류, 정부24에서 내려받는 법	IT동아	11.12	206	0
4514	기한 지나면 과태료…운전면허 적성검사 및 갱신 방법 살펴보니	IT동아	11.12	2385	3
4513	[창업도약+경북대] 준컴퍼니 “자동차 구매부터 판매까지 아우르는 모빌리티 통합 플랫폼 꿈꾼다”	IT동아	11.12	196	0
4512	[스케일업] 모넷코리아 [2] HDC랩스와 협업 통해 AIoT 기반 부동산 관리 플랫폼 고도화	IT동아	11.12	229	0
4511	[2024 고려대] R2C컴퍼니 “데이터 수요·공급자 만족 이끄는 플랫폼”	IT동아	11.12	647	0
4510	갤럭시 스마트폰의 위젯 기능, 제대로 쓰려면?	IT동아	11.12	255	1
4509	[AWS 인더스트리 위크 2024] 국내 금융/핀테크 기업에 AWS 솔루션은 이렇게 적용됐다 [1]	IT동아	11.11	2038	1
4508	'제조 스타트업 대상으로 소싱디렉팅·제품 제작까지'··· 서울과기대의 실질적 지원 들여다보니	IT동아	11.11	217	0
4507	[AWS 인더스트리 위크 2024] AWS가 실현하고 있는 인공지능 기술의 현재	IT동아	11.11	275	0
뉴스	지연-황재균 이혼 조정 성립…부부 관계 마침표	디시트렌드	18:00

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

“지난 50년 간 발전보다 다음 10년의 기술이 더 빠를 것”

엔비디아 AI 반도체 점유율 98%, 시장 상황은?

GPU, AI 개발에서 어떤 역할 하나?

NPU, GPU로 진행하는 AI 추론의 대체제

퓨리오사 AI, 2세대부터 GPU 넘보기 시작

AI 반도체 경쟁 격화··· 시장 가능성 지원해야

▶ 딥엑스 김녹원 대표, "버터 벤치마크로 1세대 칩 안정성 증명··· 내년엔 2세대 샘플링"▶ AMD의 목적은 '경쟁 아닌 자립'··· 인스팅트 MI325X의 출시 의의는?▶ RTX 40 시리즈 단종 초읽기, 앞으로의 그래픽 카드 선택지는?

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결