퓨리오사AI, TCP(텐서 축약 프로세서)로 AI 반도체 시장 전환 노린다

IT동아 · 2024.06.28 09:53:20

[IT동아 남시현 기자] 지난 2006년, 엔비디아는 새로운 G80 시리즈 그래픽 카드를 공개하며 게이밍 그래픽 카드를 범용 연산 카드로 사용할 수 있는 GPGPU라는 기술을 소개했다. GPGPU(General-Purpose computing on Graphics Processing Units)는 GPU 상의 범용 계산이라는 뜻의 기술로, 기존에 CPU가 맡았던 응용 프로그램 계산을 GPU가 진행하도록 그래픽 파이프라인을 연결한다. 그리고 이를 지원하는 프로그래밍 언어 ‘쿠다(CUDA)’를 통해 개발자들이 다양한 수학 연산을 GPU로 할 수 있는 환경을 만들었다.

GPGPU 기술 덕분에 엔비디아 그래픽 카드의 활용도와 가치는 세상을 바꿔놓았다 / 출처=엔비디아

당시 젠슨 황 엔비디아 최고경영자는 미래에는 그래픽 카드가 게임이 아닌 연산 전용 장치로 쓰일 것이라는 비전을 제시했고, 엔비디아 GPU 상의 부동소수점 구현이 IEEE(전기전자공학자협회) 표준에 가깝도록 구성했다. 엔비디아 그래픽 카드로 처리할 수 있는 작업의 궤가 넓어지자 많은 프로그램들이 엔비디아 쿠다를 기반으로 구축되기 시작했고, 엔비디아의 GPGPU 기술은 관련 연산이 필요한 거의 모든 작업에 표준처럼 쓰이게 됐다.

10여 년이 지난 지금, GPU는 모든 고성능 컴퓨팅 작업에 쓰인다. 대규모로 데이터를 병렬 처리할 수 있어서 데이터 서버 같은 가속 컴퓨팅 체계로 만들고, 과학이나 금융, 인공지능, 시뮬레이션, 데이터 분석 등 모든 분야의 연산 처리에 사용한다. 엔비디아 그래픽 카드가 품귀인 이유도 대규모 가속 컴퓨팅을 구축하기 위한 기반 장치이기 때문이다.

범용 목적으로 쓰이는 GPU··· 전력 효율은 나빠

GPU의 가장 큰 장점은 뛰어난 범용성이다. 하지만 그만큼 소비전력과 단가가 높다 / 출처=엔비디아

GPGPU의 가장 큰 장점은 연산 처리가 필요한 어떤 작업에든 대응한다는 점이다. 지금도 AI와 기계학습은 물론 과학 연구와 시뮬레이션, 게임 및 그래픽, 클라우드 컴퓨팅 등 쓰이지 않는 분야가 없다. 하지만 여기에는 대가가 따른다. 엔비디아 GPU의 처리 성능이 우수한 건 맞지만, 전력 효율성보다는 최고 성능을 높이는 쪽에 초점을 맞추고 있다.

GPU는 원래 그래픽 연산 처리를 위해 설계된 반도체라서 인공지능 등을 처리할 때 데이터의 병목 현상과 처리 방식, 다양한 형태의 텐서 처리 시의 효율성 저하, 메모리 대역폭으로 인한 한계 등이 발생한다. 현재 개발된 AI 가속기 중 가장 성능이 높지만, 효율성보다는 더 많은 전력을 인가하고 더 발전된 설계와 큰 칩을 사용한 결과다. 이 때문에 마이크로소프트는 인공지능 개발에 필요한 전력을 조달하기 위해 소형모듈원전(SMR)을 개발할 정도다.

퓨리오사AI의 2세대 반도체, 레니게이드가 8월 출시된다. 레니게이드는 기존 NPU 방식에서 TCP(텐서 축약 프로세서)라는 새로운 개념을 도입했다 / 출처=퓨리오사AI

대안으로 떠오르는 것이 바로 신경망 처리 장치, NPU다. NPU는 두뇌의 동작 방식을 모방해 만든 반도체로, 심화학습(딥러닝) 같은 특정 인공지능 처리에 특화돼 있다. GPU처럼 다목적으로 쓰기는 어렵지만, 행렬곱이나 합성곱 등에 최적화한 아키텍처로 특정 AI 작업에 최적화된 전력 효율성을 발휘하며, 같은 전력을 인가했을 때 성능이 더 높다. 국내에서는 퓨리오사AI 워보이, 리벨리온 아톰이 대표적이며, 해외에서도 세레브라스나 텐스토렌트 등이 시장을 개척하고 있다.

퓨리오사AI, 텐서 축약 프로세서(TCP)로 새로운 가능성 제시

하지만 NPU의 가장 큰 한계는 제한된 활용 방식이다. 퓨리오사AI의 1세대 반도체인 워보이는 비전인식 추론에 최적화된 제품이고, 리벨리온 아톰도 비전인식, 자연어 처리 등 추론에 최적화돼있다. 텐스토렌트의 NPU도 비전인식, 자연어 처리, 로봇 제어 등에 초점을 맞추고 있고, 한계를 해결하고자 프로그래밍이 가능한 RISC-V도 함께 만들고 있다. 이런 상황 속에서 퓨리오사AI는 텐서 축약 프로세서(Tensor Contraction Processor, TCP) 방식을 채택해 시장에 새로운 가능성을 제시하고 나선다.

실제 공개된 논문 서두, ISCA 발표는 7월 2일(현지시각)이다 / 출처=퓨리오사AI

퓨리오사AI는 현지시간으로 6월 29일에서 7월 3일 개최되는 국제 컴퓨터 아키텍처 심포지엄(ISCA)에서 2세대 반도체 ‘레니게이드’의 핵심 처리 방식과 기술 이력을 담은 ‘TCP : AI용 텐서 축약 프로세서 워크로드’ 논문을 발표한다. ISCA는 미국 전기전자공학회(IEEE), 전산공학회(ACM)가 주최하는 세계 최고 권위의 컴퓨터 기술 심포지엄이다.

해당 논문은 김한준 퓨리오사AI CTO 외 47명이 참여했으며, 앞서 6월 10일 서울대학교 컴퓨터공학부에서 발표됐다. 소속기관은 퓨리오사AI와 포르투갈 고급 연구 개발 비영리 단체 INESC‑ID, 리스본 공과대학, 서울대학교가 기재됐다.

논문에 기재된 TCP 시스템 온 칩 (SoC)의 기본 구조 및 스펙 / 출처=퓨리오사AI

퓨리오사AI가 제안하는 TCP는 텐서 축약을 기본 단위로 처리하고, 데이터를 재사용해 인공지능 처리 성능을 끌어올린다. 텐서는 데이터를 여러 차원으로 나눠서 담고 있는 구성이고, 차원 일부를 줄여 더 작은 차원으로 만드는 게 텐서 축약이다. GPU는 텐서를 축약할 때 행렬 곱셈으로 매핑하는데, 이는 텐서 축약 자체의 병렬성과 데이터 지역성을 완전히 살리지 못하고, 또 가속기의 처리 단위 크기가 작으면 데이터 재사용 범위가 제한되고, 다양한 유형과 모양의 텐서를 처리할 수 없어 효율이 떨어진다.

텐서 축약은 여러 차원으로 이루어진 텐서에서 특정 축을 따라 데이터를 합산하여 차원을 줄이는 연산이다 / 출처=깃헙

TCP는 텐서 축약 자체를 처리한다. 덕분에 대규모 병렬 작업도 가능하고, 슬라이스라는 더 작은 단위로 분할해 텐서 처리의 유연성을 끌어올린다. 또한 소규모 작업과 고성능 컴퓨팅 등 다양한 규모의 텐서 처리를 위해 프로세싱 엘리먼트(PE)인 연산 소자를 다양한 규모로 8개를 배치했다. 또한 기존의 GPU는 데이터를 재사용하는데 한계가 있고, 반복 사용 시 병목을 일으키지만 TCP는 그 자체로 데이터를 재사용하고, 효율적으로 전달하는 구조로 설계됐다.

아울러 고급 컴파일러를 통해 활용 환경에 맞춰 텐서 연산을 최적화한다. 처리 모델은 큰 계산을 작은 계산으로 나누는 등으로 연산자를 변환하고, 이를 다시 모아 큰 연산 규모로 구성해 효율성을 끌어올린다. 그다음 규모에 맞춰 하드웨어 명령을 선택하고, 실행 가능한 파일로 변환한다.

처리 과정을 요리에 빗대어 설명하면, 레시피를 먼저 방법에 따라 큰 덩어리의 작업인 채소 썰기, 고기 굽기 등으로 나누고, 채소를 다듬는 과정은 한 번에 다루는 식이다. 또 여기에 적절한 칼과 냄비 등을 고르고, 구체적으로 어떻게 썰지 등을 조작한다. 마지막으로 이를 실행하는 식으로 AI 모델 처리를 효율화한다.

150W TDP 칩으로 TDP 700W 대비 최대 2.7배 와트당 성능

논문에 기재된 엔비디아 L40s, H100, TCP(레니게이드)의 성능 비교 / 출처=퓨리오사AI

논문에는 직접적으로 제품 성능과 엔비디아 L40s, H100 GPU와의 라마-2(Llama) 7B 데이터 시간 및 처리량 비교가 있다. 스펙상 TCP의 열설계전력(TDP)은 150W고, L40은 350W, H100은 700W에 달한다. TDP가 곧 소비전력을 의미하진 않지만, 그만큼 방열 처리를 갖추고 소비 전력도 높다는 말은 된다. 메모리는 TCP가 48GB HBM3, L40s가 48GB GDDR6, H100이 HBM3 80GB다.

이때 TCP의 성능은 FP8 기준 512 TFLOPS(초당 부동소수점 연산), L40s는 362, H100은 989다. AI 처리에 쓰이는 INT8 및 INT4 기준 TOPS(초당 1조 회 연산)는 TCP가 각각 512 및 1024, L40s가 733 및 733, H100은 1979로 표기돼있다. 이중 L40s의 INT4가 1466이 아닌 733, H100의 INT4가 3958이 아니라 미기재인 이유는 희소성(Sparsity) 최적화를 통해 성능을 최고 수준으로 다듬었을 때 제한적으로 낼 수 있는 수준이라서다.

Energy Efficiency는 레니게이드와 엔비디아 H100 및 L40S의 와트당 성능 비교, Throughput은 처리 성능 비교다 / 출처=퓨리오사AI

종합적으로 TCP는 동일한 라마-2 LLM(대형 언어 모델)을 처리했을 때 한번에 처리하는 데이터의 개수인 배치(Batch) 1개, 시퀀스 길이 128일 때의 지연시간은 TCP가 8ms, L40s가 14ms, H100이 7ms로 거의 비슷했고, 처리량은 16배치, 2000 입력/출력 길이일 때 TCP가 935 토큰, L40s가 531토큰을 처리했다. 32배치에서는 TCP가 1293토큰, H100이 2230토큰을 처리했다. 와트당 성능은 TCP가 16배치에서 1와트당 6.24TOPS, L40s가 1.52TOPS를 발휘했으며, 32배치에서 TCP가 8.62TOPS, H100이 3.19TOPS를 발휘했다.

종합적으로 TCP는 와트당 성능면에서 L40s 대비 4.1배, H100 대비 2.7배 높은 성능을 보인다. 엔비디아 DGX 플랫폼처럼 8개의 장치를 꽂는다면 최적화된 AI 처리에서는 GPU 대비 2~4배에 가까운 전력 효율성과 2배에 가까운 전력 소모대 성능을 제공한다. 물론 최고 성능은 엔비디아 최신 GPU를 많이 꽂는 기존 방식에 밀리지만, RE100 등 신재생에너지 기반의 데이터센터 혹은 추론 기반의 작업에 최적화된 경우라면 압도적인 효율성이다.

TCP, 다목적 NPU라는 새로운 지평 열어

기존의 NPU는 고정된 연산 유닛으로 지정된 작업을 수행하는데 최적이었지만, TCP는 8개의 프로세싱 엘리멘트(PE)와 아키텍처에서 데이터를 효율적으로 전달하기 위해 설계된 시스템인 페치 네트워크(Fetch Network) 구성을 통해 텐서를 효율적으로 처리한다. 덕분에 TCP는 GPU 만큼은 아니더라도 다른 NPU보다는 훨씬 더 다양한 작업에 동원할 수 있다.

퓨리오사AI의 2세대 반도체 레니게이드의 기판 / 출처=퓨리오사AI

이는 기존 NPU 시장의 판도가 바뀔 수 있다는 점을 시사한다. 시장에서 GPU를 고집하는 이유는 결국 범용성 때문이다. 최고 성능이 높다는 장점도 있지만, 전력 효율이 떨어지고 가격대가 높다. 대안으로 등장한 NPU는 일부 AI 모델들을 대상으로 한 추론 기능에만 국한되니 대체재가 아닌 일부 작업의 차선책 정도 입지였다.

TCP로 다양한 작업에 대응한다면 인공지능 작업에서는 GPU의 대체제로 쓰일 수 있다. 물론 기존 GPU 사용자가 TCP를 채택하기란 쉽지 않겠지만, 퓨리오사AI는 자체적으로 모델을 최적화해 배포하는 등으로 진입을 도울 예정이다. TCP는 오는 8월부터 2세대 NPU인 ‘레니게이드(RNGD)’라는 이름으로 시장에 첫선을 보인다.

RNGD는 금번 7월 MLPerf에 LLM 부문에 대해 우선 결과를 제출할 예정이고, 9월부터 글로벌 시장에 판매될 예정이다. 기존 NPU의 한계를 넘어 텐서 축약 처리 기반이라는 새로운 방향성을 제시한 RNGD가 AI 반도체 시장의 패러다임을 바꿀 수 있을지 주목된다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	가족과 완벽하게 손절해야 할 것 같은 스타는?	운영자	24/06/24	-	-
3989	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 17	IT동아	06.28	58	0
3988	[뉴스줌인] LG전자 ‘클로이’ 로봇, 구글 ‘제미나이’ AI 탑재해 더 똑똑해졌다	IT동아	06.28	117	0
3987	[농업이 IT(잇)다] AI로 누구나 쉽게 식물 키우도록 돕는 ‘그루우’	IT동아	06.28	61	0
3986	누비랩 x 전주효림초등학교 “AI와 놀며 편식·잔반 문제 해결”	IT동아	06.28	64	0
3985	가상자산 사업자 신고제 개정 ‘법령 준수 체계·대주주 현황도 신고’ [1]	IT동아	06.28	5952	0
3984	브이디컴퍼니 x 여산휴게소 “로봇과 함께 휴게소 무인화 성큼”	IT동아	06.28	65	0
3983	디지털 교육 위한 첫걸음 디벗, 교육 현장에서는 어떻게 쓰이나	IT동아	06.28	57	0
3982	[스케일업] 캠터 [1] BM 분석 “수익형 캠핑용품 대여 플랫폼으로 상생을 꿈꾼다”	IT동아	06.28	49	0
3981	[SBA X IT동아] 페이먼트인앱 “인공지능 에지 컴퓨팅의 효용을 세계로 ”	IT동아	06.28	43	0
3980	[생성 AI 길라잡이] PC도, 스마트폰도…온디바이스 AI 시대 본격화	IT동아	06.28	80	0
	퓨리오사AI, TCP(텐서 축약 프로세서)로 AI 반도체 시장 전환 노린다	IT동아	06.28	45	0
3978	부산모빌리티쇼 개막…캐스퍼 일렉트릭·르노 콜레오스 등 신차 격전	IT동아	06.27	74	0
3977	동의 없이 마음대로 수리하고 수리비는 개인 주머니에? 제이씨현온비즈의 수상한 A/S [4]	IT동아	06.27	623	0
3976	[IT애정남] AI PC, 어떤 기준으로 고르는 게 좋나요? [1]	IT동아	06.27	419	1
3975	[SBA X IT동아] 그린웨어 “섬유 산업 지속가능성 주는 바이오매스 천연 염색”	IT동아	06.27	84	0
3974	2024 블록체인 지원 사업 14개 추진 “블록체인 혁신 서비스 발굴·지원”	IT동아	06.27	56	0
3973	[스타트업 첫걸음] 창업지원기관, 어떻게 찾아야 할까	IT동아	06.27	60	0
3972	업무 문화 혁신 중, KB국민은행은 ‘애자일(Agile)에 진심’이었습니다 [13]	IT동아	06.27	6038	0
3971	[스케일업] 파나띠꼬 [1] BM분석 – 선택ㆍ집중 통한 기업과 제품 정체성 구축 필요	IT동아	06.26	74	0
3970	[스케일업] 말랑탱크 [1] BM분석 “눈 건강 솔루션으로 틈새 시장 개척, 방향성 유지가 중요”	IT동아	06.26	68	0
3969	브이디컴퍼니 x 골프존파크 “서빙로봇과 24시간 매장으로 변신”	IT동아	06.26	69	0
3968	[리뷰] 조명을 더한 감성 스피커 ‘브리츠 BZ-CML200’	IT동아	06.26	826	1
3967	[자동차와 法] 차량 결함으로 의심되는 급발진 교통사고의 문제점	IT동아	06.25	80	0
3966	[인터뷰] 실사용 의료데이터 분석으로 성공적인 임상연구 돕는 ‘메디플렉서스’	IT동아	06.25	91	0
3965	[자동차 디자人] 프리미엄 소형차 ‘MINI 디자인’ 이끄는 ‘올리버 하일머’	IT동아	06.25	839	0
3964	[칼럼] IPO 열풍 속 IT 인프라 변화, 클라우드 전환의 필요성과 전략적 접근	IT동아	06.25	82	0
3963	‘성능? 호환성?’ AI(인공지능) PC 시대, 선택의 기준은?	IT동아	06.25	570	0
3962	엔슬파트너스·콴티파이 “유망 초격차 10대 스타트업 적극 육성”	IT동아	06.25	80	0
3961	[혁신스타트업 in 홍릉] 두뇌싱긋연구소 “게임으로 노년층에게 즐거운 삶을”	IT동아	06.25	80	0
3960	[SBA x IT동아] 넷스파 “폐어망 재활용으로 해양 폐기물 문제 해결에 기여하겠습니다”	IT동아	06.25	73	0
3959	[뉴스줌인] 성능은 UP, 가격은 동결, ‘갤럭시 A35’ 이모저모 [3]	IT동아	06.25	942	1
3958	[스케일업] 운약근답올핏 [1] “시장·영업·스케일업 전략 명확하게 제시하라”	IT동아	06.24	88	0
3957	업비트·빗썸, 가상자산 투자대회 개최 '투자 심리 회복 기대'	IT동아	06.24	100	0
3956	뷰소닉 데이빗 첸 “한국 빔프로젝터 시장, 우리 경쟁력 높일 기회의 땅” [3]	IT동아	06.24	860	0
3955	브이디컴퍼니 x 타임빌라스 수원 “대형 매장 서빙, 로봇으로 거뜬히” [2]	IT동아	06.24	911	1
3954	[정구태의 디지털자산 리터러시] 디지털자산 갈라파고스 탈출을 위한 제언 2. 실명계좌 제도 개선	IT동아	06.24	80	0
3953	헷갈리는 우회전 교통법규 숙지하기! [이럴땐 이렇게!] [13]	IT동아	06.24	2500	3
3952	[르포] ‘페라리’ 전동화 전초 기지 ‘e-빌딩’ 현장 살펴보니	IT동아	06.21	134	0
3951	AWS 지용호 마케팅 총괄 “클라우드 강자 AWS, 생성형 AI 혁신도 주도”	IT동아	06.21	136	0
3950	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 16	IT동아	06.21	144	0
3949	[생성 AI 길라잡이] 대화형 생성AI도 골라서 쓰자, GPT와 클로드, 제미나이	IT동아	06.21	4442	5
3948	[농업이 IT(잇)다] 마늘 분류에 비전인식 AI 접목한 '젠틀파머스'	IT동아	06.21	139	0
3947	“NFT가 가상자산?” NFT 법적 성격 판단 기준 나왔다	IT동아	06.20	750	0
3946	삼성전자, 빌트인 가전 브랜드 '데이코' 전시·판매 확대로 B2C 시장 공략 [2]	IT동아	06.19	2514	0
3945	KIAT, 광주 가전산업 위기 극복 위해 기업과 머리 맞대	IT동아	06.19	150	0
3944	[스케일업] 두디스 [1] BM분석 - "유튜브 영상 분석 플랫폼, 첨예한 접근 필요"	IT동아	06.19	149	0
3943	브이디컴퍼니 x 향촌흑염소 "서빙로봇, 대형 요식업 매장에 어울려”	IT동아	06.19	166	0
3942	[월간자동차] 24년 5월, 국산 ‘기아 카니발’·수입 ‘테슬라 모델 3’ 판매 1위	IT동아	06.19	703	0
3941	초기 스타트업에 대한 전문적·객관적 평가, '상품성 진단' 들여다보니	IT동아	06.19	137	2
3940	AKG, 라이프스타일에 맞춘 새로운 N 시리즈 ‘N5·N9 하이브리드’ [1]	IT동아	06.18	2177	0

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

범용 목적으로 쓰이는 GPU··· 전력 효율은 나빠

퓨리오사AI, 텐서 축약 프로세서(TCP)로 새로운 가능성 제시

150W TDP 칩으로 TDP 700W 대비 최대 2.7배 와트당 성능

TCP, 다목적 NPU라는 새로운 지평 열어

▶ ‘성능? 호환성?’ AI(인공지능) PC 시대, 선택의 기준은?▶ ‘인공지능’ 처리하는 AI PC 시대 개막, PC 시장이 움직인다▶ 딥엑스, 엣지 AI용 NPU 'DX-M1'으로 중국·대만 시장에서 두각

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결

▶ ‘성능? 호환성?’ AI(인공지능) PC 시대, 선택의 기준은?▶ ‘인공지능’ 처리하는 AI PC 시대 개막, PC 시장이 움직인다 ▶ 딥엑스, 엣지 AI용 NPU 'DX-M1'으로 중국·대만 시장에서 두각