Q존 운영자도 RTX5090 x 딥시크 콜라보뉴스 올렸음

컴갤러(61.75) 2025.02.02 08:16:41

조회 125 추천 0 댓글 1

운영자가

rtx5090으로 딥시크 추론시 성능 매우 우수하다는 뉴스 올렸는데

그건 운영자도 아직 잘 모르는게 있는데

딥시크 모델은 FP4로 양자화했을때 가장 rtx5090과 궁합이 잘 맞으며

딥시크로 뭔가 상용 서비스를 시작할경우

rtx5090 4개로 128gb내지 5개로 160gb를 구성했을떄

FP4로 가장 이상적인 초고속 작동을 하며.

rtx5090 6개로 192gb이상 구성시 FP8로도 잘 작동한다는거

어찌됐든 딥시크 구동엔

양자화 레벨에 따라 VRAM이 128gb~320GB가 필요하다는건데 (원본은 720gb)

이는 5090이 4개에서 10개 단위가 1세트로 끌려간다는 것을 의미함

이 밸런스를 맞추기 위한 Project Digits 제품은 128gb이며. 1개로도 일반적인 FP4구동은 가능하며
2개를 붙이면 괜찮은 속도로 딥시크 256gb 구동이 가능하고 2개면 FP8로도 구동할 정도로 돌아간다는거.

VRAM을 맞추기 위해 5090을 막 8개 10개 붙이면 성능이 너무 과잉이 되버리고 예산도 너무 비싸지니깐

예산과 성능과 vram의 비율을 잘 맞춘 제품이 Project Digits란것.

일반적인 언어모델 구동시 1개나 2개만 사면 되도록 구성되어있고.

3~4개를 사면 언어모델을 거의 완전체로 굴릴수 있음

그리고 학습이랑 추론 차이도 모르고 그냥 뼥뼥거리는 애들 많은데

지금 이 내용은 소규모 개인용 추론GPU에 대한 이야기이며

딥시크 때문에 학습 시장은 규모가 확 줄었고 (사실은 이미 포화상태였음)

모든 기업과 개인들이 학습과정을 대부분 건너 뛰게 될 수 있어서

이젠 추론용 모델과 HW에 대한 시장이 열린거라

완전히 새로운 시장에 대한것으로 전문가들도 뒤늦게 깨닫고 기사를 하나씩 올리는중임

2be8c168f5dc3f8650bbd58b368776658ca469

고정닉 0

원본 첨부파일 1

f5q.png

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	예능 속 모습이 오히려 이미지 반감 시킨 것 같은 스타는?	운영자	25/01/27	-	-
공지	컴퓨터 본체 갤러리 이용 안내 [155]	운영자	22.12.13	75241	125
5323662	지난 10년간 조립해서 썻던 시스템 사진들 올려봄	ㅇㅇ(221.154)	11:04	1	0
5323661	오늘 일요일 아님??.jpg	컴갤러(115.20)	11:04	6	0
5323660	9070xt 599달러면 좋겠다	ㅇㅇ(125.240)	11:04	3	0
5323659	너네는 ssd로 충분하냐?	컴갤러(110.8)	11:03	6	0
5323658	rtx 50은 뭐 하나 맘에 드는게 없음	ㅇㅇ(118.131)	11:03	5	0
5323656	왜 비싼 컴퓨터 부품을 사는지가 궁굼하신건가요?	ㅇㅇ(175.112)	11:02	7	0
5323655	5080은 무조건 가격 인하한다 [1]	컴갤러(122.202)	11:02	17	0
5323653	중국 무협게임 1위 경공 수준..jpg [3]	스타포지	11:02	20	0
5323652	4080s = 5080 개추박아라 인정하면	ㅇㅇ(106.101)	11:01	18	4
5323651	노트북은 용팔이가 파는거임?	컴갤러(223.39)	11:00	4	0
5323650	7월에 일본 대지진 나면 컴퓨터 가격 오른다	컴갤러(182.229)	11:00	25	0
5323649	5080은 미개봉 매물 존나많네ㅋㅋ	컴갤러(14.55)	11:00	34	0
5323648	컴퓨터 책상이 흔들리면 이렇게 하면 된다 ㅇㅇ	ㅇㅇ	11:00	14	0
5323647	최후의 합리적 가격 글카가 1080ti임	ㅇㅇ	11:00	27	0
5323646	3080 든든하면 개추	ㅇㅇ	11:00	12	0
5323645	5080은 씹호구들만 사는 거임	ㅇㅇ	11:00	12	0
5323643	5070이면 4070ti 랑비빔?	컴갤러(117.111)	10:59	9	0
5323642	알리의 은혜	ㅇㅇ(39.119)	10:59	26	1
5323641	스팀덱은 용팔이가 파는거 아니지?	컴갤러(223.39)	10:58	7	0
5323640	5080 좆망이구나 ai쪽에서도 안사감성능구려 30할인시작	ㅇㅇ	10:58	33	0
5323639	기분 좋다	ㅇㅇ(211.210)	10:57	15	0
5323637	힘들면 정신병원 바로바로가라	ㅇㅇ	10:56	19	0
5323634	200짜리 글카사면서 제원도 안보면	컴갤러(1.244)	10:56	26	0
5323633	4060ti 45만원에 팜	컴갤러(223.33)	10:56	37	0
5323632	4080s = 5080 이걸 이해못하면 자살ㄱㄱㄱㄱㄱ [3]	ㅇㅇ(106.101)	10:55	67	3
5323631	3070ti -> 4070 옆글임? [4]	ㅇㅇ(223.38)	10:54	60	0
5323629	이제 글카 가격이 코인때 가격 정가가 됨 ㅋㅋ	ㅇㅇ(223.38)	10:53	30	0
5323628	가슴이 남자같아서 따먹히고 차인횟수가 많은여배우 [2]	ㅇㅇ(211.213)	10:53	57	0
5323627	4090 vs 5080 같은 가격이면 뭐 삼??? [10]	컴갤러(118.41)	10:52	90	0
5323625	형님들 조카 컴퓨터 사줄라는데 [2]	컴갤러(106.101)	10:52	33	0
5323623	오늘도 4090 돈값할 예정 [7]	컴갤러(121.155)	10:51	82	0
5323622	400 안넘을꺼라고 희망회로 돌리던 퀘이사 저지능들 박제ㅋㅋ [3]	컴갤러(59.30)	10:51	69	4
5323621	에프터버너 아직도 구팔삼디 온도 안뜸? [1]	컴갤러(49.174)	10:50	12	0
5323620	근데 요즘 겜하는데 cpu도 중요하냐? [4]	ㅇㅇ(118.235)	10:50	54	0
5323618	SSD 하나 더 사려고 하는데요 쌤들 [2]	심해어	10:49	29	0
5323617	여기 한놈은 5080 한맺혔냐 ㅋ [6]	ㅇㅇ	10:49	83	0
5323616	알리 직구 cpu랑 램은 대체 언제 오냐 [1]	조냑	10:49	29	0
5323615	중국산 마우스 중에서 건전지 들어가는 마우스 없음? [1]	공부는머리	10:48	17	1
5323613	5080 ai도 안사간덴다 ㅋㅋ 30할인	ㅇㅇ	10:48	64	0
5323612	수강싴청 피시방가서 할려하는데 [1]	컴갤러(1.249)	10:48	19	0
5323611	씨발 케이스 나사 쓰니까 바로 들어가네	아누아	10:48	34	0
5323610	형들 x670e gene 파는게 나을까	컴갤러(211.205)	10:47	15	0
5323608	존버하다가 5080 특가 120만원대 나오면 사야지 [6]	ㅇㅇ(106.101)	10:47	92	0
5323607	5080 할인 하냐? [1]	ㅇㅇ(61.83)	10:47	41	0
5323606	50 좆박은거같은데 그냥 3060ti 계속쓰고 나머지만 갈아치울까	ㅇㅇ(220.81)	10:46	14	0
5323605	라데온 7800 직구했다	컴갤러(39.7)	10:46	20	0
5323604	4090조택껀데 4년 더 쓰면댐? [2]	ㅇㅇ(118.235)	10:46	42	0
5323603	개컴알못 프리플로우에서 완본체 사려는데 [2]	ㅇㅇ(106.101)	10:46	42	0
5323601	마우스 수명이 원래 짧냐? 2년 지났는데 스크롤이 잘 안됨... [3]	컴갤러(119.75)	10:45	33	0
뉴스	[왓IS] 김대호, 14년만 퇴사 “MBC에 부채의식 있었다...불안하지만 변화 시도” 울컥	디시트렌드	02.01