여기서 ai tops라는 말로 교묘하게 가라쳐 놨는데

fp4 지원이 안되는 4090은 fp8(int8) tops로 표기해놨고

fp4 지원이 되는 50라인 애들은 fp4 tops로 표기해놓음

int4의 정밀도가 int8의 절반에 불과하기 때문에 퀄리티 차이가 상당히 나는데도 같은 ai tops로 퉁쳐놓음

대충 fp4값을 기반으로 fp8 top를 시뮬레이트해보면 대충 저 값의 절반정도라고 보면 됨 (1676)

1676은 1321대비 1.268배의 값으로 대충 텐서코어 개수 늘어난만큼의 성능 향상이라 볼 수 있음 (약 1.3배 근사치)

5090이 뭐 4090보다 ai 속도가 세배니 이런 얘기는 4090이 fp4 inference가 불가능하기 때문에

4090이 fp8로 뽑는 것과 5090이 fp4로 뽑는 것에 대한 속도 비교임 

fp4 결과는 fp8에 비해 상당히 저열하기 때문에 이걸 동일 라인에서 비교하는건 좀 황회장이 약을 오지게 판거임

현재 실제 ai에서 주류로 사용되는 정밀도는

fp32+fp16 (mixed precision)

fp16 (half precision)

Int8 

이렇게 세개임. fp4는 정밀도가 매우 떨어지기 때문에 극한의 최적화를 한 초 경량화 quantization 모델의 inference 정도로만 쓰임

fp4가 현재로썬 아직까지 존나 의미가 없음