캐시에는 locality라는 속성이 있는데 수행한 데이터는 그 주변에서 다시 읽힐 가능성이 높아서

cpu에서 미리 prefetching을 통해 메모리의 인접한 locality를 계산해서 캐시에 적재함

이걸 stride 패턴이라고 부름

간단하게 파이썬 코드로 stride_pattern = matrix[:, ::2] 여기서 매 두 번째 열의 데이터를 가져오려는 경우 stride가 2이므로

2칸 씩 고정 간격으로 띄어서 데이터를 읽어오므로

cpu의 prefetching을 통해 2칸씩 예측해서 미리 읽어서 캐시에 적재하면 캐시 미시가 현저하게 줄어듦

(리눅스에서는 perf를 통해 위의 파이썬 코드를 돌려서 캐시 미스가 얼마나 발생했는지 정량적으로 측정이 가능함)

ML이나 동영상 작업의 경우 연속적인 데이터를 순차적으로 메모리에 읽어와서 cpu 파이프라인에 적재하므로

인접한 데이터들끼리 locality가 있으므로 stride 패턴을 띄게 됨

그래서 캐시 미스가 적기 때문에 큰 캐시는 불필요함

오히려 큰 사이즈의 캐시를 관리하기 위해 접근에 소요되는 레이턴시가 증가해서 성능이 떨어질 가능성이 있음

반면에 배틀그라운드 같은 게임처럼 적이 갑자기 튀어나오고 상황 변화가 크다면 locality가 떨어지니까

캐시 미스가 높아지므로 큰 캐시를 적재해서 캐시미스를 최대한 줄이면 fps가 올라가겠지

요약하자면, 작업이나 ML의 경우 순차적인 데이터 처리로 인해 메모리 상의 데이터 위치에 대한 엔트로피가 낮으므로 다음에 필요한 데이터 예측이 쉬워서 캐시가 적게 필요함

하지만 게임처럼 다양한 장면이 빠르게 전개될 경우 처리에 필요한 데이터의 위치가 메모리상에서 산재되어 있을 확률이 높으므로 엔트로피가 높아짐 그래서 캐시 미스를 줄이기 위해 최신 데이터 위주로 다 때려 박으려면(LRU 스케줄러) 캐시가 많이 필요함