ㅡㅡㅡㅡㅡ

테크 뉴스

ㅡㅡㅡㅡㅡ

반도체 섹터 관련 및 TSMC 실적

ㅡㅡㅡㅡㅡ

넷플릭스 실적

ㅡㅡㅡㅡㅡ

애플

ㅡㅡㅡㅡㅡ

AI 관련 (feat TESLA)

(상대적으로)소형모델들을 비교하면 아래와 같은 결과라고 함.

이에 대한 안드레 카파시의 견해

=====

번역)

LLM 모델 크기 경쟁이 점점 더 치열해지고 있습니다… 그것도 역방향으로요!

저는 앞으로 아주 작지만 매우 똑똑하고 신뢰할 수 있는 모델이 나올 것이라고 예상합니다. 아마도 GPT-2의 파라미터 설정 중에서도 대부분의 사람들이 GPT-2를 "똑똑하다"고 생각할 만한 설정이 있을 것입니다. 현재 모델이 이렇게 큰 이유는 우리가 훈련하는 동안 매우 낭비적으로 사용하고 있기 때문입니다. 모델들에게 인터넷을 암기하도록 요청하고 있는데, 놀랍게도 모델들은 이를 실제로 암기할 수 있고 예를 들어 SHA 해시나 희귀한 사실들을 기억해낼 수 있습니다. (사실 LLM은 암기 능력이 인간보다 질적으로 훨씬 뛰어나며, 때로는 단 한 번의 업데이트로 많은 세부 사항을 오랫동안 기억할 수 있습니다.) 하지만 첫 몇 단어를 주면 인터넷의 임의의 구절을 암기하여 외우는 것이 목표라면, 이는 오늘날 모델의 표준 (사전) 훈련 목표입니다. 더 잘하는 것이 어려운 이유는 훈련 데이터에서 사고의 데모가 지식과 "얽혀" 있기 때문입니다.

<이부분 해설하자면, 즉, 모델이 지식의 암기보다는 사고 능력을 훈련할 수 있도록 데이터를 이상적인 형식으로 만들어야 한다는 것. 이를 통해 모델은 작은 크기에서도 뛰어난 사고 능력을 발휘할 수 있게 될 것.>

따라서 모델들은 먼저 더 커져야 나중에 더 작아질 수 있습니다. 왜냐하면 우리는 이상적인 합성 형식으로 훈련 데이터를 리팩터링하고 형성하는 데 있어 그들의 (자동화된) 도움이 필요하기 때문입니다.

이것은 개선의 계단과도 같습니다. 한 모델이 다음 모델을 위한 훈련 데이터를 생성하는 데 도움을 주는 과정이 반복되면서 결국 "완벽한 훈련 세트"에 이르게 됩니다. 이를 GPT-2에 훈련시키면 오늘날의 기준으로 매우 강력하고 스마트한 모델이 될 것입니다. 어쩌면 화학을 완벽하게 기억하지 못해서 MMLU 점수가 조금 낮을 수 있지만, 때로는 확인을 위해 무언가를 찾아볼 필요가 있을 수도 있습니다.

이것은 테슬라의 자율 주행 네트워크와 크게 다르지 않습니다. AI 데이에서 발표된 "오프라인 트래커"는 무엇일까요? 이것은 합성 데이터 생성 프로세스입니다. 이전의 더 약한 모델들(예를 들어, 단일 프레임 모델이나 바운딩 박스만 사용하는 모델들)을 클립에서 오프라인 3D+시간 재구성 과정에서 실행하여 더 깨끗한 훈련 데이터를 대규모로 생성하는 것입니다. 이렇게 생성된 데이터는 3D 멀티캠 비디오 네트워크를 직접적으로 위한 것입니다. LLM에서도 동일한 방식이 적용되어야 합니다.

=======

한 줄 요약하자면 아래와 같음.

이에 대한 일론머스크의 답글

소형모델의 성능이 점차 개선된다면, 즉 점점 더 대형의 모델로 가는 게 아니라, 대형에서 소형으로 압축되면서도 성능이 올라간다면, 학습을 위한 대규모의 GPU 수요는 어느 순간 급격하게 줄어들 수 있음. 대신 추론용 칩이 필요.

개인적으로 엔비디아의 고점을 '일부' 제한할 수 있는 요소로 판단.

ㅡㅡㅡㅡㅡ

테슬라

ㅡㅡ

ㅡㅡ

ㅡㅡ

ㅡㅡ

ㅡㅡ

ㅡㅡ

전기차 가성비있게 만들고 파는 건 어려움.

근데 테슬라는 풀케파로 돌리는 중이라고 함.

ㅡㅡ