LLM 기반으로 어시스턴트 만드는 게 생각보다 까다로움

LLM은 기본적으로 텍스트 생성기야

입력된 텍스트를 기반으로 다음 텍스트를 예측해서 써줄뿐이라는 거...

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

사용자 : 올리버 트리의 에센스 재생해줘

GPT : 올리버 트리의 곡 "Essence"는 그의 앨범 Alone in a Crowd의 트랙 중 하나로, 슈퍼 컴퓨터(Super Computer)와의 콜라보레이션 곡입니다. 이 곡은 2023년 9월 29일에 출시된 Alone in a Crowd 앨범에 포함되어 있습니다

"Essence"는 올리버 트리의 독특한 스타일과 슈퍼 컴퓨터의 전자적 요소가 조화롭게 어우러져 있으며, 뮤직 비디오도 상당히 화려하고 독창적인 비주얼을 자랑합니다. 이 곡은 올리버 트리 특유의 코믹한 요소와 심오한 메시지를 결합하여 팬들에게 깊은 인상을 주고 있습니다​ (Linkfire)​.

곡을 듣고 싶으시다면, 이 링크에서 유튜브를 통해 감상하실 수 있습니다​

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

실제로 음악앱을 조작해서 음악을 재생하거나 하는게 아니라 그냥 이렇게 AI가 해줄만한 답을 예측해서 써줄 뿐임

만약 니가 오픈AI나 구글의 API를 통해 LLM에 접근할 권한을 얻고 이를 이용해서 음악 재생하는 서비스를 만들고 싶다면?

시스템 프롬프트를 이렇게 짜야 함

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

시스템 : 사용자가 음악을 재생하고 싶다고 할 경우, 음악 제목과 아티스트를 찾아서 MUSIC<음악제목>:<아티스트> 형태로 음악 재생 API 호출 메세지를 출력하라

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

이걸 프롬프트 엔지니어링이라고 함

이렇게 프롬프트를 만들 경우

이렇게 제대로 출력하기도 하지만

근본이 LLM이다 보니 이런 식으로 프롬프트를 제대로 따르지 않고 텍스트를 생성하는 경우도 생겨

심지어 위 출력 내용은 내가 직접 개발자용 OpenAI ChatGPT 플레이그라운드에서 실행한건데도 저런 실수를 함...

서버 레벨인데도 저런다는거야

즉 LLM이라는 물건이 본질적으로 저런 문제가 있고 구글이나 오픈AI가 만든 LLM들은 어시스턴트 용도에 아직 맞지 않다는거야

그리고 지원하는 기능이 한두개가 아니고, 경우의 수도 엄청나게 많을텐데

그걸 다 따져서 어떻게 시스템 프롬프트를 엔지니어링 할거냐도 문제가 됨... LLM은 읽을 수 있는 프롬프트 길이에 제한이 있거든

그럼 애플은 이걸 어떻게 해결했냐?

이런 목표를 정확히 수행하기 위해 아예 특정 목적들에게 특화되도록 LLM을 만듬

저기 나오는것처럼 Query 수행같은 수많은 기능들을 LoRA 형태로 강화시켜서 통합시켰어

게다가 이렇게 만들어진 3B 모델을 온디바이스에서(아이폰 15프로) 30tok/s 로 구동한다는것도 인상적인 부분이야

마이크로소프트는 X Elite 에서 실행할 수 있는 소형 LLM인 3.3B 크기의 Phi-silica를 공개했는데 이건 27Tok/s로 구동돼

거의 비슷한 크기의 모델을 전력을 40~80W까지 빨아먹는 12코어 칩셋보다 빠르게 구동한다는거지. 애플이 온디바이스 AI 성능에 얼마나 진심으로 칩셋을 설계했는지 잘 알수 있어.

이런 사정을 잘 모르는 사람들은 챗GPT를 OS에 왜 통합 안 했냐고 묻는데,

실제로 문제를 들여다보면 엄청나게 복잡하고 외부 솔루션에 기대는 식으로는 절대 해결이 안됨

결국 자기가 직접 해야 하는거야