디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

애플 인텔리전스가 대단한점이 LLM을 어시스턴트로 썼다는거

ㅇㅇ갤로그로 이동합니다. 2024.06.15 12:36:11
조회 206 추천 10 댓글 10
														


24b0d121e09c28a8699fe8b115ef046c68f8294d9a



LLM 기반으로 어시스턴트 만드는 게 생각보다 까다로움


LLM은 기본적으로 텍스트 생성기야


입력된 텍스트를 기반으로 다음 텍스트를 예측해서 써줄뿐이라는 거...



ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

사용자 : 올리버 트리의 에센스 재생해줘


GPT : 올리버 트리의 곡 "Essence"는 그의 앨범 Alone in a Crowd의 트랙 중 하나로, 슈퍼 컴퓨터(Super Computer)와의 콜라보레이션 곡입니다. 이 곡은 2023년 9월 29일에 출시된 Alone in a Crowd 앨범에 포함되어 있습니다

"Essence"는 올리버 트리의 독특한 스타일과 슈퍼 컴퓨터의 전자적 요소가 조화롭게 어우러져 있으며, 뮤직 비디오도 상당히 화려하고 독창적인 비주얼을 자랑합니다. 이 곡은 올리버 트리 특유의 코믹한 요소와 심오한 메시지를 결합하여 팬들에게 깊은 인상을 주고 있습니다​ (Linkfire)​.

곡을 듣고 싶으시다면, 이 링크에서 유튜브를 통해 감상하실 수 있습니다​

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ


실제로 음악앱을 조작해서 음악을 재생하거나 하는게 아니라 그냥 이렇게 AI가 해줄만한 답을 예측해서 써줄 뿐임


만약 니가 오픈AI나 구글의 API를 통해 LLM에 접근할 권한을 얻고 이를 이용해서 음악 재생하는 서비스를 만들고 싶다면?



시스템 프롬프트를 이렇게 짜야 함


ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

시스템 : 사용자가 음악을 재생하고 싶다고 할 경우, 음악 제목과 아티스트를 찾아서 MUSIC<음악제목>:<아티스트> 형태로 음악 재생 API 호출 메세지를 출력하라

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ


이걸 프롬프트 엔지니어링이라고 함


이렇게 프롬프트를 만들 경우

24b0d121e09c28a8699fe8b115ef0468e1a2efbd



이렇게 제대로 출력하기도 하지만


24b0d121e09c28a8699fe8b115ef0468e7aaebbe


근본이 LLM이다 보니 이런 식으로 프롬프트를 제대로 따르지 않고 텍스트를 생성하는 경우도 생겨



심지어 위 출력 내용은 내가 직접 개발자용 OpenAI ChatGPT 플레이그라운드에서 실행한건데도 저런 실수를 함...

서버 레벨인데도 저런다는거야


즉 LLM이라는 물건이 본질적으로 저런 문제가 있고 구글이나 오픈AI가 만든 LLM들은 어시스턴트 용도에 아직 맞지 않다는거야



그리고 지원하는 기능이 한두개가 아니고, 경우의 수도 엄청나게 많을텐데

그걸 다 따져서 어떻게 시스템 프롬프트를 엔지니어링 할거냐도 문제가 됨... LLM은 읽을 수 있는 프롬프트 길이에 제한이 있거든




그럼 애플은 이걸 어떻게 해결했냐?


24b0d121e09c28a8699fe8b115ef0468e1a2edbe67

이런 목표를 정확히 수행하기 위해 아예 특정 목적들에게 특화되도록 LLM을 만듬


저기 나오는것처럼 Query 수행같은 수많은 기능들을 LoRA 형태로 강화시켜서 통합시켰어


24b0d121e09c28a8699fe8b115ef0469903cf1bf

게다가 이렇게 만들어진 3B 모델을 온디바이스에서(아이폰 15프로) 30tok/s 로 구동한다는것도 인상적인 부분이야


마이크로소프트는 X Elite 에서 실행할 수 있는 소형 LLM인 3.3B 크기의 Phi-silica를 공개했는데 이건 27Tok/s로 구동돼

거의 비슷한 크기의 모델을 전력을 40~80W까지 빨아먹는 12코어 칩셋보다 빠르게 구동한다는거지. 애플이 온디바이스 AI 성능에 얼마나 진심으로 칩셋을 설계했는지 잘 알수 있어.






이런 사정을 잘 모르는 사람들은 챗GPT를 OS에 왜 통합 안 했냐고 묻는데,


실제로 문제를 들여다보면 엄청나게 복잡하고 외부 솔루션에 기대는 식으로는 절대 해결이 안됨


결국 자기가 직접 해야 하는거야

추천 비추천

10

고정닉 3

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 가족과 완벽하게 손절해야 할 것 같은 스타는? 운영자 24/06/24 - -
7691740 KT LTE 존나 느리네 [3] 신종야옹갤로그로 이동합니다. 06.24 127 1
7691739 여긴 왜케 삼성을 싫어하는거임?? [1] ㅇㅇ(59.6) 06.24 104 0
7691732 요즘 갤 s24 기본형 얼마면 사냐? ㅇㄷ(211.234) 06.24 83 0
7691731 조선일보가 부정선거 물었네 [3] 케이스갤로그로 이동합니다. 06.24 84 0
7691729 알리가 아예 한국이랑 손잡았구나 [3] 폭탄갤로그로 이동합니다. 06.24 94 0
7691728 갤럭시가 자유해양세력임. ㅇㅇ(59.6) 06.24 102 0
7691725 이번 화성화재를 사람들은 이렇게 말하네 [4] 케이스갤로그로 이동합니다. 06.24 94 0
7691723 이번 화성화재로 민주당은 또 정치적으로 이용하겠네 [4] 케이스갤로그로 이동합니다. 06.24 78 0
7691722 [단독] 경찰 "KT, 조직적 해킹팀 꾸려 통신망 감청·악성코드 유포" ㅇㅇ(118.45) 06.24 55 0
7691719 석열이가 부가세 올린다네 [1] 유자아메리카노갤로그로 이동합니다. 06.24 73 2
7691716 토끼 좆같은새끼 못참겠다 [6] 루블라냐갤로그로 이동합니다. 06.24 110 3
7691715 자유를 억압하는 아이폰 사지 마라 아쎄이 ㅇㅇ(39.7) 06.24 97 0
7691714 그래도 삼성이 착하더라.. ㅇㅇ(59.6) 06.24 101 1
7691712 개좆성이 애플보고 경쟁한다하면 내가 다 화남 [2] midNight¹갤로그로 이동합니다. 06.24 94 7
7691711 애플과 삼성 누가 더 좋을까 [2] 유동갤로그로 이동합니다. 06.24 122 0
7691709 gs 편순이 고닉 김무지님 [4] 유자아메리카노갤로그로 이동합니다. 06.24 68 3
7691708 폰 고장났음 아이폰 갤럭시 승부존 뭐 고름 ㅇㅇ(175.120) 06.24 96 0
7691706 시발 김무지 [5] 유자아메리카노갤로그로 이동합니다. 06.24 77 0
7691703 EU 집행위 "애플, 앱스토어에 대한 디지털시장법 위반" 비난 [4] ㅇㅇ(118.45) 06.24 93 0
7691702 엽충이 도둑놈 ㄹㅇ바보(112.153) 06.24 101 4
7691701 못사는 후진국일수록 삼성 갤럭시 쓴다 통계로 나왔다 ㅇㅇ(118.235) 06.24 118 2
7691700 삶의 의지를 잃는다 coinbase갤로그로 이동합니다. 06.24 44 0
7691699 한 번호로 폰 두 대 못씀? ㅇㅇ갤로그로 이동합니다. 06.24 53 0
7691698 오늘자 삼성 오피셜 “ gos 성능조작 몰랐다면 상식이 부족한거다 ” ㅇㅇ(118.235) 06.24 134 4
7691697 아 시발 츠유 3집 서브스크 내려갔네 [8] 김무지갤로그로 이동합니다. 06.24 61 0
7691696 개좆성은 ㄹㅇ제대로 하는게뭐냐 midNight¹갤로그로 이동합니다. 06.24 68 7
7691695 LG Q6 폰배터리 부풀어서 칼질로 24개 가스전부다뺏다 맛갤러(14.32) 06.24 73 0
7691694 김루나님이 없으니까 갤이 뒤1져버렸네.. ㅇㅇ(172.226) 06.24 45 0
7691693 이런 뵤지같은색기들 [4] 김솔라갤로그로 이동합니다. 06.24 104 0
7691692 에이35사는건 [2] 맛갤러(39.7) 06.24 60 0
7691691 갤럭시 s20+ 액정 교체 [3] 알피니즘갤로그로 이동합니다. 06.24 100 0
7691690 아이폰 통녹 아직도 안되고 통녹 도입해도 상대한테 고지해야함? [1] 맛갤러(110.9) 06.24 56 0
7691689 중국폰쓰면 좆되는 이유.txt 맛갤러(59.11) 06.24 137 0
7691688 개좆성 쓜렦쒸얘애애애애애애애애애애애애앴 [4] 루블라냐갤로그로 이동합니다. 06.24 116 7
7691687 안드는 첨 보자마자 조잡하고 싫더라 맛갤러(106.101) 06.24 66 1
7691686 근황 [4] coinbase갤로그로 이동합니다. 06.24 94 1
7691685 부모님들은 왜 아이폰이 어렵다고 하심? [5] 다칸마리갤로그로 이동합니다. 06.24 107 2
7691684 A35 사고싶은데 해외직구로 사는게 나음? [24] 맛갤러(119.193) 06.24 166 0
7691683 그냥 태블릿도 무조건 갤럭시 사라. ㅇㅇ(59.6) 06.24 129 0
7691682 중립번이 신청했는데 이새끼들 씨발 ㅡㅡ 맛갤러(211.207) 06.24 61 0
7691681 아이폰 일반은 120Hz 언제 되냐 ㅇㅇ(211.36) 06.24 61 0
7691680 해외직구 차단에 삼성전자 싱글벙글 ㅋㅋㅋ [2] ㅇㅇ(118.235) 06.24 226 5
7691679 폰 샀다 [1] ㅇㅇ(211.36) 06.24 78 4
7691678 미국이 윤두창 때문에 한국이랑 삼성전자 버렸네 ㅋㅋ [1] ㅇㅇ(118.235) 06.24 129 0
7691677 배경 ㅁㅌ [1] ㅇㅇ(106.101) 06.24 87 0
7691676 지금 스마트폰 시장도 폴더폰 피처폰 시장이랑 거의 유사함 [1] ㅇㅇ(118.235) 06.24 52 0
7691675 오랜만에 폰 바꾸러 갔는데 왜케 물 드러워짐? ㅇㅇ(223.38) 06.24 50 0
7691674 갤럭시 업무용 폰으로 남기고 메인폰 아이폰 넘어갈까 하는데 맛갤러(218.152) 06.24 100 0
7691672 여긴 왜케 갤럭시를 싫어하냐?? [1] ㅇㅇ(220.65) 06.24 142 0
7691671 “단통법만 없으면 삼성전자도 싸게판다“<<개소리 [1] ㅇㅇ(118.235) 06.24 120 2
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2