메타, 라마 3 LLM도 오픈소스로 공개··· '시장 장악력 더 높아질 듯'

IT동아

2024.04.24 15:50:19

조회 267 추천 0 댓글 0

[IT동아 남시현 기자] 메타(前 페이스북)의 오픈소스 대형언어모델(LLM)인 라마(Llama)의 3세대 버전이 지난 18일(현지 시간) 출시됐다. 메타 라마는 2023년 2월에 처음으로 70억, 130억, 330억, 650억 개의 매개변수로 학습된 1세대 버전이 출시됐고, 23년 7월에 70억, 130억, 700억 개 매개변수로 구성된 라마 2세대 버전이 출시됐다. 3세대 버전은 라마 2와 마찬가지로 오픈소스로 제공되며, 상업적 이용도 가능하다.

메타 라마가 주목받는 이유는 누구나 무료로 이용할 수 있는 모델이라서다. 경쟁 기업인 구글의 제미나이(Gemini)도 무료 버전이 있지만, 고성능 버전은 월 19.99달러의 제미나이 어드벤스드를 써야 한다. 앤스로픽의 클로드 3 역시 소네트 모델만 무료고, 오퍼스 모델은 월 20달러 기본료에 토큰 입력 및 출력당 비용을 받는다. GPT 역시 GPT-4 등의 유료 서비스가 이미 절찬리에 쓰인다.

메타가 지난 4월 18일(현지 시간), 메타 라마 3 대형언어모델 8B, 70B 모델을 공개했다 / 출처=메타

메타 역시 1세대 라마는 학계를 대상으로만 오픈소스로 공개했으나, 생태계 확보를 주요 전략으로 변경하면서 두 번째 버전부터 상업적 사용까지 허가됐다. 누구나 제약 없이 활용할 수 있으니 라마를 기반으로 알파카, 비쿠냐, 차이니즈 라마 같은 다양한 파생모델이 탄생했고, 마이크로소프트 애저 및 AWS, 허깅페이스 등의 플랫폼을 통해 전방위적으로 확산했다.

라마 3 8B, 70B 우선 출격, 추후 400B도 공개 예정

이번에 공개된 3세대 모델은 성능이 더 뛰어나다. 라마 3는 8B 및 70B 매개변수 두 모델이 먼저 출시된다. 라마 3는 라마 2의 2조 개 토큰보다 훨씬 많은 15조 개 토큰으로 학습됐고, 7배 더 크고 4배 더 많은 코드를 포함한다. 또한 학습 데이터의 5%가 30개 이상의 비영어 데이터로 구성되고, 대형언어모델의 성능과 관계된 콘텍스트 길이(Context length)도 두 배로 늘어났다. 콘텍스트 길이는 LLM이 한 번에 처리할 수 있는 토큰 수를 의미한다.

라마 3 8B 및 70B 모델과 타사 경쟁 모델과의 성능 비교 / 출처=메타

메타가 공개한 라마 3 성능 분석 자료를 살펴보자. 메타는 라마 3의 모델 성능을 표준화하기 위해 조언 요청, 브레인스토밍, 분류, 폐쇄형 질문 답변, 코딩, 창의적 글쓰기, 추출, 특정 캐릭터 역할극, 공개 질문 답변, 추론, 재작성 및 요약 등 12가지 주요 사용 사례에 대한 1800개의 프롬프트를 생성했고, 이를 처리한 속도를 바탕으로 성능을 비교했다.

그 결과 라마 3 8B는 파이썬 코드 생성과 관련된 HumanEval 테스트에서 젬마 7B 및 미스트랄 7B와 비교해 두 배에 가까운 처리 성능을 보여주었고, 57개의 주제를 통해 보유 지식을 비교하는 MMLU 테스트에서는 68.4점을 획득했다. 동일 테스트에서 젬마 7B는 53.3, 미스트랄 7B는 58.4점을 획득했다.

라마 3 70B 모델은 구글 제미나이 프로 1.5 및 클로드 3에 비해 거의 모든 영역에서 비슷하거나 조금 더 나은 면을 보여주었고, MMLU에서 82점을 획득해 GPT-4의 MMLU 값인 86.4에 근접했다. 다만 수학 성능(MATH)과 대학원 수준의 추론(GPQA)에서는 타 모델보다 조금 성능이 낮았다. 하지만 라마 3는 무료 모델이므로 시장 경쟁력은 절대적으로 우위에 있다.

70B 모델의 경우 타사 모델들과 비교해 긍정적인 응답을 이끌어냈다 / 출처=메타

또한 라마 3 70B 모델과 클로드 소네트, 미스트랄 미디엄, GPT-3.5, 라마2 네 개의 LLM을 놓고, 사람이 직접 선호하는 결과를 선택하게 한 결과도 제시했다. 클로드 3와 라마 3를 비교한 결과에서는 응답자의 52.9%는 라마를, 34.2%는 클로드의 답변을 선호했다. 12.9%는 무승부라고 응답했다. GPT-3.5와의 비교해서는 63.2%가 라마 3를 선택했고, 27.1%만이 GPT-3.5를 선택했다.

추후 공개될 메타 라마 3 400B+ 모델의 대략적인 성능 평가 / 출처=메타

메타는 8B 및 70B 모델에 이어 4000억 개 매개변수로 구성된 400B 모델도 출시할 예정이다. 4월 15일 자로 발표된 400B 모델 성능은 MMLU 벤치마크에서 구글 제미나이 프로의 90점, 클로드 3 오퍼스의 88.2점, GPT-4의 86.8점에 이어 네 번째로 높다. 메타는 라마 3 400B 모델을 개발하고 있고, 훈련이 완료되면 자세한 연구 논문과 함께 공개한다고 밝혔다. 또한 앞으로 몇 달에 걸쳐 다중 모드, 다국어 기능, 콘텍스트 창 확장 등 새로운 기능들을 추가해 나갈 예정이다.

라마 3는 마이크로소프트 애저, 구글 클라우드, AWS는 물론 IBM 왓슨X, 허깅페이스, 캐글, 데이터브릭스, 엔비디아 NIM, 스노플레이크 등의 플랫폼에서 활용할 수 있다. 라마 3-70B는 공개 직후 LLM 평가를 위한 크라우드소싱 개방형 플랫폼 LMSYS 챗봇 아레나 리더보드에서 GPT-4 터보, 클로드 3 오퍼스 등에 이어 5위로 순위가 매겨졌고, 4월 24일 현재 6위에 안착했다.

AI 수혜 확산에 기여 VS 생태계 독점 노린 무료화

메타는 오래전부터 수익성보다 생태계를 먼저 확보하는 전략을 취해왔다. 인스타그램과 페이스북도 초반에는 광고수익보다는 사용자 확보에 열을 올렸고, 왓츠앱을 인수한 이유도 개인용 메신저 생태계를 흡수하기 위해서였다. 지난 23일에는 메타 VR 기기에 탑재되는 ‘메타 호라이즌 OS’를 에이수스, 레노버, 마이크로소프트 등 타사 VR 하드웨어 기업들에게 개방하기로 했다.

이런 ‘퍼주기’가 가능한 이유는 메타의 핵심 수입원인 광고 사업 덕분이다. 메타의 지난해 4분기 실적은 전년 동기대비 25% 증가한 401억 달러(약 54조 9000억 원)였으며, 순이익도 전년 대비 46억 5000만 달러(약 6조 원) 증가한 140억 달러(약 19조 1800억 원)였다. 영업 이익률도 41%나 늘었다. 온라인 광고 시장이 호조세에 접어들며 메타의 수익률은 매 분기 상승하고, 여기서 벌어들인 돈을 생태계 확보에 투입된다.

메타 라마 3 70B 모델이 사용자 평가 차트에서 현재 6위를 기록하고 있다. 라마 3가 무료 모델인 점을 고려하면 대단한 성과다 / 출처=LMSYS

메타가 라마를 오픈소스로 공개한 건 긍정적으로만 볼 수 없다. 앤스로픽, 오픈AI, 구글 등의 경쟁자들도 유료화 없이는 모델 개발 및 운영을 하기 어려울 정도로 많은 비용이 필요하다. 즉 메타가 타사 유료 모델에 맞먹는 LLM을 무료로 제공하는 것 자체가 시장 생태계 확보라는 분명한 이유가 있어서다. 장기적으로 라마의 시장 영향력이 지배적인 수준에 이르면 언제든지 유료화가 될 수 있다. 또한 라마보다 성능이 부족하거나, 자금력이 부족한 기업은 사업을 포기해야 할 처지에 놓인다.

결과적으로 무료 모델의 성능이 높아지는 건 환영할 일이지만, 반대로 AI 생태계 자체가 편협하고 다양성을 잃을 수 있다. 시장에서도 이미 메타의 전략은 잘 알려져 있지만, 무료 모델이라는 유혹은 너무나 매력적이다. 앞으로 메타가 바라는 대로 시장이 흘러갈지, 아니면 또 다른 전개가 이어질지는 지켜봐야 할 일이다.

글 / IT동아 남시현 (sh@itdong.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

▶ 넥스트페이먼츠 “한국의 홍익인간 정신, 오픈AI 설립 이념과 판박이”▶ AI 품은 LG전자 에어컨, 판매량 청신호 ▶ [생성 AI 길라잡이] 전문 지식 없어도 음원 제작 거뜬 ‘AI 작곡’

고정닉 0

원본 첨부파일 5본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	오픈 마인드로 이성을 만날 것 같은 스타는?	운영자	24/12/02	-	-
3818	오늘부터 시끄러운 불법 튜닝 오토바이 집중 단속 [6]	IT동아	05.20	795	6
3817	AWS 서밋 행사장에서 펼쳐진 훈훈한 ‘프리킥’	IT동아	05.20	224	0
3816	[주간투자동향] 라피치, 60억 원 규모 투자 유치	IT동아	05.20	195	0
3815	키보드의 윈도 키, 최대한 활용하려면 이렇게![이럴땐 이렇게!] [5]	IT동아	05.20	1681	16
3814	인포플라 “대답만 하던 기존 AI의 한계, VLM 기반 자동화로 극복” [4]	IT동아	05.18	7244	3
3813	6월 인공지능ㆍ반도체 시장 엔비디아 손에 달렸다	IT동아	05.17	282	0
3812	[시승기] 시대를 초월한 디자인 DNA…’포르쉐 911 카레라 쿠페’	IT동아	05.17	363	0
3811	[IT신상공개] 입맛대로 고르는 저음, 소니 얼트 파워 사운드	IT동아	05.17	575	1
3810	"코바코의 대국민 AI 광고 제작 서비스, 네이버가 함께합니다"	IT동아	05.17	269	0
3809	[생성 AI 길라잡이] 더 사람 같아진 AI, 'GPT-4o'는 어떻게 다를까? [2]	IT동아	05.17	1437	1
3808	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 11	IT동아	05.16	446	0
3807	[뉴스줌인] PC 2대 연결해 하나처럼? 인텔 ‘썬더볼트 쉐어’ 기술 이모저모 [5]	IT동아	05.16	2371	0
3806	스틸시리즈 코리아 “편의성 강화한 ‘아크티스 노바5’로 가파른 성장세 이어갈 것”	IT동아	05.16	398	0
3805	[스타트업 첫걸음] 기고를 시작하며	IT동아	05.16	262	0
3804	[월간자동차] 24년 4월, 신차 등록 감소…기아 ’쏘렌토’ 4개월 연속 판매 1위 [1]	IT동아	05.16	1043	0
3803	10년 차 맞은 AWS 서밋 서울··· '국내 최대 IT·클라우드 행사로 자리매김'	IT동아	05.16	310	0
3802	[자동차와 法] 딜레마존 구간에서 운전자 주의의무에 대하여	IT동아	05.14	324	0
3801	대기업부터 스타트업까지, K-우주산업 ‘성큼’	IT동아	05.14	321	0
3800	벤츠, 소비자가 외면한 전기차 디자인 손본다 [47]	IT동아	05.14	8553	2
3799	우주방사선 차폐로 초소형위성 수명 늘린다	IT동아	05.14	301	0
3798	국내 기업 열에 일곱은 "이제 AI 활용 못 하는 직원은 고용 안 해" [37]	IT동아	05.14	7637	9
3797	NHN두레이 기반의 협업 환경, KDI 국제정책대학원의 ‘저력’ 높인다	IT동아	05.14	244	0
3796	[IT강의실] 가상자산 맡기고 추가 수익 실현 ‘스테이킹’	IT동아	05.14	483	0
3795	화제의 K-패스 카드, 발급부터 활용까지 이렇게! [이럴땐 이렇게!] [1]	IT동아	05.14	3640	2
3794	도로 위 시한폭탄 ‘맨홀 단차’ 빠르게 보수할 제품 실증 [4]	IT동아	05.13	825	1
3793	와탭랩스, "옵저버빌리티 기업 정체성 확립··· 美·日·동남아 시장 성과낼 것"	IT동아	05.13	230	0
3792	빗썸 “대학생 서포터즈 썸즈업이 제안한 개선안 적극 검토할 것” [3]	IT동아	05.13	1113	0
3791	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 10 [8]	IT동아	05.11	8324	3
3790	[뉴스줌인] 캐논, 비정품 토너보다 심각한 ‘위조’ 토너에 골머리 [19]	IT동아	05.11	12567	6
3789	[리뷰] ‘시간 흘렀어도 64코어는 여전히 강력하다’ AMD 라이젠 스레드리퍼 7980X	IT동아	05.10	559	1
3788	정부, 라인야후 사태 '유감' 표명…네이버는 지분매각 가능성 공식화	IT동아	05.10	351	0
3787	[시승기] 48인치 스크린이 연출하는 매혹적인 실내…‘링컨 노틸러스’	IT동아	05.10	479	0
3786	공공기관 ‘테스트베드’ 사업, 중소기업과 동반성장 성과	IT동아	05.10	251	0
3785	[리뷰] 언제 어디서나 안전하고 빠른 근무 환경, ‘가비아 DaaS’	IT동아	05.10	253	0
3784	빗썸 “이벤트 참여자 과세 400억 원, 전액 지원할 것” [6]	IT동아	05.10	2984	1
3783	[농업이 IT(잇)다] 에스와이에스 “플라즈마로 농축산 폐수 정화합니다”	IT동아	05.10	242	0
3782	[생성 AI 길라잡이] GPT 활용 사례 및 교육 커뮤니티, '지피터스'	IT동아	05.10	2512	0
3781	삼성전자, '비스포크 AI 무풍 시스템에어컨 인피니트 라인’ 출시	IT동아	05.09	321	0
3780	체온·심박수 측정 등 헬스케어 기능 더한 무선 이어폰	IT동아	05.09	297	0
3779	올해 누적 판매 10위 추락 ‘아우디’…수장 교체로 반전 이룰까	IT동아	05.09	2363	0
3778	효율 중요한 키워드 검색광고, 인공지능에 해답 있다	IT동아	05.09	287	0
3777	애플 M4 아이패드 프로 공개... '생성형 AI' 업고 회심의 반격 나선다	IT동아	05.09	281	0
3776	[리뷰] 작지만 빠른 입출력 속도는 UMPC에만 쓰기에 아깝다, WD_BLACK SN770M 2TB	IT동아	05.09	1261	3
3775	카카오, 알테쉬 공세에도 '선물하기' 통했다…"AI 개발에도 속도 낼 것"	IT동아	05.09	224	0
3774	[신차공개] 제네시스 ‘GV70 부분변경'·KGM ‘더 뉴 토레스’ 출시	IT동아	05.08	541	0
3773	[뉴스줌인] 삼성전자에서 선보인 1억 8000만원짜리 TV, 뭐가 다르기에?	IT동아	05.08	788	0
3772	[리뷰] ‘노트북 멀티태스킹 고민 끝’ 에이수스 젠북 듀오	IT동아	05.08	562	3
3771	에코백스 “고객 수요 대응 위해 다양한 라인업 제공할 것”	IT동아	05.07	247	0
3770	“전역장병님 우리 회사로” 2024년 국군장병 취업박람회 [7]	IT동아	05.07	1294	3
3769	[IT애정남] 갤럭시 핏3와 갤럭시 워치 6, 어떻게 다른가요? [2]	IT동아	05.07	1600	1
뉴스	김세정, ‘취하는 로맨스’ OST 직접 부른다…성시경 ‘두사람’ 재해석	디시트렌드	12.03