근데 직관적으로 쉬운거랑 구현은 다르잖어

근데 직관적으로 쉬운거랑 구현은 다르잖어모바일에서 작성

ㅆㅇㅆ찡

2025.03.10 14:01:45

조회 66 추천 0 댓글 5

입력 문장을 임베딩 레이어를 통해 벡터로 변환한다.

입력 벡터를 여러 개의 Query, Key, Value 행렬로 변환한다.

각 어텐션 헤드에서 Query, Key, Value를 사용하여 독립적인 어텐션을 수행하고, 결과를 결합한다.

레이어 정규화와 잔차 연결을 적용하여 학습을 안정화한다.

Feed Forward Network(FFN)를 적용하여 문맥을 반영한 표현을 생성한다.

디코더에서 마스크드 셀프 어텐션과 인코더-디코더 어텐션을 수행한다.

autoregressive 방식으로 단어를 반복 생성하며,

EOS 토큰이 생성되거나 최대 길이에 도달하면 답변 생성을 종료하고 최종 답변을 완성한다.

이게 트랜스포머 모델 답변 생성과정인데

이게 직관적인데 이걸 실구현 하는게 존나 어려운거지

실질적으로 이런 요약이 정보를 전부 요약할 수 있는것도 아니고

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	매니저들에게 가장 잘할 것 같은 스타는?	운영자	25/03/10	-	-
공지	프로그래밍 갤러리 이용 안내 [87]	운영자	20.09.28	42299	64
2828634	이건 어떻게 나올까 궁금,,,,	나트륨찡	03:18	1	0
2828630	좆소개발자는 이제 눕습니다 [1]	멍청한유라ㅋ	03:07	8	0
2828629	이 아이디어들 초짜도 구현 가능할 것 같냐? [2]	ㅇㅇ(119.206)	02:46	31	0
2828628	영혼이 없는 인생은 아무런 의미가없소이다 [1]	jonny	02:45	16	0
2828624	자신이 경험한 업계별 tmi 말해보자 [1]	ㅇㅇㅇㅇ(49.254)	02:21	25	0
2828623	사타구니 목 뒤 시커먼 사람	ㅇㅇㅇㅇ(49.254)	02:19	16	0
2828622	배우러 왔지 가르키러왓나 ㅅㅂ [3]	ㅇㅇ(211.235)	02:16	35	0
2828621	지니 간 과거가 아쉽다 리볼링하고 가까이 하지 말걸 그랬다. [8]	넥도리아(112.170)	02:12	39	0
2828620	솔직히 취업해서 개발만 하는 사람이 부러움 [1]	ㅇㅇ(114.205)	02:12	33	0
2828619	나는 매트릭스 관리자인데<-이것도 가능성 있는 나님 얘기임?? [11]	나트륨찡	02:05	41	0
2828618	님들그거암?? 이번 식목일 쉬는날됨 [2]	프갤러(1.242)	02:03	25	0
2828615	나는 챗봇 사용 안하면 도태된다고 확신하지만,반대론자도 이해안되는건 아님 [4]	ㅆㅇㅆ(124.216)	01:56	34	0
2828614	가능성 있는 나님 이거 완전 난데?? [7]	나트륨찡	01:55	33	0
2828613	SBS 아카데미에서 2018년에 만든거 있습니다. 동아리 디자인은 송** [4]	넥도리아(112.170)	01:54	24	0
2828611	iOS 앱 개발자인데 프리는 어디서 구함? [1]	스노피	01:48	17	0
2828609	RPG 있습니다. 여기요 Fid [3]	넥도리아(112.170)	01:47	26	0
2828607	근데 개인 개발로써 GPT를 안 쓸수가 없는게 속도가 3배4배임 [8]	ㅆㅇㅆ(124.216)	01:44	59	1
2828605	예언은 아니었던듯 햇깔림. shadow 바쁘신 분들을 위해서 축약 [3]	넥도리아(112.170)	01:39	21	0
2828603	다음하고카카오 합병 예언한 2014년 나의 앱	넥도리아(112.170)	01:37	23	0
2828601	근데 gpt는 취업이 임박했다면 줄이는 연습이 필요하다고 생각함 [13]	일본어보카.	01:34	57	0
2828599	나 사람들 말이 이해가 안가는데 어떡함?? [31]	나트륨찡	01:15	81	0
2828598	가능성있는 나님은 짱이라능..! [11]	cvs.	01:14	65	3
2828597	휴대폰 공장가서 일할 생각하니까... ㅠㅠ 일단 이력서 수정 중...	넥도리아(112.170)	01:13	17	0
2828596	개발귀(鬼)의 길에 들어서고 싶구나	딱님	01:13	18	0
2828595	ㅆㅇㅆ 예창패 썻냐? [10]	ㅇㅇ(210.57)	01:06	67	1
2828594	언어중에서 코틀린 제일 좋아함 [11]	일본어보카.	01:03	51	0
2828593	프로그래밍 마치고 기분 좋게 자려다가 기분만 버렸노 [2]	ㅆㅇㅆ(124.216)	00:59	48	1
2828591	영남대가 어딨냐 근데? [5]	ㅇㅇ(114.202)	00:58	51	0
2828589	저는 앱개발자입니다. [9]	넥도리아(112.170)	00:54	60	0
2828588	프갤 하다보면 자연스럽게 알게 되는 거. [8]	cvs.	00:53	61	0
2828587	VBA가 GAS보다 쉬운거 맞냐? [1]	ㅇㅇ(211.224)	00:50	29	0
2828586	너가 망생이들 있는곳에서 대감놀음하고 싶은것뿐임 [6]	ㅆㅇㅆ(124.216)	00:48	75	0
2828585	나도 ㅆㅇㅆ 사회생활 안 맞는 거 같음 [2]	나트륨찡	00:48	43	0
2828584	오늘 소중한 조언을 들었다. [18]	프갤러(49.165)	00:46	75	0
2828583	게임 런칭 / 창업 언제까지 할꺼냐 ㅇㅇ? [1]	ㅇㅇ(210.57)	00:41	36	0
2828582	본인 길 가고자하는데 내비둬라 좀 ㅇㅇ [1]	ㅇㅇ(211.235)	00:37	40	1
2828581	걍 ㅆㅇㅆ 얘는 성격 자체가 사회생활이랑 안맞음 [3]	hrin(220.120)	00:36	64	1
2828580	네카쿠라배건 뭘하건 나는 별로 안 부러움. 내가 부러운건 창업게이같이 [24]	ㅆㅇㅆ(124.216)	00:30	131	0
2828579	쟤는 못본 사이에 진짜 더 심각해졌네... [2]	ㅇㅇ(210.57)	00:28	33	0
2828578	키보드 추천 좀 [3]	드래	00:26	26	0
2828577	프로그래밍으로 지적하는 건 그러려니하는데 쥐좆만한 그릇으로 [8]	ㅆㅇㅆ(124.216)	00:24	66	0
2828576	회사 다니면서 개인 플젝 하는 사람이 얼마나 많은데 [1]	ㅇㅇ(210.57)	00:24	31	0
2828575	왜 사람들은 결과물에 집착하지??? [4]	나트륨찡	00:21	41	0
2828574	ㅇㅇ 노가다하는데, 그게 뭐 어떻다는건데? 개인 프로젝트 결과물있지 [3]	ㅆㅇㅆ(124.216)	00:21	37	0
2828573	회사생활 = 노예생활 주장하는 애의 직업	ㅇㅇ(210.57)	00:20	20	0
2828572	아니, 병신아 회사에 들어가서 노예생활하는거 자체가 자본주의 사회 [3]	ㅆㅇㅆ(124.216)	00:18	41	2
2828570	210.57 아예 기본도 모르는 놈이 '실력'이러니까 코웃음이 나옴 [7]	ㅆㅇㅆ(124.216)	00:15	35	0
2828568	뭔가 했더니 기본도 모르는 210.57와서 훈수두고 있었냐. [5]	ㅆㅇㅆ(124.216)	00:13	35	0
2828566	모듈 주입을 비동기로하고 있는데 유니티 라이프사이클때문에 [2]	ㅆㅇㅆ(124.216)	00:08	31	0
뉴스	침묵하는 박해수·가로막힌 신민아, 어떤 사연이길래…‘악연’ 스틸 공개	디시트렌드	03.11