디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

[IT강의실] 생성형 AI의 최대 난제, '할루시네이션'

IT동아갤로그로 이동합니다. 2024.03.29 18:07:54
조회 190 추천 0 댓글 0
[IT동아 남시현 기자] 지난 3월 17일에서 21일 사이 미국 캘리포니아주 세너제이에서 엔비디아의 연례 개발자 회의 ‘GTC 2024’가 열렸다. 젠슨 황 엔비디아 최고경영자는 기자간담회에서 5년 내에 인간 수준의 인공지능(이하 AI)이 현실화할 것이라고 말해 주목을 받았고, AI의 할루시네이션(환각)에 대해서도 개발자의 코딩 문제이기 때문에 검색 강화 생성 절차로 해결될 것이라고 말했다.


‘인공지능의 모습과 AI 할루시네이션을 형상화’라는 프롬프트를 넣은 생성형 AI 이미지 결과 / 출처=MS 코파일럿, 어도비 파이어플라이 복합 사용



앞서 GTC 2023에서 젠슨 황과 일리야 서츠케버 오픈AI 공동창업자는 대담에서 ‘환각 문제가 2년 안에 크게 줄어들 것’이라고 얘기했는데, 1년이 지난 지금은 많이 나아졌지만 여전히 해결의 실마리는 잡지 못한 상태다. 오늘날 AI 개발의 최대 난제로 떠오른 ‘할루시네이션’이란 무엇이며, 왜 AI는 환각을 일으킬까?

‘환각’ 의미하는 할루시네이션, 어떤 형태로 나타날까


할루시네이션은 환각 또는 망상 등으로 불리며, AI가 생성한 정보에 허위 또는 날조된 정보가 포함되는 현상이다. 할루시네이션은 실제 사실과 AI를 거친 정보가 다른 내재성 환각과 실제로 존재하지 않는 사실을 창작해서 제공하는 외재적 환각으로 나뉜다. 챗GPT에 질문을 했는데 역사적 사실을 왜곡하거나, 이미지 생성 시 현실 법칙에 위배된 이미지 등을 제공하는 게 할루시네이션의 영향이다.


빙 AI에 의류기업 갭(Gap)의 실적 보고서 요약을 부탁했으나, 할루시네이션으로 인해 사실과 다른 결과를 도출하는 사고가 있었다 / 출처=마이크로소프트



예를 들어 지난해 2월 마이크로소프트가 빙 AI를 공개할 당시, 빙 AI에게 의류기업 갭(Gap)의 수익 보고서를 분석하라고 요청했다. 빙 AI는 갭의 영업이익률이 5.9%라고 답했는데, 보고서에 5.9%라는 수치는 없으며 실제 이익률은 4.6%였다. 또한 희석 주당 순이익도 0.42달러라고 말하고, 매출도 두 자릿수 증가할 수 있다고 말했다. 실제 보고서에는 0.42달러라는 단어가 없었고, 매출도 한 자릿수 중반으로 감소할 것이라는 내용이었다.

자연어 처리에서 할루시네이션이 발생하는 주된 이유는 데이터의 문제다. 수집한 데이터 자체가 잘못된 사실을 다루고 있거나, 데이터를 혼합하는 과정에서 문제가 생긴다. 대다수 생성형 AI는 사전에 훈련된 데이터를 바탕으로 응답하지만, 통계적으로 불완전한 모델이 생성되면서 할루시네이션이 나타날 수 있다. 이외에도 문장의 상관관계를 잘못 학습하면서 생기기도 하고, 내장된 지식 중 앞서 사용된 정보를 중복 사용하다가 꼬여서 생기기도 한다.

자연어 처리 넘어 어떤 분야든 발생하는 문제


할루시네이션은 자연어 처리를 넘어 거의 모든 AI 분야에서 발생한다. 예를 들어 사람이나 물체를 감지하는 AI가 사람을 전혀 다른 사물로 인지하거나, 제3의 사물을 사람으로 인식할 수 있다. 이런 문제는 단순히 오류에 가깝다. 반면 할루시네이션이 개입하면 존재하지 않는 객체를 인식한다거나, 피사체를 전혀 다른 물체로 판단해 오작동을 일으킬 수 있다.




최근 공개된 오픈AI의 텍스트-비디오 생성 AI ‘소라’에서도 할루시네이션이 관측된다. 해당 영상은 2층 지붕 위 1층을 내려다보며 등장인물들을 조명한다. 하지만 영상 초반에 원근법으로 층 수를 나눠놨지만, 물리적으로 구분되지 않아 주요 인물들이 시장 상인들보다 몇 배나 큰 거인이어야 가능한 영상이 만들어졌다. 아래 영상 역시 좌측 강변의 도로가 최소 네 번 이상 바뀌고, 주요 인물들 앞에 걷다가 가게로 들어가는 사람들과의 원근법도 맞지 않는다.

아직 오픈AI가 소라를 개발하는 단계라서 원근법 계산의 오류일 수 있으나, 지금 상황으로는 할루시네이션에 가깝다. 최근에는 동영상 생성형 AI로 학습 데이터를 만들어 비전 인식 AI를 고도화하려는 시도도 시작됐는데, 여기에 할루시네이션이 개입하면 오류 데이터로 학습될 여지도 있다. 그 자체로 예측할 수 없는 결과를 낳는 셈이다.

할루시네이션 줄이려면 RAG 등 출처 기반 작업해야


사용자 입장에서 외재성 환각은 구분하기 쉽지만, 교묘하게 숫자나 출처가 바뀐 내재성 환각은 구분이 어렵다. 앞서 갭 수익 보고서처럼 숫자만 다르거나, 요약하라고 하면 원본 데이터와 대조해보지 않고서는 사실 여부를 판단하기가 어렵다. 특히 GPT-3처럼 데이터가 한정된 생성형 AI일수록 할루시네이션 발생이 심하다.

지난해 3월 미국 맨해튼 연방법원에서도 변호사 두 명이 GPT로 조사한 판례를 제출했다가, 최소 6건이 실존하지 않는 사건인 게 드러나며 징계를 받았고, 한 미국의 응급의학 전문의는 챗GPT가 실존하는 학술지와 실존인물의 이름을 빌려 디지털 인증 번호까지 위조한 허위 논문을 생성해 제공한 사례를 공개했다. 전문가도 명백한 출처를 확인해야 할 정도다.


챗GPT4에 내장된 컨센서스 활용 예시. 할루시네이션을 방지하기 위해 논문 검색 시 출처가 확실한 정보만을 활용하는 게 특징이다 / 출처=IT동아



할루시네이션을 최대한 피하기 위해서는 데이터의 출처를 확실히 해야 한다. 유료 서비스인 GPT4는 웹 연동 서비스를 통해 매개변수를 포함한 웹 기반 데이터도 검색하는 기능이 있다. 또 GPT4에 내장된 컨센서스 등의 툴을 활용하면 논문 검색 시 실존하고 출처가 확실한 자료만으로 찾는다.

프롬프트를 정밀하게 입력하는 것도 도움이 된다. AI의 답변은 정보를 나열했을 뿐, 이해하고 제공하는 게 아니다. 따라서 질문할 때 ‘공식 보고서나 논문 검색 등을 인용해서’ 설명해 달라고 하거나, ‘최근 5년 간, 국내에서 기사로 확인할 수 있는 내용’ 같은 문장을 덧붙이면 정확성이 향상된다.

AI 처리 과정에서 발생, 앞으로도 큰 난제


안타깝게도 아직까지 AI에서 할루시네이션이 발생하는 원인은 완전히 파악되지 않았다. 심지어는 AI가 결과를 도출하는 과정도 미지수다. 우리가 AI에 주문을 내리면, 컴퓨터가 학습한 데이터로 연산을 처리한 뒤 결론을 도출한다. 문제는 어떤 데이터가 어떻게 상호 영향을 미쳤는지 인과관계를 파악하기 어렵고, 이 과정에서 할루시네이션이 발생한다.

제약 회사에서 AI를 활용해 혁신적인 신약 후보물질을 만들었다고 가정하자. 이때 신약 물질을 만드는 수식을 명령으로 내렸고, 신약 후보 물질의 구조를 만드는 것까지는 확인할 수 있다. 하지만 AI 내부에서 어떤 데이터를 활용하고 조합했을지까지는 완벽하게 분석할 수 없다. 이 문제를 블랙박스 현상이라고 하며, 최근에는 도출 과정까지 명확하게 확인할 수 있는 설명 가능한 AI(Explainable AI)에 대한 연구가 이어지고 있다.


엔비디아가 오픈소스로 공개한 ‘네모 가드레일’은 할루시네이션을 줄이기 위해 신뢰할 수 있는 출처만 결과에 쓸 수 있도록 하는 기능이 있다 / 출처=엔비디아



할루시네이션은 AI를 신뢰하고 활용하기 위해 반드시 해결해야 할 과제다. 업계에서는 검증된 데이터만 사용해 정확하게 상황을 인식하고 응답하는 검색 증강 생성(RAG)이 답이 될 것으로 보며, 또 엔비디아 네모 가드레일처럼 부정확한 결과를 제외해 정확성을 끌어올리는 방식도 주목한다

할루시네이션은 AI의 구조적 문제이므로 해결되지 않을 것이라는 시각도 있고, 데이터 정렬과 수집을 통해 차츰 나아질 것이라는 시각도 있다. 확실한 것은 설명 가능한 AI가 발전해야 할루시네이션도 해결될 수 있다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)



▶ AI 기술이전 프로그램으로 ETRI-중소기업 상생∙동반성장 ‘기대’▶ [생성 AI 길라잡이] 인공지능으로 색다른 그림을 그려보자 – 크레아 AI▶ AI PC 생태계 선점 나선 인텔…“AI 전환 주도할 수 있는 조건 갖춰”



추천 비추천

0

고정닉 0

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 손해 보기 싫어서 피해 입으면 반드시 되갚아 줄 것 같은 스타는? 운영자 24/11/18 - -
4556 전문가가 제시하는 스타트업 ESG 경영 전략…’2024 서울 스타트업 ESG 포럼’ IT동아갤로그로 이동합니다. 11.21 25 0
4555 수원대학교 'WoW 스타트업 브랜치 오픈이노베이션' 개최 IT동아갤로그로 이동합니다. 11.21 27 0
4554 [스타트업리뷰] 로닉 “인공지능 맞춤형 음식 도우미, AI 로봇셰프 큐브” IT동아갤로그로 이동합니다. 11.21 2518 0
4553 [IT기획자의 탄생] 3. IT기획자에게 필요한 상상력과 글로벌 전략 IT동아갤로그로 이동합니다. 11.21 41 0
4552 [IT’s 가성비] 삼성 크리스탈 UHD TV, 2024년형/85인치 모델에 눈길? IT동아갤로그로 이동합니다. 11.21 1795 0
4551 [스케일업] 클리카 [3] 피터 노빅과의 대담으로 살펴본 'AI 스타트업'의 방향성 IT동아갤로그로 이동합니다. 11.21 39 0
4550 [생활 속 IT] LG 가전 활용도 넓히는 'LG ThinQ' 연결 및 사용법 IT동아갤로그로 이동합니다. 11.21 33 0
4549 [생활 속 IT] 소프트웨어 활용 습관 바꿔줄 윈도 11 ‘가상 데스크톱’ [1] IT동아갤로그로 이동합니다. 11.20 90 0
4548 [부산창경 BEF 2024] 기술로 문제 풀이와 오답 노트 작성 효율 높인 ‘프라이머스’ IT동아갤로그로 이동합니다. 11.20 54 0
4547 IBM-연세대, 슈퍼컴 능가하는 127 큐비트 양자컴퓨터 국내 첫 도입 [3] IT동아갤로그로 이동합니다. 11.20 4773 4
4546 [주간스타트업동향] 휴머닉스, 위플로 CES 2025 혁신상 수상 外 IT동아갤로그로 이동합니다. 11.20 108 0
4545 [부산창경 BEF 2024] 만만한녀석들 “모듈형 집기로 친환경 MICE 산업 선도한다” IT동아갤로그로 이동합니다. 11.20 52 0
4544 [부산창경 BEF 2024] 나누기월드 “외국인 유학생, 장애인 문제 해결에 기여” [4] IT동아갤로그로 이동합니다. 11.20 262 0
4543 선박 제조업의 디지털 전환 이끄는 ‘버추얼 트윈’ 기술 IT동아갤로그로 이동합니다. 11.19 81 0
4542 에릭슨엘지 “네트워크도 API로 제공…개발자 참여 독려해야” IT동아갤로그로 이동합니다. 11.19 81 0
4541 [IT애정남] 노트북 SSD의 OEM 파티션, 삭제해도 되나요? IT동아갤로그로 이동합니다. 11.19 85 0
4540 [부산창경 BEF 2024] 그린에너지(주) “산업 현장 악취·유해물질 플라즈마로 해결” IT동아갤로그로 이동합니다. 11.19 85 0
4539 [자동차와 法] 행락철 교통사고 책임과 법적 대처 방안 IT동아갤로그로 이동합니다. 11.19 674 0
4538 아이작 컨셉츠 김태영 대표, "반도체·열유체 공학의 산학협력 교두보 만들겠다" IT동아갤로그로 이동합니다. 11.19 82 0
4537 [시승기] 돋보이는 디자인과 안전 사양 ‘KGM 액티언’ [1] IT동아갤로그로 이동합니다. 11.18 364 0
4536 +불필요한 PC 앱, 지우려면 이렇게! [이럴땐 이렇게!] [1] IT동아갤로그로 이동합니다. 11.18 5101 5
4535 [스케일업] 반프 [3] 정예솔 전략총괄 “반프의 가치, 글로벌 시장에서도 매력적” IT동아갤로그로 이동합니다. 11.18 113 0
4534 [주간투자동향] 숨빗AI, 50억 원 규모 시드 투자 유치 外 IT동아갤로그로 이동합니다. 11.18 104 0
4533 [투자를IT다] 2024년 11월 2주차 IT기업 주요 소식과 주가 흐름 IT동아갤로그로 이동합니다. 11.16 205 0
4532 [스케일업] 보라웨어 [2] 전영복ㆍ이효주 “구성원 복지ㆍ기업 성장이 공존하는 곳” IT동아갤로그로 이동합니다. 11.15 199 0
4531 [생성 AI 길라잡이] 8종의 AI 모델 골라 쓰는 ‘SKT 에이닷’ 웹 버전 IT동아갤로그로 이동합니다. 11.15 187 0
4530 디지포레, “제조산업의 디지털 전환, ‘팩토리얼 프로’로 앞당길 것" IT동아갤로그로 이동합니다. 11.15 180 0
4529 [리뷰] 모니터링 헤드폰의 새로운 기준점 제시, 소니 MDR-M1 [5] IT동아갤로그로 이동합니다. 11.15 6207 1
4528 [2024 고려대] 스페이스점프 “자영업·소상공인 기자재의 모든 것, 소상공간” IT동아갤로그로 이동합니다. 11.15 171 0
4527 퀄컴, 온디바이스 AI·차량 전동화에 초점 맞춘 최신 솔루션 선보여 IT동아갤로그로 이동합니다. 11.15 192 0
4526 [창업도약+경북대] 비빔블 “비커스ㆍ버튜디오로 상상 이상의 가상경험 제공할 것” IT동아갤로그로 이동합니다. 11.15 149 0
4525 [AI와 미래] 기존 저작물은 AI 학습에 어디까지 활용할 수 있을까? IT동아갤로그로 이동합니다. 11.15 1369 0
4524 [월간자동차] 24년 10월, 신차 등록 두 달 연속 증가…싼타페 판매 1위 IT동아갤로그로 이동합니다. 11.15 143 0
4523 [리뷰] 10G 업링크 지원 네트워크 스위치, 넷기어 GS108MX IT동아갤로그로 이동합니다. 11.14 173 0
4522 데이터 주권 강조하는 소버린 AI, 진정한 의미는? [1] IT동아갤로그로 이동합니다. 11.14 710 0
4521 [스케일업] 스쿨버스 [3] 통학버스 전문 플랫폼 개발자 인터뷰 IT동아갤로그로 이동합니다. 11.14 172 0
4520 [UDC 2024] 다양한 산업을 변화시키는 블록체인의 힘 IT동아갤로그로 이동합니다. 11.14 165 0
4519 로봇과 문화예술의 만남, 브이디컴퍼니x장 줄리앙의 종이세상 IT동아갤로그로 이동합니다. 11.14 322 0
4518 [IT애정남] 갤럭시워치를 아이폰과 연결해서 쓸 수 있나요? IT동아갤로그로 이동합니다. 11.13 4657 0
4517 [신차공개] BMW ‘뉴 4시리즈 그란 쿠페’·로터스 ‘에메야’ 공식 출시 [3] IT동아갤로그로 이동합니다. 11.13 4765 1
4516 [스타트업-ing] 오아시스 스튜디오 “OVP·오닉스·디보틀로 콘텐츠 에코시스템 구축” IT동아갤로그로 이동합니다. 11.13 176 0
4515 [생활 속 IT] 취업 서류, 정부24에서 내려받는 법 IT동아갤로그로 이동합니다. 11.12 211 0
4514 기한 지나면 과태료…운전면허 적성검사 및 갱신 방법 살펴보니 IT동아갤로그로 이동합니다. 11.12 2390 3
4513 [창업도약+경북대] 준컴퍼니 “자동차 구매부터 판매까지 아우르는 모빌리티 통합 플랫폼 꿈꾼다” IT동아갤로그로 이동합니다. 11.12 202 0
4512 [스케일업] 모넷코리아 [2] HDC랩스와 협업 통해 AIoT 기반 부동산 관리 플랫폼 고도화 IT동아갤로그로 이동합니다. 11.12 234 0
4511 [2024 고려대] R2C컴퍼니 “데이터 수요·공급자 만족 이끄는 플랫폼” IT동아갤로그로 이동합니다. 11.12 652 0
4510 갤럭시 스마트폰의 위젯 기능, 제대로 쓰려면? IT동아갤로그로 이동합니다. 11.12 259 1
4509 [AWS 인더스트리 위크 2024] 국내 금융/핀테크 기업에 AWS 솔루션은 이렇게 적용됐다 [1] IT동아갤로그로 이동합니다. 11.11 2047 1
4508 '제조 스타트업 대상으로 소싱디렉팅·제품 제작까지'··· 서울과기대의 실질적 지원 들여다보니 IT동아갤로그로 이동합니다. 11.11 221 0
4507 [AWS 인더스트리 위크 2024] AWS가 실현하고 있는 인공지능 기술의 현재 IT동아갤로그로 이동합니다. 11.11 280 0
뉴스 나우어데이즈, 오늘(21일) ‘렛츠기릿’ 발매→홍대 버스킹 개최 디시트렌드 11.21
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2