디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

동영상 만드는 인공지능 ‘런웨이 GEN-2’의 실력은?

IT동아갤로그로 이동합니다. 2023.03.22 09:33:50
조회 1241 추천 2 댓글 4
[IT동아 차주경 기자] 달리 2(DALL-E 2)와 스테이블 디퓨전(Stable Diffusion), 미드저니(Midjourney) 등 사람이 입력한 문장의 내용을 사진이나 그림으로 만드는 인공지능은 세계에 큰 반향을 일으켰다. 나아가 사람이 입력한 문장의 내용을 동영상으로 만드는 인공지능이 등장했다. 런웨이(Runway) GEN-2다.

런웨이 GEN-2의 동작 원리는 다중 모달(Multi Modal, 다양한 수단과 방식을 써서 정보를 주고 받는 구조)이다. 먼저 풍부한 분량의 사진과 동영상 데이터를 분석하고 기억한다. 사람이 문장이나 사진, 동영상을 입력하면 내용을 분석하고 기존 데이터를 참고해 알맞은 내용을 창작하는 원리다.


런웨이 GEN-2가 사람이 입력한 문장, 사진을 토대로 만든 동영상. 출처 = 런웨이 연구 블로그



덕분에, 이 인공지능은 사람이 입력한 문장의 내용을 고스란히 동영상으로 만든다. 문장과 사진을 함께 입력해도 동영상을 만든다. 위 예제 사진은 한 남자의 인물 사진(왼쪽위 )과 함께 ‘거리를 걷는 남자를 로우앵글로, 배경에는 네온사인 조명’이라는 문장(왼쪽 아래)을 입력한 결과(오른쪽)다.


런웨이 GEN-2가 사람이 입력한 사진, 동영상을 토대로 만든 새로운 동영상. 출처 = 런웨이 연구 블로그



사람이 입력한 사진을 동영상으로 만드는 능력, 원본 동영상의 피사체와 배경에 임의의 사진을 합성해 새로운 동영상을 만드는 능력도 갖췄다. 위 예제 사진은 현실 세계에서 남성이 춤을 추는 동영상(왼쪽)에 게임 속 캐릭터의 사진(가운데)을 합성, 동영상의 느낌을 게임처럼 바꾼(오른쪽) 사례다.


런웨이 GEN-2가 사람이 입력한 문장을 토대로 만든 기존 동영상을 수정한 사례. 출처 = 런웨이 연구 블로그



문장을 입력해서 동영상 속 피사체의 일부 요소만 제거하거나 수정하는 것, 동영상의 느낌을 실사나 애니메이션 화풍으로 조절하는 것도 가능하다. 위 예제 사진은 개가 산책하는 동영상(왼쪽 위)에 ‘흰 털에 검은 반점이 있는 개’라는 문장(왼쪽 아래)을 입력해서 동영상 속 개의 모습을 바꾼 사례(오른쪽)다. 기초 수준의 3D 모델링을 실제 피사체처럼 바꿔 동영상으로 만드는 능력도 가졌다. 런웨이의 연구 블로그에서 위 사례들의 동영상을 확인 가능하다.

아직 한계는 있다. 런웨이 GEN-2로 만든 동영상은 해상도와 선명도가 낮고 프레임 수도 적다. 그래서 화면 속 피사체의 모습은 거칠고 움직임도 뚝뚝 끊기는 듯한 모습을 보인다. 동영상 결과물의 길이도 아직은 4초 남짓으로 짧다.

하지만, 런웨이는 2022년 9월 이 기술의 개념을 공개한 후 불과 반 년여 만에 GEN-2를 선보였다. 사진이나 그림을 만드는 인공지능의 발전 속도를 고려하면, 이 기술 역시 단시간에 크게 발전해 실제 동영상 수준의 결과물을 만들 것으로 기대한다.

런웨이는 다중 모델 인공지능 기술을 더욱 고도화, GEN-2의 성능을 강화할 예정이라고 밝혔다. 단, 이 기술은 아직 일반 소비자나 기업이 임의로 활용할 수 없다.

글 / IT동아 차주경(racingcar@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)



▶ 사무실 AI 혁명 일어나나…마이크로소프트, GPT4 품은 오피스 공개▶ GPT-4, 사진 알아보고 변호사·대입 시험 성적도 우수▶ [스타트업-ing] 드랩 “쇼핑몰 상품 사진, AI로 순식간에 만들 수 있습니다”



추천 비추천

2

고정닉 0

2

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 힘들게 성공한 만큼 절대 논란 안 만들 것 같은 스타는? 운영자 24/06/10 - -
3909 [뉴스줌인] 부쩍 커진 이동식 에어컨 시장, ‘AI’와 ‘듀얼호스’로 방점 찍은 LG전자 IT동아갤로그로 이동합니다. 19:37 3 0
3908 [정구태의 디지털자산 리터러시] 2. 자산 규제와 진흥의 균형이 필요한 시점 IT동아갤로그로 이동합니다. 15:46 13 0
3907 JC? SA? 헷갈리는 도로 표지판 숙지하기! [이럴땐 이렇게!] IT동아갤로그로 이동합니다. 14:48 169 0
3906 컴퓨텍스 2024에서 눈에 띈 강소기업들 “한국시장 기대 커” [1] IT동아갤로그로 이동합니다. 06.07 206 0
3905 [생성 AI 길라잡이] 생성 AI 학습 과정에서 발생하는 빈번한 분쟁 IT동아갤로그로 이동합니다. 06.07 104 0
3904 차트분석 도구 ‘트레이딩뷰’ 파고들기 - 14 IT동아갤로그로 이동합니다. 06.07 97 0
3903 글로벌 기업도, 유망 스타트업도…“어도비 서브스턴스 3D로 디지털 혁신 가능해” IT동아갤로그로 이동합니다. 06.07 988 0
3902 [농업이 IT(잇)다] 그랜트 “농업인의 고민 해결하는 친환경 과일 포장재, 딴딴박스” IT동아갤로그로 이동합니다. 06.07 95 0
3901 노랑풍선, "NHN두레이 전사 도입으로 조직 내 업무 환경 통일했죠" IT동아갤로그로 이동합니다. 06.07 91 0
3900 국내 장수 만화 IP 비즈니스의 모범 사례가 되길... '열혈강호' 30주년 콜라보 카페 방문기 [24] IT동아갤로그로 이동합니다. 06.07 2387 2
3899 시놀로지 “눈 높은 한국 고객들 의견 수렴하며 성과 거둬” IT동아갤로그로 이동합니다. 06.06 133 0
3898 노트북 출시 20주년 맞은 MSI, 컴퓨텍스 부스도 ‘노트북 풍년’ [15] IT동아갤로그로 이동합니다. 06.06 7330 4
3897 ‘모든 곳에 인공지능’을 위한 시작, 인텔 AI 서밋 서울 개최 IT동아갤로그로 이동합니다. 06.05 179 0
3896 시놀로지, 엔터프라이즈 솔루션 강화 ‘잰걸음’ IT동아갤로그로 이동합니다. 06.05 129 0
3895 [시승기] ‘K5 LPG 하이브리드’로 500km 주행 후 실연비 살펴보니 IT동아갤로그로 이동합니다. 06.05 139 0
3894 퀄컴 스냅드래곤X 시리즈, AI PC넘어 AI 산업도 노린다 IT동아갤로그로 이동합니다. 06.05 154 0
3893 국내 가상자산 커뮤니티 “텔레그램·카카오톡 활성화, 단기 시세에 민감” IT동아갤로그로 이동합니다. 06.05 123 0
3892 “디지털 혁신 이끈 3D 기술, AI로 문턱 더 낮아질 것“…어도비 서브스턴스 데이에서 엿본 미래 IT동아갤로그로 이동합니다. 06.05 124 0
3891 딥엑스, 엣지 AI용 NPU 'DX-M1'으로 중국·대만 시장에서 두각 IT동아갤로그로 이동합니다. 06.05 145 0
3890 SK하이닉스, 컴퓨텍스 2024서 GDDR7, 자체 컨트롤러 등 전시 IT동아갤로그로 이동합니다. 06.05 140 0
3889 MSI, 컴퓨텍스 2024에 ‘AI+ PC’ 대거 선보이며 ‘기선제압’ IT동아갤로그로 이동합니다. 06.05 102 0
3888 ‘연 단위 출시, 네트워크 대역 확장’ 인공지능 가속기 경쟁 달아오른다 IT동아갤로그로 이동합니다. 06.04 119 0
3887 인텔 컴퓨텍스 2024 부스 가보니··· 'AI PC 사례·제온 6 공개 눈길' [2] IT동아갤로그로 이동합니다. 06.04 1545 0
3886 컴퓨텍스 2024 MSI 부스, ‘클로’ 8인치와 ‘AMG’ 노트북 공개로 ‘북적’ IT동아갤로그로 이동합니다. 06.04 110 0
3885 펫 겔싱어, "2030년 세계 2위 파운드리 목표··· 다음 주 18A 칩 구동" IT동아갤로그로 이동합니다. 06.04 174 0
3884 인텔 제온6·가우디3·루나레이크까지 총 출동··· '시장 주도권 노린다' IT동아갤로그로 이동합니다. 06.04 113 0
3883 전기차 캐즘에도 정면 돌파 택한 ‘현대차그룹’ IT동아갤로그로 이동합니다. 06.04 110 0
3882 "AI PC 시대, 피처폰에서 스마트폰 전환만큼 혁명적 도약" [1] IT동아갤로그로 이동합니다. 06.03 632 1
3881 韓 자동차 등대공장 0개...제조공정 혁신 시급 IT동아갤로그로 이동합니다. 06.03 127 0
3880 3세대 라이젠 AIㆍ라이젠 9000 시리즈, AMD 새 CPU 제품군 대거 공개 [7] IT동아갤로그로 이동합니다. 06.03 640 1
3879 6월부터 달라진 통신3사 요금·혜택 살펴보니 [1] IT동아갤로그로 이동합니다. 06.03 782 0
3878 [정구태의 디지털자산 리터러시] 1. 지금 당신이 디지털자산에 관심을 가져야할 이유 IT동아갤로그로 이동합니다. 06.03 113 0
3877 [주간투자동향] 벤디트, 80억 원 규모 프리 시리즈A 투자 유치 IT동아갤로그로 이동합니다. 06.03 749 2
3876 여름철 필수품 '선풍기', 용도·기능에 맞춰 고르는 법! [이럴땐 이렇게!] IT동아갤로그로 이동합니다. 06.03 125 0
3875 블랙웰 다음 루빈, 엔비디아 차기 인공지능 가속 플랫폼 공개 [2] IT동아갤로그로 이동합니다. 06.03 1998 1
3874 베일에 싸였던 구글의 '검색 알고리즘'…유출 문건으로 실체 드러나 IT동아갤로그로 이동합니다. 05.31 187 0
3873 가비아, 한국마사회에 클라우드 PC ‘가비아 DaaS’ 공급 IT동아갤로그로 이동합니다. 05.31 153 0
3872 차트분석 도구 ‘트레이딩뷰’ 파고들기 - 13 IT동아갤로그로 이동합니다. 05.31 151 0
3871 외산 솔루션 가격 인상, 국산 가상화 시장 훈풍 기대 IT동아갤로그로 이동합니다. 05.31 141 0
3870 [리뷰] 게이밍-홈시네마 넘나드는 전천후 빔프로젝터, 뷰소닉 LX700-4K IT동아갤로그로 이동합니다. 05.31 1085 1
3869 [생성 AI 길라잡이] 1분 만에 영상·이미지 제작 ‘브이캣’ [2] IT동아갤로그로 이동합니다. 05.31 4913 5
3868 [농업이 IT(잇)다] 실내 수직형 스마트팜으로 생산량 극대화하는 ‘플랜티팜’ [1] IT동아갤로그로 이동합니다. 05.31 474 0
3867 페라리 DNA 담은 12기통 2인승 '12 칠린드리'…아시아 최초 공개 IT동아갤로그로 이동합니다. 05.30 156 0
3866 블랙웰에 FOPLP 조기 도입 고려 중인 엔비디아, 미세공정 넘어 생산 경쟁 유도하나? IT동아갤로그로 이동합니다. 05.30 224 0
3865 북블라 “창업의 꿈, 가천대 코코네스쿨에서 이뤄” IT동아갤로그로 이동합니다. 05.30 169 0
3864 스페이스앤빈 “뉴스페이스로의 전환, 상용 부품 적용 물꼬부터 터야” IT동아갤로그로 이동합니다. 05.30 130 0
3863 [리뷰] AFMF로 가성비 게이밍 환경 구축, AMD 라데온 RX 7700 XT [8] IT동아갤로그로 이동합니다. 05.30 5484 5
3862 [스타트업 첫걸음] 스타트업, 창업 아이디어는 어떻게 시작할까 IT동아갤로그로 이동합니다. 05.30 127 0
3861 KT클라우드, 엔비디아 GPU 기반 학습 서비스 'AI Train' 출시 IT동아갤로그로 이동합니다. 05.30 121 0
3860 캐딜락, 브랜드 최초 순수 전기 SUV ‘리릭’ 출시 [2] IT동아갤로그로 이동합니다. 05.30 512 1
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2