AI로 악플잡는 네이버·카카오, 남은 과제는?

IT동아

2023.04.07 19:50:21

조회 4378 추천 5 댓글 55

[IT동아 정연호 기자] 카카오(다음)와 네이버가 인공지능(이하 AI) 기술을 활용해, 뉴스의 악성 댓글을 자동으로 찾아 제재하는 시스템을 만든다. 악성 댓글의 탐지와 제재 능력이 아직 완전하지는 않지만, 업계는 AI 기술이 고도화되면서 이 시스템의 성능이 꾸준하게 발전할 것으로 전망한다.

국내 대표 포털 사이트 운영사인 카카오와 네이버는 ‘악성 댓글 방지’를 위한 정책을 만들고 있다. 많은 사람이 포털 사이트 뉴스의 댓글 때문에 피해를 본다는 비판이 거세졌기 때문이다.

그 일환으로 카카오와 네이버는 포털 사이트의 악성 댓글을 발견하고, 보이지 않게 가리는 AI봇(각각 세이프봇, 클린봇)을 개발했다.

카카오의 세이프봇, 출처=카카오

카카오 ‘세이프봇’은 다음과 카카오탭의 뉴스 댓글을 분석한다. 욕설/음란/불법 내용의 댓글을 발견하면 가리고, 신고한다. 신고된 댓글이 운영정책을 위반했다면, 카카오가 이를 삭제한다.

욕설과 비속어를 포함한 댓글 수 추이, 출처=카카오

세이프봇은 실제로 악성 댓글을 잡는 데 효과가 있다. 카카오는 “세이프봇 적용 전인 2020년과 적용 후인 2021~2022년의 월평균 수치를 비교하면, 욕설이나 비속어를 포함한 댓글이 3분의 1로 줄었다. 이용자가 신고한 악성 댓글도 12분의 1로 감소했다”고 밝혔다.

세이프봇의 정확도를 높이기 위해서, 카카오는 혐오 표현의 정의, 원칙, 판단 기준을 담은 ‘코딩북’을 만들고 있다. 전문성을 갖춘 외부 연구진이 이 과정에 참여한다. 코딩북을 학습한 세이프봇은 여러 서비스에 순차적으로 적용될 예정이다.

네이버의 클린봇, 출처=네이버

네이버 클린봇도 웹툰, 뉴스의 악성 댓글을 찾고, 가린다. 특징은 댓글의 맥락을 읽는다는 것이다. 비속어를 포함하지 않는 악성 댓글(혐오 표현, 성적 표현)은 클린봇이 맥락을 읽어서 잡아낸다.

네이버 클린봇이 잡은 문장(1, 3), 잡지 않은 문장 (2, 4), 출처=네이버

네이버가 공개한 클린봇의 원리 자료를 살펴보면, 클린봇은 ‘(1)너 같은 쓰레기 같은 놈은 쓰레기통에나 들어갔으면 좋겠다’와 ‘(2)사람들이 쓰레기를 쓰레기통에다가 좀 버렸으면 좋겠다’의 차이를 이해한다. (1) 문장이 사람을 쓰레기에 빗대어 모욕한다는 점, (2) 문장이 쓰레기의 사전적인 의미를 사용한다는 점을 안다는 뜻이다.

클린봇을 도입한 이후로 악플 생성 비율과 악플 노출비율 추이, 출처=네이버

클린봇도 역시 네이버의 악성 댓글 감소에 기여했다. 지난 3월, 네이버는 “AI 클린봇을 도입한 뒤 악성 댓글 생성 비율이 2020년 26.5%에서 2023년 초 16.7%로 줄었다. 다른 이용자가 악성 댓글을 보는 비율은 2019년 21.9%에서 2023년 초 8.9%까지 떨어졌다”고 밝혔다.

다만, AI 업계는 악성 댓글을 제재하는 AI봇의 완성도가 아직 낮다고 말한다. AI봇은 비속어를 포함한 악성 댓글을 잘 찾아낸다. 하지만, 문맥을 이해하지 못해서 혐오표현을 제재하지 못하는 경우가 많다.

AI봇이 비속어를 포함하지 않는 혐오 표현을 실제로 잘 제재하는지 확인하기 위해서, 네이버 뉴스 페이지에서 혐오 표현의 주요 공격대상이 되는 ‘여성’과 관련된 기사를 확인해봤다.

클린봇은 “권리는 주고 의무는 나몰랑”, “국민 절반인 여자는 머리가 모자라고 신체가 나약한 팔X이들이라 이런 조치가 필요하다는 거냐”같은 혐오 표현을 제재하지 않았다. 반면, “사회에 도움이 1도 안 되는 기생충 새X들 왜 살까 도대체”, “적극적으로 대X리 깨고 싶네”같은 비속어가 포함된 댓글을 제재했다.

네이버 관계자는 “혐오나 비하, 차별적인 표현에 대한 기준은 개인마다 다르다. 네이버가 이 기준을 임의로 정하는 것은 어렵다”면서 “특정 단어는 문맥에 따라 차별 표현이 될 수 있는데, 이러한 단어나 문장을 모두 잡아내는 것은 쉽지 않다. 이를 해결하기 위해서, 네이버는 한국인터넷자율정책기구(KISO)에서 발표한 혐오 표현 가이드라인을 따르고 있다”고 말했다.

다음 뉴스 페이지에서 확인한 여성과 관련된 기사의 댓글도 마찬가지였다. 세이프봇은 “여자는 일을 진짜 못한다. 젊은 여자는 더 심각하다. 업무 배우는 건 관심 없다”, “여성임원이 많아야 하나요?”와 같은 혐오 댓글을 제재하지 않았다. 반면, “넘어가는 X이 문제지”, “손가락을 잘X버려라”처럼 노골적인 욕설이 있는 댓글들을 제재했다.

전문가들은 AI봇이 여러 종류의 악성 댓글을 잡아내려면 다양한 데이터를 학습해야 한다고 강조한다. 현재 AI봇은 특정 욕설이나 멸칭을 주로 학습한다. 그래서, 이러한 표현이 담긴 문장만 제재하는 것이다. 인터넷에 만연한 여러 혐오 표현을 학습하면, AI봇은 다양한 악성 댓글을 잡아낼 수 있다.

카카오와 네이버는 AI봇의 성능을 고도화하기 위해서 다양한 노력을 할 것이라고 입장을 전했다. 카카오 관계자는 “사람들이 안전하게 서비스를 이용할 수 있도록, 이용자의 다양한 의견을 듣고 검토해 세이프봇 기술을 고도화할 계획이다”라고 말했다. 네이버 관계자는 “AI봇의 성능을 개선하기 위해서 혐오와 차별 표현 데이터를 많이 확보하고, AI 모델을 발전시킬 것이다”라고 했다.

글 / IT동아 정연호 (hoho@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

▶ 구글·네이버 위협하는 딥엘(DeepL) 번역기, 한국어 버전 품질은?▶ 해외여행에서 외국어 소통, 번역앱으로 이렇게![이럴땐 이렇게!]▶ 인공지능, 검색광고 대행에 콘텐츠도 만들어주는 시대 온다

고정닉 1

원본 첨부파일 5본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	손해 보기 싫어서 피해 입으면 반드시 되갚아 줄 것 같은 스타는?	운영자	24/11/18	-	-
2560	유튜브 프리미엄 구독자, 다섯 가지 혜택 받는다 [8]	IT동아	23.04.12	1624	3
2559	[리뷰] USB에 꽂아 쓰는 와이파이6E 어댑터, 넷기어 나이트호크 A8000	IT동아	23.04.11	185	0
2558	마드라스체크, SaaS 페스타 'Flower 2023' 개최… '디지털 전환의 현주소 만난다'	IT동아	23.04.11	188	0
2557	이통 3사, 새로운 중간요금제 나온다 … 걸림돌은 가격 [6]	IT동아	23.04.11	1484	0
2556	[IT신상공개] ‘미키 마우스’ 옷 입은 955만원짜리 라이카 Q2 한정판, 발표하자마자 매진? [3]	IT동아	23.04.10	1522	0
2555	[IT애정남] 내비게이션의 스쿨존 우회 기능에 대해 알려주세요	IT동아	23.04.10	238	0
2554	[마인드테크 시대가 온다] 4. 상담테크, 치유의 동반자	IT동아	23.04.10	159	0
2553	스마트폰 저장공간이 부족할 땐 이렇게![이럴땐 이렇게!] [5]	IT동아	23.04.10	2985	3
2552	물류의 변화, 도심 속으로 들어 온 물류거점	IT동아	23.04.10	1598	1
2551	[뉴스줌인] DDR5 지원하는 기가바이트의 H610 메인보드 출시, 쓸 만할까?	IT동아	23.04.08	184	0
	AI로 악플잡는 네이버·카카오, 남은 과제는? [55]	IT동아	23.04.07	4378	5
2549	KISA, 실생활 서비스로 블록체인 대중화 노린다	IT동아	23.04.07	135	0
2548	[농업이 IT(잇)다] 신성랩메디컬 “소재가 힘, 나노콜라겐을 세계로”	IT동아	23.04.07	111	0
2547	강화하는 스마트폰-PC 연결성, 왜 기업들은 지금 '연결성' 기능을 내는가? [5]	IT동아	23.04.07	1756	2
2546	AMD 자일링스, ASIC 기반 알베오 미디어 가속기 'MA35D' 공개	IT동아	23.04.06	116	0
2545	[리뷰] ‘진짜’ 미국 선생님들 수업이 한가득, ‘아웃스쿨’	IT동아	23.04.06	153	0
2544	지금 지원할 수 있는 예비 창업자 프로그램	IT동아	23.04.06	573	0
2543	공공배달앱 대부분이 외면받아… 업계 “홍보·수익방안 마련해야” [24]	IT동아	23.04.06	1835	5
2542	[리뷰] AMD 라이젠 7 7800X3D 써보니··· '게이밍에선 16코어 CPU도 넘어서' [6]	IT동아	23.04.05	1467	0
2541	델 테크놀로지스, 2023 기업용 신제품 공개... "국내 PC 시장 3위 목표"	IT동아	23.04.05	245	0
2540	[스타트업-ing] 엑스온 장원익 대표, “버추얼 스튜디오가 가져 온 변화” [2]	IT동아	23.04.05	864	0
2539	카산도 “인공지능·스마트 프랜차이즈 될 것”	IT동아	23.04.05	141	0
2538	[IT신상공개] S10급 성능의 보급형 스마트폰? 갤럭시 A34, 살 만할까? [27]	IT동아	23.04.04	2529	4
2537	스타트업 창업 전 알아야 할 투자 라운드 특징	IT동아	23.04.04	203	0
2536	인기 인공지능 서비스 연이어 중단, 업계 “자정할 것” [15]	IT동아	23.04.04	2331	3
2535	[뉴스줌인] 실속형 PC용 보급형 메인보드 칩셋, 'AMD A620' 이모저모 [7]	IT동아	23.04.03	1826	1
2534	[뉴스줌인] 두나무, ‘크립토 겨울’ 실적 급감에 수익 다각화 모색	IT동아	23.04.03	152	0
2533	“비싼 배달비·수수료, 배달앱 못 쓰겠다” 불만 터진 이용자들 [35]	IT동아	23.04.03	2955	7
2532	매년 갱신하는 자동차 보험, 한 눈에 비교하려면 이렇게![이럴땐 이렇게!] [1]	IT동아	23.04.03	1345	1
2531	[주간투자동향] 스탁키퍼, 58억 원 규모의 시리즈A 투자 유치 [1]	IT동아	23.04.03	206	0
2530	[르포] 'UAM·드론·전장·전기 이륜차 한 자리에'··· '서울모빌리티쇼'의 또 다른 볼 거리는?	IT동아	23.03.31	156	0
2529	[IT애정남] 이어폰, 한쪽만 들어도 되나요?	IT동아	23.03.31	470	1
2528	[농업이 IT(잇)다] 팜커넥트 “농업 데이터, 선진 농업 첫걸음”	IT동아	23.03.31	150	0
2527	[리뷰] 상위 1% 성능, MSI 타이탄 GT77HX 13VI로 살펴본 13세대 인텔 코어 i9-13950HX [14]	IT동아	23.03.30	1991	4
2526	AWS코리아 "스타트업 해외 진출 고민, AWS 인프라로 적극 지원할 것"	IT동아	23.03.30	164	0
2525	헤어테크 기업 ‘부드러운돌멩이’, "NHN 협업 툴 두레이로 디지털화 대응"	IT동아	23.03.30	139	0
2524	S23 출시하며 스마트싱스 스테이션 뿌린 삼성, ‘매터’가 뭐길래? [4]	IT동아	23.03.29	1121	0
2523	홍익대학교 이근 미술대학장, “시뮬레이션할 수 있는 디자인이 필요합니다” [26]	IT동아	23.03.29	1786	16
2522	스타트업 창업자에게 유용한 투자 유치 관련 정보	IT동아	23.03.29	191	0
2521	[리뷰] 손 맛도 살리고 편의성도 OK, 마이크로닉스 메카 ZK1 기계식 게이밍 키보드 [11]	IT동아	23.03.28	2004	0
2520	[농업+IT=스마트팜] 4. 환경 데이터 수집용 센서 구축하기 (1)	IT동아	23.03.28	160	0
2519	택시 서비스 기업 “요금 나눠서 여럿이 싸게 타세요” [12]	IT동아	23.03.28	2168	0
2518	일상에 스며든 블록체인 서비스	IT동아	23.03.28	152	0
2517	[메타버스에 올라타자] 3. 전 세계 메타버스 시장 현황	IT동아	23.03.28	232	0
2516	[마인드테크 시대가 온다] 3. 명상테크, 스스로하는 마인드 케어	IT동아	23.03.28	132	0
2515	웨스턴디지털, '샌디스크 프로페셔널' 라인업 추가··· "전문가용 경험 확대"	IT동아	23.03.28	155	0
2514	日 JOLED 사실상 파산, 韓·中 OLED 2파전 굳혀 [60]	IT동아	23.03.28	3279	16
2513	레드햇 앤드류 해브굿 부사장 “파트너십 확대, 한국 기업 글로벌 진출 도울 것”	IT동아	23.03.27	198	0
2512	[리뷰] 최대 96GB 통합 메모리로 성능·효율 다 잡았다, 애플 맥북 프로 16 [25]	IT동아	23.03.27	2471	3
2511	[IT하는법] 껐다 켜는 게 다가 아니다, 알면 도움 되는 '시스템 소리' 설정	IT동아	23.03.27	179	0
뉴스	방탄소년단 ‘낫 투데이’ 뮤직비디오 6억 뷰 돌파… 통산 14번째 기록	디시트렌드	18:00