바이두 AI 언어훈련, 언어평가 벤치마크’GLUE’ 90점

글로벌 IT 공룡 업체들과 인공지능(AI) 경쟁을 벌이는 중국 바이두(Baidu)의 자체 AI언어훈련 모델이 이해도에서 일반인 수준을 능가했다.

지난달 초 공개된 바이두 AI 모델은 관련 경쟁에서 구글(Google)과 MS(Microsoft) 등에도 우위를 보였다.

글루(GLUE)는 AI시스템이 인간의 언어를 얼마나 잘 이해하는 지에 대한 널리 인정되는 벤치마크다. 문장에서 사람과 조직 등 명사 구분하기, 여러 잠재적 선행 단어를 지칭하는 지시대명사가 무엇을 나타내는 지 등을 구별하는 9가지 다른 테스트로 구성된다.

글루에서 높은 점수를 얻은 언어 모델은 다양한 독해 이해 과제를 처리할 수 있다. 100점 만점에서 일반인의 점수는 87점 정도다. 바이두는 자체 자연어처리(NLP) 모델 ‘ERNIE’로 최초로 90점 이상을 달성했다.

바이두 성과에서 주목할만한 점은 AI 연구에서 다양한 공헌들을 보여준다. 바이두 연구원들은 중국어로 ERNIE(Enhnced Representation through kNowledge IntEgration) 기술을 개발해야 했다. 동일한 기술은 영어 이해도를 증진한다.

‘ERNIE’개발에 영향을 준 것은 구글 버트(Google BERT)모델이다. 2018년 말 BERT(Bidirectional Encoder Representations from Transformers) 만들어지기 전에는 자연어처리 모델이 그리 좋지 않았다. 그들은 자동 완성과 같은 응용 프로그램에 적합하기 때문에 한 문장에서 다음 단어를 예측하는 데 능숙했지만 작은 구절조차도 맥락을 유지할 수 없었다. 지시대명사(it) 등 의미를 이해하지 못했기 때문이다. BERT는 그것을 바꿨다.

구글 버트(BERT)

이전 ‘단방향’ 모델들은 단어의 전후에 나타나는 문맥만 고려해 단어의 의미를 예측하고 해석하는 방법을 훈련했다. 반대로 BERT는 단어 전후 문맥을 한 번에 양방향으로 파악했다. 주어진 텍스트에서 BERT는 단어의 15 %를 임의로 마스킹하고 나머지 단어에서 예측하려고 한다. 처리해야 할 신호가 두 배가 되기 때문에 보다 정확한 예측이 가능하다.

예를 들어, ‘남자는 우유를 사기 위해 ~에 갔다’라는 문장에서 문장의 시작과 끝 모두 누락된 단어에 대한 힌트를 제시한다. ~는 갈 수 있는 곳이며 우유를 살 수 있는 곳이다.

마스킹을 사용하는 것은 자연 언어 작업에서 극적인 개선을 이룩한 핵심 혁신 중 하나 다. 오픈AI(OpenAI)가 선보인 문맥 자동 완성 알고리즘 ‘GPT-2’ 모델이 중심 주제에서 벗어나지 않고 매우 설득력 있는 글을 쓸 수 있는 이유도 이 기술에 근거한다.

영어-중국어 번역 정확도 향상

바이두 연구원들은 자체 언어 모델 개발에서 마스킹 기술을 중국어와 부합하게 활용했다.

영어에서 의미 단위 역할을 하는 단어는 문맥에서 벗어나도 여전히 의미를 담고 있다. 중국어는 이와 다르다. 어떤 문자는 불(火), 물(水), 나무(木)과 같은 내재적 의미를 지닌다. 반면 문자 ‘灵(lynng)’는 그 활용에 따라 영리한(机灵, jīlng) 또는 영혼(灵魂, lynghhunn)을 의미할 수 있다. 그리고 보스턴(波士顿, Boshìdùn)이나 미국(美国, msiguo)과 같은 고유명사를 이루면 단일 문자와 의미가 달라진다.

MIT테크놀로지리뷰에 따르면 바이두 연구원들은 ERNIE를 단일 문자열이 아닌 문자열을 숨기는 새로운 버전의 마스킹에 대해 훈련시켰다. 그들은 또한 의미 있는 문자열과 임의의 문자열을 구분해 그에 따라 올바른 문자 조합을 가릴 수 있도록 훈련시켰다. 그 결과, ERNIE는 단어가 어떻게 중국어로 정보를 인코딩하는지 더 잘 이해, 누락된 조각을 예측하는 데 훨씬 더 정확했다. 이는 번역이나 텍스트 문서 정보 검색 등 애플리케이션에서 유용하다는 것을 증명한다.