[키뉴스 양대규 기자] 모스크바의 삼성 AI센터와 스콜코보과학기술원의 연구원들이 3D 모델링과 같은 전통적인 방법 없이도 이미지에서 사실적인 애니메이션 화상의 헤드들을 만들어낼 수 있는 모델을 만들었다.
23일 벤처비트는 “사실적인 머리 이미지와 얼굴 랜드마크를 합성하는 데 초점을 맞춘 기술은 현재 삼성의 갤럭시 S10에서 사용 가능한 것과 같은 비디오 게임, 비디오 컨퍼런스 또는 디지털 아바타에도 적용될 수 있다”고 보도했다. 페이스북도 가상현실 이니셔티브를 위한 현실적인 아바타를 개발하고 있다.
벤처비트에 따르면, 이 기술은 모델이 단지 몇 개 또는 심지어 한 개인의 이미지를 사용하여 얼굴에 생기를 불어넣기 시작할 수 있다는 것을 의미한다. VoxCelleb2 비디오 데이터 세트를 사용한 메타 교육은 모델이 이전에 보이지 않았던 얼굴들을 애니메이션화하기 전에 먼저 수행된다.
엔지니어 에고르 자카로프는 "효과적으로 학습된 모델은 사람의 현실적인 아바타 역할을 한다"고 말했다.
훈련 과정 동안 시스템은 세 가지 신경망을 만든다. 내장된 네트워크는 프레임을 벡터에 매핑하고, 발전기 네트워크는 합성된 비디오의 안면 랜드마크를 매핑하며, 차별 네트워크는 생성된 이미지의 사실성과 포스를 평가한다.
벤처비트는 ArXiv에 대한 논문을 인용하며, " 시스템은 발전기와 차별기 양쪽의 파라미터를 사람마다 특정한 방식으로 초기화할 수 있기 때문에, 수천만 개의 파라미터를 조정해야 함에도 불구하고, 훈련은 단지 몇 개의 이미지에 기초하고 신속하게 이루어질 수 있다. 우리는 그러한 접근방식이 새로운 사람들의 매우 현실적이고 개인화된 말하기 헤드 모델과 심지어 초상화까지도 배울 수 있다는 것을 보여준다"고 설명했다.
삼성의 AI 작품은 지난 6월 캘리포니아 롱비치에서 열린 컴퓨터 비전 및 패턴인식(CVPR)에 의해 출판 허가를 받았다.
최근 인간의 얼굴을 흉내내기 위해 개발된 다른 형태의 AI로, 워싱턴 대학의 연구원들은 작년에 그들이 어떻게 전 미국 대통령의 비디오로 훈련된 픽스-투-픽스를 기반으로 한 립싱크 모델인 오바마넷을 만들었는지에 대해 공유했다. 또한 미국 버클리 캘리포니아대 연구진은 지난해 가을 인공지능 데이터셋을 이용해 백플립처럼 춤을 추거나 곡예 동작을 훈련하는 모델을 선보였다.