“AI로 정교하게 대역-배우 얼굴 합성.. 몰입감과 생동감 선사“
tvN드라마 ‘나빌레라’ 주연 배우의 고난이도 발레 동작에 국내 최초로 AI기반 얼굴 합성 기술 선보여
CJ올리브네트웍스(대표이사 차인혁)가 드라마 ‘나빌레라’ 고난이도 발레 장면에 AI기반의 얼굴 합성 기술을 적용, 자연스러운 모습을 연출하며 시청자들에게 몰입감 높은 감동을 제공했다고 11일 밝혔다.
지난달 인기리에 종영한 tvN월화드라마 ‘나빌레라’는 나이 일흔에 발레를 시작한 덕출(박인환)과 스물셋 꿈 앞에서 방황하는 발레리노 채록(송강)의 성장 스토리로 페이스 에디팅 기술(Face Editing)을 드라마에 적용한 국내 최초의 사례이다.
CJ올리브네트웍스는 스튜디오드래곤, CJ ENM과의 협업을 통해 고난이도 발레 장면에 발레리노 대역 안무와 주연 배우의 얼굴을 합성하여, 정교하면서도 자연스러운 모습을 연출해 많은 시청자들에게 생동감과 감동을 선사했다.
특히 마지막 회 중 두 배우의 피날레 발레 공연에서도 페이스 에디팅 기술을 제공하여 따뜻하고도 완벽한 무대를 완성했다.
GAN 기술로 배우 이목구비뿐 아니라 머리, 목까지 자연스러운 영상으로 높은 몰입감과 생동감 선사
CJ올리브네트웍스의 페이스 에디팅은 AI를 기반으로 기술을 구현하여 ▲학습 데이터 수집 ▲데이터 처리 ▲모델 학습(GAN) ▲얼굴 교체 과정으로 진행됐다.
CJ올리브네트웍스 AI-Core 연구소는 작품의 완성도를 높이기 위하여 원본 얼굴과 대상 얼굴을 추출하고 추출된 데이터를 분석 및 시각화하여 최적의 학습 데이터셋을 구축했다.
또한 AI기술 중 하나인 GAN 기술(생성적 적대 신경망 GAN: Generative Adversarial Network)을 사용하여 해당 영상의 각 프레임에 교체할 얼굴을 합성했다. 특히 주인공들의 이목구비뿐 아니라 머리의 전체적인 구조와 목부분까지도 자연스럽게 합성해 생동감 있는 고난도 발레 장면을 만들었다.
지난해 故터틀맨 복원에 이어 나빌레라까지…휴머니즘과 감동 전하는 기술 지속 개발할 것
CJ올리브네트웍스 AI-Core 손종수 연구소장은 “자체 개발한 얼굴 합성 최적화 기술을 고도화 하는 등 AI 기반의 페이스 에디팅 기술을 통해 휴머니즘과 감동을 지속적으로 제공하고 미디어 산업 발전에도 기여할 예정”이라며 “사회적으로도 해당 기술이 악용되는 일이 없도록 블록체인 등의 인증 기술을 사용하여 보완 장치를 마련하겠다”고 말했다. 한편, CJ올리브네트웍스는 지난해 12월 Mnet 프로그램 ‘다시 한번’에서 故터틀맨 얼굴을 AI기반의 페이스 에디팅 기술로 재현해 내며 그를 추억하는 팬들과 동료, 가족에게 감동 넘치는 무대를 선보인 바 있다.
