미디어 이슈 & 트렌드56호(5+6월)

3.1. 디에이징 기술

디에이징(De-aging) 기술은 영화 <엑스맨: 최후의 전쟁(2006)>에서 패트릭 스튜어트(프로페서 X 역)와 이안 맥컬런(매그니토 역)의 회상 장면에 처음으로 활용되었다. 과거 디에이징 기술은 캐릭터의 특정 사건과 관련된 어린 시절(혹은 젊은 시절)의 회상 장면을 구현하기 위해 부분적으로 활용되었다. 이는 스토리 맥락을 시간순으로 이해할 수 있는 보조적 기능을 수행했지만, 기술적 한계로 인해 주변 영상 화면과 부자연스러운 조화를 보이기도 했다. 근래에 디에이징 기술은 리부트(Reboot), 스핀오프(Spin-off), 시퀄(Sequel), 프리퀄(Prequel) 등 동일 스토리와 캐릭터를 바탕으로 세계관이 확장하며 영상 전반에 걸쳐 시간을 역행한 캐릭터의 모습을 젊게 만들거나, 탄탄한 캐릭터 연기를 위해 노년의 배우를 캐스팅한 경우 배우 얼굴을 설정된 캐릭터 연령에 맞추는 것에 사용된다.

영화 제작에서 디에이징 기술은 대체로 배우 얼굴에 작은 마커를 붙여서 촬영한 후, 후반 제작에서 디지털 편집과 CGI(Computer Generated Imagery), 3D 모션 등을 조합하여 각 시퀀스에 합성된 영상을 입혀서 완성하는 형태였다. 반면, 최근의 디에이징 기술은 AI 기반 신경망 모델링을 통해 배우가 과거에 출연한 작품을 바탕으로 영상 정보를 추출해서 촬영본 영상에 덧씌워 구현하는 방식이다. 이는 기존의 영상 정보를 활용해서 시간과 비용을 단축하고 사전에 설정된 기준을 바탕으로 특정 작업 과정을 자동으로 처리할 수 있다.

AI와 결합한 디에이징 기술은 기존의 구현 방식을 간소화하며 TV나 OTT로 일상에서 빈번히 즐겨 시청하는 드라마와 예능과 같은 콘텐츠 제작에 활용되는 추세이다. Disney+ 오리지널 TV 시리즈 <카지노>에서는 60대에 들어선 배우 최민식이 '차무식' 캐릭터를 30대부터 60대까지 직접 연기하며 크게 화제가 되었다. 과거 드라마에서는 일반적으로 캐릭터의 젊은 시절은 메이크업, 헤어스타일, 코디와 같이 주변 요소의 설정을 다르게 표현하거나, 이미지가 닮은 연령대의 다른 배우가 대신 등장했다. 이와 달리, 카지노에서는 AI 기반 디에이징 기술을 통해 최민식의 얼굴과 목소리를 전성기 시절의 젊은 모습으로 되돌려서 맥락적인 연속성과 완성도를 높였다.

<카지노>에서 사용한 AI 기반 디에이징 기술은 크게 '페이스 디에이징'과 '보이스 디에이징'으로 구분된다. 페이스 디에이징은 최민식 얼굴에서 주름을 지우고 피부 톤을 보정하는 방식으로 연령대별 차무식 캐릭터를 구현했다. 그뿐만 아니라, 고교 시절부터 대학 시절까지 차무식은 배우 이규형이 연기했는데 30대 이후 차무식과 이질적인 요소를 최소화하기 위해 페이스 디에이징으로 이규형과 최민식의 얼굴을 자연스럽게 연결했다.

또한 <카지노>에서는 보이스 디에이징 기술로 연령대에 맞게 캐릭터의 목소리를 구현해서 섬세함을 높였다. 이를 위해 <서울의 달(1994)>, <파이란(2001)>, <올드보이(2003)> 등 기존에 최민식이 연기한 작품에서 목소리 정보를 수집해서 분석하고 연령대별 목소리 샘플을 만들었다. 이후, 현장 녹음본에 목소리 샘플을 적용해서 보정 작업을 통해 영상 장면과 대사가 자연스럽게 어우러지도록 처리하며 차무식의 젊은 시절 목소리를 완성했다. 보이스 디에이징은 나이와 성별에 맞게 자유로운 목소리 변환이 가능하고 외국어 연기까지 유창하게 구현할 수 있다. 이러한 장점을 <카지노>에 적용하며 세계 최초로 영상 작품에 AI 기반의 보이스 디에이징을 활용한 사례가 되었다.

<카지노>와 유사하게 <KB라이프생명> 브랜드 광고에서는 20대 시절의 배우 윤여정을 다시 만나볼 수 있다. 이 광고는 '인생 여정을 아우르는 서비스 제공'이라는 기업의 메시지를 윤여정의 20대 신인 시절부터 현재까지 모습을 빗대어 타임슬립 컨셉으로 전달한다. <KB라이프생명> 광고는 국내 최초로 AI 기반의 디에이징과 딥러닝 기술을 광고 영상에 활용한 사례이다. 광고에서 윤여정의 젊은 얼굴은 디에이징 기술과 딥러닝을 통해 영화 <화녀(1971)> 시절 얼굴과 현재 얼굴을 섞어서 구현할 수 있었다. 이 광고는 15초 영상과 30초 영상 두 가지 버전으로 올해 1월부터 유튜브에서 노출되고 있는데, 지난 3월 17일 기준으로 영상 조회 수에서 15초 영상 380만 회, 30초 영상 120만 회로 집계되며 500만 회 이상의 누적 조회 수를 기록했다.

<카지노>와 <KB라이프생명> 광고에서 모두 AI 디에이징 기술을 사용하고 있지만 구현 방식에는 차이가 있다. <카지노>에서는 60대 최민식이 연기한 모습에 젊은 시절 최민식의 얼굴을 입혔지만, <KB라이프생명> 광고는 윤여정의 젊은 얼굴과 현재 얼굴을 토대로 새로운 캐릭터를 만들어서 AI 기반의 딥러닝 기술로 완성한 것이다.

3.2. 딥페이크 기술과 디지털 휴먼

딥페이크(Deepfake)는 기존 인물의 얼굴, 신체, 목소리 등을 원하는 영상에 합성하는 AI 기술이다. 이는 딥러닝 기술을 이용한 다층 인공신경망 모델을 바탕으로 기존 영상에서 데이터를 조합하고 심층 기계학습을 실행해서 가상의 영상 편집 합성물을 만들어낸다. 따라서 딥페이크 기술은 기존 영상에서 특정 인물의 외적 정보를 추출-조합-합성해서 원본 대상과 유사한 가상 인물을 만드는데 이를 '디지털 휴먼'이라고 한다. AI로 만들어진 디지털 휴먼이 실존 인물처럼 자연스럽게 구현되려면, 많은 양의 원본 데이터를 상당 기간을 할애해서 딥러닝을 실행해야 한다.

디지털 휴먼은 메타 휴먼, 버추얼 휴먼, 사이버 휴먼 등으로 혼용하는데, 기본적인 생성 방식은 모두 동일하며 개발 엔진과 소프트웨어, 최종 산출물의 텍스처에서 차이가 있다. 대체로 실존 인물을 대상으로 복원한 형태를 '디지털 휴먼', 가상의 멀티버스 환경을 위해 처음부터 제3의 가상 인물로 구현된 형태를 '버추얼 휴먼'이라고 부른다. 영상 미디어에서 AI를 이용한 디지털 휴먼은 주로 이미 세상을 떠난 배우나 아티스트를 복원해서 콘텐츠 제작에 활용한다. 버추얼 휴먼은 가상의 이야기나 세계관을 통해 콘텐츠를 제작할 때 활용한다. 관련 사례로 tvN 예능 프로그램 <회장님네 사람들>과 티빙(TVING) 오리지널 콘텐츠 <얼라이브>를 살펴보고자 한다.

tvN 예능 프로그램 <회장님네 사람들>은 설 특집 방송에서 <전원일기> 인기 캐릭터 '응삼이'를 연기한 배우 故박윤배를 AI 기반 딥페이크 기술을 통해 실시간 인터랙티브가 가능한 디지털 휴먼으로 복원했다. <회장님네 사람들>은 MBC 장수 드라마 <전원일기>를 모티브로 구성한 프로그램인데, 설 명절을 맞아 특집 방송으로 2020년 투병 중에 세상을 떠난 故박윤배를 디지털 휴먼으로 구현해서 다시 만나는 시간이었다. 특집 방송에서는 생전 故박윤배의 모습을 그대로 재현한 디지털 휴먼 박윤배가 동료 배우들과 자연스럽게 대화를 주고받는 인상적인 장면이 연출되었다. 특히 디지털 휴먼 박윤배는 지난 추억을 동료 배우들과 공유하며 재치 있는 농담과 진심 어린 덕담을 건네는 인간적인 면모까지 보여줬다. 이 영상은 방송 직후 다시 유튜브 영상으로 공개되었는데, 공개 4일 만에 누적 조회 수 400만 이상을 기록하며 많은 관심을 끌었다. 故박윤배가 살아 있는 것처럼 디지털 휴먼 박윤배가 실시간으로 자연스럽게 대화를 나누는 장면은 몇 달간의 준비 기간을 거쳐 완성할 수 있었다. 이 프로젝트는 디지털 휴먼 전문 기업 <빔스튜디오>에서 진행했는데, 디지털 휴먼 박윤배는 자체 개발 프로그램 '비엠리얼' 솔루션을 상용화한 최초의 사례이다.

2021년 KCA 방송 프로그램 제작 지원 등을 통해 제작된 티빙(TVING) 오리지널 콘텐츠 <얼라이브>는 AI를 이용한 4부작 음악 프로젝트이다. <얼라이브>는 가수 故유재하와 故임윤택이 다시 무대에서 공연하고 신곡을 발표한다는 소식에 많은 이의 관심을 불러일으켰다. 이 콘텐츠는 지난해 1월에 공개되었는데, 가수 故유재하와 故임윤택을 딥페이크 기술을 이용해서 음성, 페이스, 바디를 디지털 휴먼으로 복원시켜 새로운 음원과 무대를 선보였다. <얼라이브>는 무려 1년 이상의 제작 기간을 투입해서 故유재하와 故임윤택을 디지털 휴먼으로 구현하고 멋진 음악 공연 콘텐츠를 만들 수 있었다.

디지털 휴먼 유재하와 임윤택은 생전 방송 자료(인터뷰, 공연 등)를 AI 학습 데이터로 사용해서 딥페이크 방식을 통해 만들어졌다. 디지털 휴먼 임윤택은 입술을 깨무는 등 생전 故임윤택의 제스처까지 재현하며 실존 인물처럼 구현했다. 그러나 디지털 휴먼 유재하는 생전에 故유재하가 방송 출연을 하지 않았던 탓에 그의 얼굴과 목소리를 구현하는 데 많은 어려움이 있었다. 故유재하의 외형 자료는 고작 20여 장의 사진이 전부였기 때문에 딥페이크로 디지털 휴먼을 구현하기 위한 AI 학습 데이터로는 턱없이 부족했다. 제작진은 차선책으로 故유재하와 가장 닮은 사람을 섭외해서 특수 분장을 시킨 뒤 추가 자료를 수집할 수밖에 없었다. 또한 故유재하의 목소리는 기존 음원에서 악기 소리 등 덧입혀진 소리를 제거해서 목소리만 발췌할 수 있었다.

<얼라이브>는 대형 미디어월을 이용해서 확장현실(XR) 형태로 무대를 구현했고 디지털 휴먼 가수들은 선후배 가수들과 함께 콜라보 무대까지 연출하며 마치 故유재하와 故임윤택이 살아 있는 듯한 착각마저 불러일으켰다. 특히 디지털 휴먼 유재하와 임윤택을 통해 신곡이 발표된 것은 상당히 인상적이었다. 과거에도 AI로 목소리를 복원한 사례가 있었지만, 기존 음악을 모창하는 수준에 그쳤다. 이번 <얼라이브>에서는 최초로 고인의 신곡을 디지털 휴먼으로 선보이는 이례적인 모습을 보였다.

<회장님네 사람들>의 디지털 휴먼과 <얼라이브>의 디지털 휴먼은 동일한 방식으로 제작한 사례지만 서로 미묘한 차이점이 있다. <회장님네 사람들>의 디지털 휴먼 박윤배는 실시간 대화에 초점을 두고 정적인 자세로 상반신을 구현해서 자연스러운 언어와 표정을 재현했다. 한편, 디지털 휴먼 유재하와 임윤택은 공연에 걸맞게 동작과 표현을 중심으로 얼굴, 바디, 목소리 및 음원 등을 복원한 점이 다르다. 두 가지 사례는 다수 대중이 향유하며 동시에 다시 만날 수 없는 희소한 대상을 소재로 삼아, AI 디지털 휴먼이라는 가상 인격체로 재현하여 사실 기반의 휴머니즘 요소를 강화한 것이라고 할 수 있다. <얼라이브>는 최신 기술을 접목한 차별화된 콘텐츠로써 작품성과 대중성을 모두 인정받았다.

3.3. 페이스 에디팅 기술

페이스 에디팅(Face Editing)은 기존의 딥페이크(DeepFake) 기술을 발전시킨 AI 기술로써 이른바 진짜 같은 가짜를 생동감 있게 만들어낼 수 있다. 페이스 에디팅은 AI 모델 학습에서 생성적 적대 신경망(GAN: Generative Adversarial Network)을 사용해서 해당 영상의 각 프레임에 교체할 얼굴을 합성하는 기술이다. 이 기술은 학습 데이터 수집 - 데이터 처리 - 모델 학습(GAN) - 얼굴 교체 과정을 거친 후, 원본 얼굴과 대상 얼굴을 추출해서 분석과 시각화를 바탕으로 완성도 있는 영상을 구현한다.

페이스 에디팅은 tvN 드라마 <나빌레라>에서 최초로 활용되었다. <나빌레라>에서는 스토리 전개와 인물 관계가 '발레'를 중심으로 이뤄지기 때문에 주연 배우들의 발레 장면이 반드시 필요했다. 하지만 배우들은 전문 무용수가 아니기 때문에 발레 연기에서 기술적 동작은 실행하기가 어렵고 실행한다고 해도 어설퍼 보일 수밖에 없다. 이러한 부분을 보완하기 위해 <나빌레라>에서는 'CJ 올리브네트웍스', '스튜디오드래곤', 'CJ ENM'이 협업해서 AI 기반 페이스 에디팅 기술로 배우들이 고난도 발레 동작을 직접 연기한 것처럼 만들어냈다. 이 장면은 대역을 맡은 발레리노의 안무와 주연 배우의 얼굴을 합성해서 구현할 수 있었다. 얼굴은 이목구비는 물론이고 머리 전체 구조와 목 부분까지 합성해서 정교하고 자연스러운 모습을 연출할 수 있었다.