[기획] ICT 신기술과 미디어 산업
실감 콘텐츠화되는정동훈
(광운대학교 미디어커뮤니케이션학부 교수)
출처: Somnium Space and TESLASUIT(https://youtu.be/1BJXHMmpsWI)
시청각에 멈추는 것이 아니라 촉각과 후각적 경험으로 확대하는 것도 숙제다. 장갑과 수트를 통해 전달되는 촉각적 반응을 경험하게 하고, 상황에 맞는 냄새를 제공해서 실제처럼 느낄 수 있는 환경을 만들어야 한다. 즉, 실감 미디어는 사용자가 미디어를 사용하지만 그것조차 잊을 정도로 실감이 나게 만들어야 하고, 이것을 위해서는 인간의 감각을 최대한 활용함과 동시에 인간이 가진 기본적인 속성을 잘 분석해야 한다.출처: 네이버 데이터랩(2021.07.24.)
실감 미디어와 관련하여 메타버스에 대해 우려가 되는 이유다. 그 가능성은 무궁무진하지만, 영화 <레디 플레이어 원(Ready Player One, 2018)>에서 그리는 오아시스가 펼쳐지기 위해서는 너무나 많은 시간이 필요하다. 뉴스나 기업에서 당장에 적용될 것 같이 말하는 기술을 사용자가 기꺼이 사용하기에는 감당하지 못할 큰 장벽이 있다. 몇 가지 사례로 현혹하는 현상에 속지 말고, 당장 사용자 경험을 충족시킬 수 있는 현재의 기술 기반 미디어와 콘텐츠에 더 신경 써야 한다.출처: Unreal Engine(https://youtu.be/NW6mYurjYZ0)
게임엔진은 엄연히 하나의 제작 도구인 만큼 그 자체로 완성물을 가져오기는 힘들다. 가령 가상현실 콘텐츠를 만든다고 할 때, 첫 작업은 모션캡쳐를 통해 표정과 움직이는 모습 등을 촬영하는 것으로 시작한다. 모션캡쳐는 자연스러운 몸짓을 만들어내는 데 필요한 작업이다. <아바타>나 <혹성탈출>, <캣츠>와 같은 영화의 제작 영상을 보면, 가상의 캐릭터를 연기하는 배우의 얼굴과 몸에 무엇인가 잔뜩 부착된 것을 볼 수 있는데 이 장치를 통해 표정과 몸짓을 파악해 원본을 제작한다. 자연스러운 얼굴 모습과 몸짓을 구현했으니 이제 사람 모습이 필요한데, 바로 이 작업을 게임엔진으로 할 수 있다. 아직은 100% 사람의 모습과 똑같다고 말할 수는 없겠으나 매우 사실성이 뛰어나다. 무엇보다 중요한 것은 앞에서 말했듯이 실시간 작업이 가능하다는 것이다. 배우가 짓는 표정을 가상의 캐릭터가 그대로 실시간 구현을 하니 감독은 모니터를 보면서 실시간으로 확인할 수 있다.출처: Intel News(https://youtu.be/G0XUgnPl9KQ)
최근 실사 동영상을 360도 모든 방향의 시점에서 구현하여 이를 영상으로 제공하거나 혼합현실 콘텐츠로 제공하는 볼류메트릭 영상(Volumetric video)을 만드는데도 유사한 방식으로 진행한다. 돔(Dome) 모양의 고정시설에 수십 대에서 수백 대의 카메라가 설치되어 배우의 움직임을 모두 담아내는데, 이를 고스란히 360도 영상으로 제공할 수 있다. 많은 카메라를 설치해야 하고, 카메라를 모두 동기화해야 하며, 실사의 형상이 왜곡되지 않도록 카메라 렌즈의 구성과 배치, 영상 처리 알고리즘을 잘 구성해야 한다. 한 대의 카메라로 렌더링을 할 때 드는 시간을 고려해보면, 수십 대 이상의 카메라로부터 추출하는 볼류메트릭 영상을 처리하기 위해 얼마나 고성능의 컴퓨터가 필요한지 가늠할 수 있을 것이다.출처: Unreal Engine(https://youtu.be/ngudPwaAfIE)
프리비즈를 잘 만들어야 실제 영상을 촬영하는 시간과 비용을 줄일 수 있다. 영화 <존 윅(John Wick: Chapter 3 - Parabellum, 2019)>의 경우 유리로 가득 찬 사무실에서의 격투 장면을 찍기 위해 무대 설치에만 수십억 원의 비용이 들었는데, 이 장면을 위해 제작자는 게임엔진으로 만든 가상현실로 디자인한 영화 세트를 만들었다. 배우들은 가상현실에서 충분히 움직임을 익힌 후 촬영에 임해 단 한 번의 촬영으로 유리로 가득 찬 사무실을 모두 깨부수며 성공적으로 영화 촬영을 마쳤다(정동훈, 2020.7월호). 만일 이러한 장면을 찍는데 사전에 정교하게 만들어진 가상현실 공간에서 연습하지 않았다면, 비싸게 만든 세트를 몇 번이나 다시 지어야 했거나 마음에 들지 않은 격투 장면을 그대로 썼을지도 모른다.출처: XON Studios(https://youtu.be/MCTs42p14LE)
이후에는 평소 스튜디오 촬영처럼, 배우는 아무런 수고 없이, 오직 연기에만 집중하면 되는 것이다. 산을 오를 필요도, 석양을 기다릴 필요도 없고, 기상이변을 걱정할 필요도 없다. 감독은 원하지 않은 배경을 사전에 편집해서 가장 원하는 장면을 만들어 낼 수 있다. 최근 가상 스튜디오와 게임엔진이 만드는 영상 제작 변화의 모습이다.출처: 김래아 인스타그램(https://www.instagram.com/reahkeem/)
메타휴먼 크리에이터로 만든 디지털 휴먼은 사실성이 매우 뛰어나다. 입모양, 입이 움직일 때 얼굴 근육의 움직임, 말을 할 때 머리 부분이 미세하게 움직이는 것조차 신경을 쓰며 제작된다. 중요한 것은 이렇게 디지털 휴먼을 만드는 게 어렵지 않다는 것이다. 클릭 하나로 헤어스타일과 수염, 주름, 나이대 등 눈, 얼굴, 몸 등 모든 것을 마음대로 바꿀 수 있으니 똑같이 생긴 디지털 휴먼은 존재하지 않게 된다. 수십 수백만 명의 디지털 휴먼을 만든다고 해도 모두 다른 생김새를 지닌 디지털 휴먼으로 창조할 수 있는 세상이 된 것이다.출처: Unreal Engine(https://youtu.be/S3F1vZYpH8c)
이러한 세상이 되면 진짜 사람과 가짜 사람의 구분이 무슨 의미가 있을까? 김래아처럼 인공지능으로 목소리를 입히고, 진짜 같은 몸짓을 하게 만든다면, 게다가 내가 좋아하는 이상형으로 만들어진다면, 가상세계에서의 인간관계는 현실과 같이 진보할 것이고, 이러한 관계가 현실과 최대한 유사해질수록 메타버스의 성공 확률은 그만큼 높아질 것이다.Reference