본문 바로가기
서브비주얼

Featured Report

[ 미디어와 엔터테인먼트, 융합의 새물결 ]

방송미디어제작 산업과
게임기술의 융복합

김정환
(동국대학교 영상대학원 영화영상학과 교수)

  • 디지털 기반의 산업사회에서 신기술에 의한 변화는 방송미디어나 영화가 가지고 있는 전통적인 제작 방식이 가상 환경 플랫폼기반의 디지털 통합 시스템으로 변하고 있으며 팬데믹 환경에서 보다 가일층 진화하고 발전하고 있는 상황이다. 여기에 메타버스산업의 중심에서 미디어 플랫폼으로도 진화하는 게임 기술이 모든 산업의 중심에 있다고 해도 과언이 아닐 것이다. 게임 기술은 특히 비주얼 시대의 미디어 산업과 엔터테인먼트산업에 초고화질 그래픽을 실시간으로 구현하고 있는 게임 엔진이 가지고 있는 다양하고 무한한 기술적 확장성 및 그 경제적 파급성으로 방송미디어 산업에서도 매우 중요한 핵심가치로 부상하고 있다. 이 글을 통해 방송미디어제작에 게임 엔진 기술을 응용하고 융복합적으로 반영하고 있는 버추얼 프로덕션(Virtual Production)과 디지털 액터(Digital Actor)의 특징과 현황에 대하여 알아보고자 한다.
  • 1들어가며
    급변하는 미디어산업 환경은 디지털(컴퓨터) 기반의 인터넷(네트워크)을 통한 다양한 미디어 매체의 융합으로 독자적이고 개별적인 고유의 산업으로 명맥을 보전하고 발전하기에는 매우 어려워지는 시대가 되고 있다. 미디어 산업은 디지털기반의 TV방송과 인터넷의 융합인 IPTV, 웹 TV나 스마트 영상 시대로, 소비자(유저, 관객, 시청자) 중심의 OTT시대로 급변하고 있다. 미디어환경의 변화는 소비자의 수용성 변화와 산업사회의 경제적 논리로 제작 환경의 변화를 주도하며 새로운 융복합 미디어산업의 패러다임을 바꾸고 있다. 즉 기존의 일방향적이고 수동적인 미디어 형태에서 양방향적인 인터랙티브(interactive) 중심의 상호작용성은 관객이나 시청자 혹은 사용자(유저)에게 보다 능동적인 참여 형태를 통한 만족도를 향상시키는 산업으로 변화하고 있다.

    이에 기존의 TV와 영화와 같은 전통적인 서사구조 방식의 스토리텔링이 주는 즐거움과 정보의 수동적인 수용을 보다 적극적인 참여 형태의 공간으로 발전시키는 게임 중심의 엔터테인먼트 산업이 다양한 분야에 영향을 미치고 있다. 인터넷의 편이성, 확장성, 보급성, 경제성, 생산성, 신속성 등은 국내 드라마나 영화가 가지고 있는 전통적인 배급이나 상영 방식의 틀을 깨고 네트워크를 통한 OTT에 의해 새롭게 그 가치를 인정받아 신 한류문화를 주도하고 있는 중요한 매개체로 작용하고 있다. 이러한 미디어 산업의 변화로 인해 방송미디어나 영화가 가지고 있는 전통적인 제작시스템에도 새로운 변화가 일어나고 있는데 특히 팬데믹 환경에서 보다 가일층 진화하고 발전하고 있는 상황이다. 여기에 메타버스산업의 중심이자 기술적으로 가장 앞서가는 첨단 게임 산업이 그 중심에 있다고 해도 과언이 아닐 것이다. 이러한 게임 기술을 바탕으로 방송미디어 제작 산업의 핵심 트렌드 기술이라 할 수 있는 버추얼 프로덕션(Virtual Production)과 디지털 액터(Digital Actor) 제작 기술에 대하여 알아보고자 한다.
  • 2 게임 기술
    게임은 기본적으로 놀이문화를 기반으로 발전되어 왔고 상호호환적인 실시간 인터렉티브를 기반으로 하고 있다. 이러한 상호작용성은 여러 분야에서 매우 다양한 형태로 정의되고 해석되고 있는데 양방향성, 신속성, 피드백, 사용자 관리통제, 사용자 활동의 양, 투명성, 폭, 사회적 존재, 인공지능 등의 측면에서 개별적이거나 복합적으로 나타나고 있다. 상호작용성은 컴퓨터 혹은 미디어매체에서 사용자간의 입력에 의해 정보의 쌍방향 소통을 가능하게 하며, 그 가능성을 제공하는 것이라 정의할 수 있다.

    게임 세상 속에서 능동적으로 참여하는 유저(플레이어)의 행위와 반응, 그리고 그들의 행동은 게임 세상 속에서 즉시 결과로 나타나거나 반영된다. 따라서 게임은 기존의 드라마나 영화, 만화, 소설과 같은 일방적인 서사 매체와 가장 크게 구분되는 것인데, 그것은 게임이 주는 양방향성 매체의 가장 큰 매력인 상호작용성 때문이다. 그래서 이야기라는 형식의 구조를 통해 전달되거나 교류되는 감정의 상호작용성은 물론 ‘포인트 앤 클릭’과 같은 간단한 형태의 상호작용성, 그리고 아바타나 이모티콘, 혹은 가상의 캐릭터(Virtual character), 디지털 액터(Digital actor), 메타 휴먼(Meta human) 등)와의 대화가 가능한 분야에 이르기까지 매우 다양한 범위에 걸쳐 나타나고 있다.

    현재 미디어산업에서 가장 많이 언급되는 게임 엔진은 3D게임이 보편화 되면서 게임의 소스 코드를 일반에게 오픈소스로 공개하면서 본격적으로 게임엔진이라는 개념으로 정립되었다. 게임 개발사나 제작사에서 자체적으로 개발하는 경우가 대부분이지만 게임 개발에 필수적인 구성요소들을 담아 판매하는 상용 엔진을 사용하여 개발하는 경우가 많아지고 있다. 상용 엔진은 게임 개발에 소요되는 시간과 비용을 최소화 할 수 있고 해당 엔진이 제공하고 담보하는 최소한의 시각적인 품질을 구현할 수 있다는 것 외에 쉽게 개발 할 수 있는 이점들이 있다. 하지만 개발자가 필요에 따라 특정 부분을 첨삭하여 새로운 형태의 게임개발을 하는 경우 더 많은 시간과 비용이 소요될 수도 있다.

    이러한 상용화된 게임엔진에는 2차원(2D)이나 3차원(3D) 그래픽을 나타내는 게임 구현을 위한 렌더링(Rendering) 기능과 함께 2,3D 공간에서 충돌 감지(Collision Detect) 및 사실적인 물리 효과(Physics Effect)를 내기 위한 충돌 효과나 반응의 물리엔진(Physics Engine), 애니메이션, 각종 개발 도구인 스크립트 작성(Script Editor), 인공지능(AI), 스레드(Thread)1, 장면 그래프(Scene Graph)2, 네트워크(Network), 스트리밍(streaming) 등이 제공되기 때문에 게임을 개발하고자 하는 이용자는 이러한 기능을 응용하거나 적용함으로써 게임 개발 기간과 비용을 획기적으로 줄일 수 있는 특징을 가진다.

    최근 상용 게임 엔진의 경우 무료로 엔진을 제공하거나 라이선스를 판매하는 방식으로, 개발자의 편의와 개발 속도 향상을 위한 스크립트 편집(Script Editor), 레벨 편집(Level Editor, 맵에디터 혹은 시나리오 에디터) 등의 기능들을 제공하며 다양한 계층의 사용자를 위한 미디어 플랫폼산업으로 확장하며 진화하고 있다.

    대표적인 상용 게임 엔진으로 에픽 게임즈(Epic Games)의 언리얼 엔진(Unreal Engine), 유니티(Unity), 크라이 엔진(Cry Engine), 소스 엔진(Source Engine)등이 있다. 특히 게임 엔진은 유동적이고 재활용 가능한 소프트웨어 환경을 제공해주는 점 때문에 게임 제작회사(개발사)가 사용자의 특정한 요구를 수용하여 미리 만들어 제공하는 프로그램으로 ‘게임 미들웨어(game middleware)’라고도 한다. 게임 미들웨어 시스템들은 구성 요소(컴포넌트) 기반의 구조로 구성되어 있어 게임의 특정 시스템을 더 전문적인 미들웨어 구성 요소로 대체하거나 확장할 수 있는데 게임 엔진의 특징을 표로 나타내면 다음과 같다.
    1. 프로그램을 작업을 수행하는 일련의 실행 코드
    2. 게임에서 일반적으로 사용되는 벡터(vector) 기반의 그래픽 데이터 구조




    표 1게임 개발 3사의 게임엔진 특징 비교

    >표 1 게임 개발 3사의 게임엔진 특징 비교

    게임 엔진은 매우 다양한 산업분야에서 사용되고 있는데 방송, 영화, 건축 시각화, 시뮬레이션, 홍보, 공연 등에서 실시간 렌더링 이미지기반의 능동형 상호작용 미디어로 확장되고 있다. 최근 언리얼 엔진의 경우 기존의 일반적인 방송미디어인 풀HD(Full HD)보다 고선명, 고화질(2K이상, UHD, QHD 등 수평해상도 2048 이상, 가변 수직해상도)을 담보로 하는 시네마틱(대형 스크린, 고화질 기반의 영화제작 형식) 버추얼 프로덕션(Virtual Production, 이하 VP), 그리고 디지털 휴먼, 디지털 액터를 재현하는 제작 분야에 핵심 기술로 사용되고 있다. 특히 게임 엔진은 강력한 실시간 렌더링 기술을 기반으로 다양한 물리적 효과와 초사실적 이미지를 제공함으로 시각 중심의 모든 산업 분야에 게임 플랫폼 기반의 미디어 허브역할을 하게 될 것으로 생각한다.


  • 3방송미디어제작 산업에서의 버추얼 프로덕션(Virtual Production)
    드라마나 영화는 기본적으로 세트라는 공간적 구성을 배경으로 시각적 향상과 미학적 가치를 재창출하여 관객에게 내용이나 의미의 전달과 함께 다양한 볼거리를 제공하고 있다. SF나 판타지 장르의 드라마나 영화에서 우리가 실제로 가보지 못한 미지의 세계나 꿈과 환상의 세계를 표현하는 데 있어 컴퓨터 그래픽은 이것을 시각화하여 재현하고 창조하는데 더욱 가속을 받게 되었고 감독이나 방송 프로듀서의 연출에 대한 창의적 표현의 폭은 그만큼 넓어지게 되었다. 1980년대 컴퓨터그래픽의 등장과 함께 드라마나 영화 프로덕션 디자인의 발전은 더욱 향상되었으며, 1990년대 TV 방송에서 선거방송 세트로 활용하기 시작한 가상 세트는 컴퓨터로 생성한 3차원 좌표계(높이, 넓이, 깊이)로 존재하는 세트를 말한다.

    가상 세트는 CG 세트를 스튜디오와 연동하여 나타내는 원리에서 보다 광의적인 방식(실사와 CG의 합성)으로 확대되어 가상 스튜디오(Virtual Studio) 혹은 디지털 스튜디오 (Digital Studio)로 통용되고 있다. 여기에 최근의 버추얼 프로덕션은 스튜디오 혹은 세트장에서 위치센서와 트래킹센서가 장착된 카메라로 실사(주로 배우)와 배경 영상(혹은 플레이트3 영상)이 스튜디오의 LED 월(Wall)이나 그린스크린 혹은 하이브리드 카메라 스크린(Hybrid Camera Screen)에 재현되는 영상을 실시간으로 촬영하거나 후반에서 합성하여 재현하는 기법을 말한다. 이러한 VP 기술의 특징은 대화식/쌍방향성(Interactivity), 공동작업(Collaboration), 반복작업(Iteration), 직관성(Intuitivity), 통합성(Integration), 비선형(Non Linear)의 특징을 가지고 있다.

    1. 플레이트 촬영은 주로 시각효과 작업을 위한 배경이미지나 특별한 효과를 실사로 영상 촬영하는 것을 말한다. 프랙티컬 샷이라고도 하는데 예를 들면 가상의 CG배우가 물에 빠지는 장면을 위해 물이 튀는 장면을 따로 찍어 합성한 요소로 사용되는 이미지를 의미한다.




    사전 작업 과정에서 감독은 스크립트를 바탕으로 자신이 구상하고자 하는 영상을 재현하기 위해 미리 시각적으로 표현할 수 있는 시각화작업을 추구하게 되는데 극의 전체 내용(스타일)을 이미지로 재현하는 것으로 이것은 VP에서 매우 중요한 과정이다. 이 시각화 작업은 역량 있는 미술 감독의 자질과 이를 기술적으로 결합하여 구현할 수 있는 테크니컬 아트 디렉터(TAD)를 통해 영상의 내용을 가상 제작공간에서 미리 구현하게 된다. 이러한 공간의 구성을 CG 공간(가상현실)에 재현하기 위해 건축과 실내 디자인의 기본 지식과 게임 엔진을 이해하는 새로운 크로스오버형 TAD는 VP에서 특히 중요한 역할을 담당하게 된다.

    VP는 작업의 개발단계에서 후반작업에 이르기까지 거의 모든 것을 디지털로 작업하는 과정이고 스튜디오/세트장(특히 센서카메라, 센서조명, CG, VFX, LED 월(LED wall), 실시간 색 조정, 네트워크장비가 구축된 세트)에서 촬영된 실사 영상과 CG 영상의 실시간 상호작용에 관한 것이다. 여기서 VP는 감독이 원하는 공간의 구성과 디자인을 CG로 미리 구현해 낼 수 있고, 아주 적은 비용과 시간만 들여 자유자재로 공간을 제작, 변경, 철거할 수 있다. 한 번 만들어진 3D CG 세트는 물리적인 공간을 차지하지 않기 때문에 경제적으로 고정비와 부대비용을 획기적으로 줄일 수 있으며, 시공간을 초월하여 쉽게 이동과 전달이 가능하고 무엇보다 환경 공해를 줄일 수 있다. 실사의 촬영물이나 배우가 LED 월에서 재현되는 영상을 배경으로 VP의 센서 카메라에 촬영되면 따로 후반작업에서 합성작업 없이 실사 영상처럼 보게 되는 인 카메라 VFX(In Camera VFX, 이하 IC-VFX)시스템은 VP의 핵심기술이다. 여기서 중요한 것은 LED 월과 카메라의 연동을 통한 실사촬영방식이다. 이것은 곧 드라마나 영화에 공간의 구성, 화면의 깊이와 구도를 표현하는 미학적 표현(미장센4)방식이기도 한데 이것을 정확하게 일치시키고 구동시키는 것이 버추얼 프로덕션의 핵심 기술이고 게임 엔진이 처리해야 하는 기술적인 실시간 영상처리 및 합성, 실시간 렌더링, 라이팅, 이미지 프로세서, 색 일치 등의 부가적인 기술 요소들이 합쳐 나오는 첨단 테크노아트라 할 것이다.
    1. 미장센(mise en scene)은 연극무대에서 연출의 의미를 가지고 있고 연극과 영화 등에서 연출가가 무대나 프레임 영상에 모든 시각적 요소들을 구성하고 배열하는 작업을 말한다.




    디즈니+(Disney+)에서 2019년 11월부터 방영된 <The Mandalorian> 시리즈는 미국의 스페이스 오페라 드라마의 특징을 최대한 실감나게 표현하기 위해 프로젝트의 특성에 맞는 VP시스템을 사용하였다(그림1). 2016년 <Rogue One>과 2018년 <Solo: A Star Wars Story> 두 편의 영화제작에서 럭스마키나(LuxMachina)5는 버추얼 프로덕션 시스템을 위해 사전제작 및 실시간 프로젝션 추적 기술에 디스가이즈(Disguise)를 사용하였다. 디스가이즈는 <The Mandalorian> 시리즈에서 LED 월과 천장의 LED 조명은 배경의 실루엣이나 하늘의 무드를 실시간으로 바꿀 수 있고, 화면 속의 물체에 자연스러운 반사값과 특히 카메라의 움직임에 맞춰서 시차를 계산하여 정확하게 카메라의 위치에서 바라보는 원근 배경을 렌더링하는 기술을 구현하는 특징을 제공하고 있다.
    그림 1언리얼 엔진을 사용한 영화 <The Mandalorian> 버추얼 프로덕션 시스템 제작과정

    그림 1 언리얼 엔진을 사용한 영화 <The Mandalorian> 버추얼 프로덕션 시스템 제작과정 출처: https://www.reddit.com/r/StarWars/comments/etctfm/behind_the_scenes_of_the_mandalorian_using_unreal

    1. 미국 LA 소재, 버추얼 프로덕션 시스템과 디스플레이 기술, InCamera VFX 기술을 개발 판매하는 회사로 한국의 덱스터 D1 스튜디오의 협력사이기도 하다.




    방송미디어나 영화 제작 시스템에서 보듯이 최종 상영/방영 시스템을 충족할 수 있는 고화질의 높은 이미지 해상도를 실시간으로 처리하기 위한 기술 방식은 매우 세밀하고 치밀한 공정 과정을 거치게 된다. 실사(캡쳐 이미지, 일반적으로 4K)와 배경 푸티지(특정한 장면이나 영상화면, LED 월의 경우 최대 12K 해상도)의 정확한 화면의 이미지 동기화를 위한 싱크(synch)나 젠락(Genlock)6, 이미지 프로세서 사항, 스튜디오 조명 등과 함께 배경 영상의 자연스러운 IC-VFX(InCamera VFX) 재현을 위해서 실제 현장의 많은 테스트시간을 필요로 한다(그림 2).

    VP의 높은 초기 투자비용이 포함된 고액의 사용(임대)료를 감안한다면 현장 테스트에 많은 시간이 필요한 것은 결코 베리어프리 제작 방식은 아니다. 이에 대한 대안으로 그린 스크린을 스튜디오에 소규모의 LED 월과 함께 사용할 수 있는 하이브리드 카메라 스크린 방식을 사용하여 부분 후처리방식으로 제작하기도 한다.
    그림 2Unreal Engine과 Epic Games로 광범위한 버추얼 프로덕션 스튜디오에서 IC-VFX 시스템 적용

    그림 2 Unreal Engine과 Epic Games로 광범위한 버추얼 프로덕션 스튜디오에서 IC-VFX 시스템 적용 출처: https://www.epicgames.com/site/en-US/news/unreal-engine-4-27-is-now-available

    1. 서로 다른 영상 신호들을 조합할 때 영상 신호의 주파수와 위상을 일치시키는 장치




    그림 3에픽게임즈의 언리얼 엔진을 이용한 일반적인 Virtual Production 작업 공정도

    그림 3 에픽게임즈의 언리얼 엔진을 이용한 일반적인 Virtual Production 작업 공정도 출처: https://www.epicgames.com/site/en-US/news/unreal-engine-4-27-is-now-available

    VP 제작 공정도인 그림 3을 살펴보면 개발단계에서 스크립트가 나오면 사전제작단계에서 스크립트 브레이크다운(Script Breakdown)7을 바탕으로 사전시각화 작업인 컨셉 아트와 시각화(프리비즈, 애니메틱스) 과정을 통하여 제작 방식의 모든 것이 기술과 예술을 결합한 형태를 갖추게 되고 본격적인 제작이 시작 된다. 공정도에서 보듯이 스튜디오의 실사 촬영과 가상의 CG 영상을 실시간으로 생성하는 컴퓨터 시스템에 의지하는 비중이 높고 VFX와 밀접한 상호관계를 가지고 있어 시각효과 감독(VFX Supervisor)의 역할과 비중이 프로덕션 디자이너보다 큰 것을 볼 수 있다. 따라서 CG를 사용하는 VFX의 비중이 많은 작품의 경우 VFX 슈퍼바이저가 전체적인 미술을 코디네이터 할 수 있는 시스템이 오히려 시각화 작업을 더욱 원활하게 진행하고 처리할 수 있어 할리우드에서는 VFX감독이 미술의 역할을 겸하기도 한다.
    1. 스크립트(대본)에서 각각의 장면을 카메라의 시점으로 장면을 나누어 묘사하는 작업




    그림 4언리얼 엔진의 VP, IC-VFX(InCamera VFX) 하드웨어 시스템 워크플로우

    그림 4 언리얼 엔진의 VP, IC-VFX(InCamera VFX) 하드웨어 시스템 워크플로우 출처: https://docs.unrealengine.com/4.27/en-US/WorkingWithMedia/IntegratingMedia/InCameraVFX/InCameraVFXRecommendedHardware/

    그림 4에서 보듯이 언리얼의 IC-VFX 프로덕션 테스트 프로젝트를 통한 멀티유저 nDisplay 시스템8은 감독이 원하는 샷을 구현하기 위해 마무리 작업을 하는 단계에서 LED 프로세서에 렌더링 된 이미지에 컬러 그레이딩을 세밀하게 조정하는 방법과 같은 고급 기술(카메라 트래킹, 렌더링, 젠락, 네트워킹 등)을 제공하고 있다. 촬영감독과 조명 스태프가 라이팅 변경을 원할 때를 대비하여 신속히 대응하여 구현 가능한 GPU(Graphics Process Unit) 라이트매스로 수정하는 기능을 제공한다.
    1. 언리얼 게임엔진에서 제공하는 그래픽처리기술로서 네트워크 환경 설정 데이터, 디스플레이 장치의 세부 정보, 렌더링 분산, 대형 표면 및 스크린의 영상 재현을 위한 대용량 다중 렌더링 실시간 처리기술.




    또한, 아티스트와의 원활한 협업을 위해 언리얼 엔진의 버추얼 프로덕션 프로젝트의 구조를 설계하는 방법, 정확한 색상 보정을 위해 OpenColorIO(OCIO)9를 구성하는 방법 그리고 프로덕션 테스트 영상을 촬영했던 미국 낸트스튜디오(NantStudios)의 LED 촬영장에서 사용된 멀티 GPU(mGPU)의 nDisplay 환경설정과 같은 기술적인 기능을 위와 같은 워크플로우로 제시함으로 VP의 기술적인 해결책을 제공하고 있다.

  • 4 게임 기술을 활용한 디지털 액터(Digital Actor)
    디지털 휴먼(Digital Human)이란 광의적인 의미로 실제 사람과 같이 생동적인 것을 디지털로 창조하여 인지적으로 상호작용이 가능한 가상의 인간을 말하며, 디지털 액터는 말그대로 디지털 휴먼에서 창조되어 배우로 특화된 디지털 배우를 뜻한다. 그 외 디지털로 창조된 개성 있는 생명체의 경우 씬세틱 캐릭터(Synthetic Character)라고 하거나 사이버 캐릭터(Cyber Character)라고도 하고, 그 외의 일반적인 생명체를 총칭하여 디지털 크리에이터(Digital Creator)라고 한다. 시각효과 분야에서 기술적으로 재현하기 가장 어려운 부분이 디지털 액터 분야이다. 액터의 감정 연기는 결국 얼굴과 몸동작을 통해 표현되는데 사람마다 모두 다 다른 행동양식과 심리학적인 기반의 미세한 감정을 나타내기 때문이다. 디지털 액터란 실제 배우와 동일한 수준의 외형과 동작 표현을 구현할 수 있는 컴퓨터 그래픽(CG) 캐릭터를 의미한다. 이러한 고난도의 CG 기술을 담보로 하여 대형 스크린에 고화질로 등장하는 디지털 액터를 표현하는 것에 많은 기술적인 난관, 특히 ‘불편한 골짜기(uncanny valley)’ 현상을 극복하고자 노력하고 있는 실정이다.

    1. 미국의 ASWF(Academy Software Foundation)에서 시네메틱(대형 스크린, 고화질 기반의 영화제작 형식)을 목표로 하는 시각효과 및 컴퓨터 생성 이미지 중점의 이미지를 위한 오픈소스 기반의 색상관리/해결 기술




    디지털 휴먼을 제작하고 표현하는 방식에도 많은 부분이 있다. 극 사실적인 드라마나 영화에서 서사기반의 내러티브를 감정으로 표현해내는 디지털 액터는 실제 배우를 디지털 카메라로 360도로 캡쳐하여 3D로 생성하는 볼륨메트릭(Volumemetric), CG 환경에서 3차원 좌표에서 점, 선, 면으로 생성하는 3D 휴먼 모델, 컴퓨터로 다양한 인간의 데이터 라이브러리를 분석하고 제시한 것을 가공하는 형태로 생성하는 뉴럴 휴먼 렌더링 기술 등이 있다.

    디지털 액터의 생성 기술은 4차 산업 혁명의 시대에 인간의 능력이 가지고 있는 많은 장점과 단점을 극복하고자 인공지능을 기반으로 하여 개발이 되고 있다. 특히 방송과 영화산업에서 게임 기술을 접목하여 디지털 액터가 가지고 있는 다양한 기술적인 한계를 극복하기 위해 딥 러닝을 통한 인공지능이 인간 고유의 감성과 감정표현을 위해 많은 대체 기술과 융복합 기술을 응용하고 있다.

    인간의 다양한 심리적 분석과 인간행동 심리분석을 근거로 감성 연기를 이해하고 이것에 딥러닝과 음성인식, 음성 재현, 동작제어 및 표현, 오감 표현 등을 기술적으로 표현하는 영역이 디지털 휴먼이다. 따라서 디지털 휴먼에서 파생되는 디지털 액터를 창조하는 영역은 단순한 게임 산업에서 게임 기술이나 미디어 기술 영역에 국한되는 것이 아니라 인문학과 예술, 의학, 과학 등 모든 학문분야에 걸쳐 생물학적인 인간을 창조하는 이상적인 영역으로 접근해야 하는 분야이다.

    현재 디지털 액터는 특정 드라마나 영화가 개발되고 제작될 때 그에 맞게 맞춤형으로 제작되고 있으며 광고·공연 등에서도 활발하게 나타나고 있다. 이러한 다양한 미디어를 위한 디지털 휴먼 기술개발은 많은 분야에서 연구개발되고 있는데 그 중심에 유니티와 에픽게임즈의 게임 기술이 있으며 이외에 프랑스 파리에 기반을 둔 에이스코(Eisko)10 회사가 초사실적인 디지털 더블을 개발 판매하고 있다(그림5).
    1. https://www.eisko.com/




    그림 5유니티와 언리얼의 게임 엔진을 사용하여 제작된 디지털 배우와 메타 휴먼

    그림 5 유니티와 언리얼의 게임 엔진을 사용하여 제작된 디지털 배우와 메타 휴먼 출처: https://beforesandafters.com/2021/02/18/watch-this-40min-demo-on-how-to-use-metahuman-creator/

    VP에서 재현하는 다양한 영상에 가상 휴먼, 디지털 액터는 시청자나 관객에게 내용(의미) 전달에 매우 중요한 역할을 하는 캐릭터로 등장하게 되는데 개발단계에서 컨셉 아트와 함께 사전시각화 작업의 일부분으로 버추얼 스카우팅(virtual scouting)작업을 하기도 하다. 캐릭터의 외형적 신체(얼굴, 몸, 의상, 분장, 미용, 소품 등)와 내면적인 성격의 표현을 위한 표정과 몸의 움직임(제스츄어)은 작품의 성패를 결정 짓는 매우 중요한 부분이다. 이러한 기술적인 것을 해결하기 위해 다양한 첨단 디바이스가 동원된다.

    3D 캡쳐 카메라나 레이져스캐너 등은 캐릭터의 시각화를 위해, 그리고 캐릭터의 동작을 표현하기 위해 실제 사람의 움직임을 캡쳐하기도 하는데 미세한 감정표현을 위한 얼굴부분은 페이셜 캡쳐, 몸동작은 모션 캡쳐를 사용하기도 한다. 이와 함께 사람 외의 다른 창작물(생명체나 피조물, 크리쳐)은 보다 세밀한 리깅(rigging)11이나 애니메이션작업을 통해 극의 완벽한 배역을 표현하게 된다.
    1. 디지털 애니메이션에서 캐릭터의 골격을 구성하고 관절의 움직임을 가하는 작업




    그림 6언리얼 엔진을 사용한 메타 휴먼 생성 및 표정 관리용 인터페이스

    그림 6 언리얼 엔진을 사용한 메타 휴먼 생성 및 표정 관리용 인터페이스 출처: https://beforesandafters.com/2021/02/18/watch-this-40min-demo-on-how-to-use-metahuman-creator/

    버추얼 프로덕션 환경에서 특히 언리얼 엔진은 메타 휴먼을 보다 쉽게 접근할 수 있도록 초 사실적인 실시간 이미지 재현(렌더링) 기술과 방대한 라이브러리에 기 구축된 다양한 메타 휴먼을 쉽게 조합하고 재창조할 수 있는 기능 제공, 그리고 다양한 표정을 쉽게 구현할 수 있는 사용자 편의성(UI/UX)을 제공하고 있어 디지털 액터 분야에 급속한 진전을 보게 될 것으로 기대한다(그림 6).
  • 5마치며
    현재 게임 기술의 핵심을 이루는 것은 실시간(Real-Time), 상호교류(Interactivity), 인공지능(Artificial Intelligence), 센서 기술(Sensor Tech), 이동 기술(Mobile Tech), 통합 메시지 서비스(Unified Messaging Service), 초사실적 그래픽 이미지(Hyper-realistic Graphics Image) 등이다.

    게임 산업은 이전의 게임 기술들을 통합하면서 진화해왔던 것처럼 현재의 게임들은 보다 더 발전된 융복합형 컨텐츠 서비스를 제공하는 미디어 허브로서의 플랫폼 형태를 지향하게 될 것으로 보인다. 게임 기술의 진화, 그것은 앞으로 메타버스시대의 통합된 방송미디어 컨텐츠 제작 기술의 모습을 미리 보여주는 중요한 단서들을 제공해 주고 있다. VP의 시스템 구성과 설치비용, 제작방식에 과다한 비용 소모, 또는 관련 제작의 인프라 부족 등으로 그 자체가 지니는 무한한 잠재력과 파급력이 제약 받고 있는 것이 현실이다. 하지만 버추얼 프로덕션이 실사 촬영의 제한과 미술관련 제작비의 절감과 함께 보다 창의적인 공간 미술의 무한한 제공 효과, 그리고 부대비용을 획기적으로 줄일 수 있는 것과 다양한 극사실적 디지털 액터 등의 사용 영역의 확장성이 증명되고 있어 이와 관련된 기술은 더 많은 제작 현장에 사용될 것이기 때문이다.

    우리나라의 VP 기술은 사전제작시스템과 시각효과(VFX) 산업의 발전으로 할리우드 영화에서 보는 것과 거의 같은 수준의 작품으로 증명되고 있다. 이미 많은 콘텐츠에서 과거의 크로마키(녹,청색 스크린) 기법으로 시작하여 이제는 VP에서 가상의 디지털 배우나 피조물들을 출연시키는 고도의 기술력을 겸비한 VFX 제작사인 웨스트월드의 <스위트 홈>과 <고요의 바다>, 위지윅스튜디오의 <승리호>와 <물괴>>, 덱스터의 <신과 함께>시리즈, VA 코퍼레이션등의 회사들을 통해 확인할 수 있다. 하지만 VP나 디지털 액터의 제작과정에서 나타나는 기술적인 난제이자 풀어야 할 과제도 상당 부분 존재하다 보니 쉽게 접근하지 못하는 것도 현실이다. VP 의 경우 고가의 하드웨어와 소프트웨어의 IC-VFX용 촬영/조명 기자재 및 관련 기술, 코덱 및 시그널 처리 기술, 실시간 렌더링 기술, 이미지 프로세싱 및 싱크/젠락 기술, 색일치/리타겟팅 기술, 캘리브레이션 기술 등 소프트웨어의 지나친 해외 의존 문제를 해결하기 위한 기술개발과 극사실적인 디지털 액터 개발을 위한 크로스오버형 인재 (특히 테크니컬 아티스트와 AI 프로그래머, 딥러닝, 카메라 연기연출 등) 교육은 게임 기술을 활용한 첨단 융복합 미디어산업을 위한 온톨로지(Ontology) 기반조성사업상 매우 중요한 과제이다.

    스크립트 작가, 컨셉 아트, 영상 디자이너, 음향 전문가, 프로그래머 등이 협동 작업에 의해 일을 수행하는 게임 분야와 종합예술(문학·음악·건축·회화·연극·영화·무용·공연 등)그리고 과학기술이 결합하는 방송미디어분야의 제작에 필요로 하는 인재 양성은 단순히 기술 인력의 확보만으로 발전되는 것이 아니다. 기술력을 확보하고 있다고 해도 기획이나 이야기가 부실하면 실패할 수 있고, 기획이나 이야기가 좋아도 기술력이나 그것을 표현해 내는 종합미술이 따라주지 못하면 실패할 수도 있다. 즉, 종합예술이라는 방송미디어나 영화 영역은 그만큼 많은 각계각층의 다양한 인재들이 융합하여 표현되는 영역이기에 통합형 테크노아트 거버넌스에 의해 대책을 마련해야 할 것이다.

    플라톤은 환상을 만드는 것이 예술이라고 표현하였지만 우리가 추구하는 철학적 미학적 관념의 이미지 추구를 만족할 수 있는 것과 인간의 도구적·미술적 욕망을 채워 줄 수 있는 것은 결국 시뮬라르크적인 상상력과 그것을 뒷받침하는 과학기술로 파생된 디지털 도구와 기술들을 얼마나 유연하고 유기적으로 신속하게 대처하고 또 창의적으로 활용하느냐 하는 것이다.

  • Reference

    1. 가상현실 환경에서 디지털캐릭터의 등장배경 및 제작환경 분석 비교연구, 김정환, 영화연구, 2000, 15, pp.385~417
    2. 게임형식 기반의 인터랙티브 영화스토리텔링 개발에 대한 연구, 김정환, 영화연구, 2014.12,(62) pp.25~49
    3. 영화제작에서 가상 세트와 디지털 스튜디오의 기술 변화 연구, 김정환, 영화연구, 2008, 9,(37) pp.61~84
    4. 영화영상제작에서 사전 시각화를 위한 애니메틱스 연구- 2D, 3D 애니메틱스 소프트웨어 비교 분석을 중심으로, 관택붕.김정환, 영상문화콘텐츠연구, 2019, 17, 239~259
    5. 효율적인 CG 제작을 위한 VFX 슈퍼바이저의 역할 연구: 장편영화 <엑시트>의 제작사례를 중심으로, 정군.김정환, 영상문화 콘텐츠연구, 23집, 2021, pp. 117~142
    6. Unity 3D 게임 엔진을 이용한 슈팅 게임 설계 및 개발, Bae,JaeHwan, 2016, vol.29, no.1, pp. 93-100
맨위로