탐방 리포트

Field Report메타버스 시대를 이끌
차세대 미디어 제작방식 ‘버추얼 프로덕션’

대담자 : 김세규(비브스튜디오스 대표)
글 : 박종진(전자신문 기자) / 편집: 김민정(KCA 방송통신기획팀) / 사진: 비브스튜디오스 제공

• 버추얼 프로덕션 기술을 활용한 콘텐츠 제작 수요가 늘어나며 메타버스 콘텐츠 등 제작에 최적화된 버추얼 스튜디오가 주목받고 있다. 비브스튜디오스의 ‘곤지암 스튜디오 VIT’, 브이에이코퍼레이션 ‘브이에이 스튜디오 하남’ 등이 대표적이다. CJ ENM은 올 11월 완공을 목표로 파주 콘텐츠 스튜디오 단지 내 ‘버추얼 스튜디오’를 별도로 구축하는 중이다. CG 촬영을 넘어 메타버스 시대의 성장동력으로 각광받는 버추얼 프로덕션 전문 기업 ‘비브스튜디오스’ 김세규 대표를 만났다.
• 1버추얼 프로덕션으로 세상 모든 장소를 디지털 아카이빙하다.
  가상현실(VR)·증강현실(AR)·혼합현실(MR)·확장현실(XR) 등 가상세계 구현 기술과 5세대(5G) 이동통신 등 IT 기술이 발전하면서 콘텐츠 제작 환경도 변화하고 있다. 영화·방송의 제작을 위해 제작인력이 촬영지로 이동해야 하는 현장 로케이션 촬영이 지닌 제약도 새로운 기술의 힘으로 극복할 수 있게 되었다. LED 월을 활용하여 마치 다른 장소에 있는 것과 같은 환경을 만들 수 있는 버추얼 프로덕션 기술로 촬영지의 시간과 공간을 원하는 대로 바꾸는 일이 가능해졌다. 또한, 버추얼 프로덕션 기반의 메타버스 콘텐츠 제작에 대한 수요가 늘 것으로 예상되면서 버추얼 프로덕션 전문 스튜디오가 주목을 받고 있다.
  
  비브스튜디오스는 3D CGI(Computer-Generated Image)와 VFX(Visual Effects) 기반 버추얼 프로덕션 기술을 바탕으로 영상콘텐츠를 제작하는 컴퓨터 그래픽 통합 솔루션 기업이다. 아시아 최초로 LED 월로 사방을 두른 스튜디오에서 순식간에 촬영장소를 바꾸며 미디어 콘텐츠를 제작할 수 있는 컴퓨터 그래픽 통합 솔루션을 개발했다. ‘VIT(VIvestudio Immersive Technology)’라고 칭하는 고유의 기술 솔루션을 통해 영상 촬영과 제작 환경의 변화에 획기적인 성과를 거두고 있다. 세계 유수 영화제에서 수상하며 기술력과 콘텐츠 기획력 또한 인정받은 VR 영화 <볼트(VOLT)> 시리즈와 지난해 MBC에서 기획한 VR 다큐멘터리 <너를 만났다>도 비브스튜디오스에서 제작했다. 국내 버추얼 프로덕션의 현주소를 보여준 비브스튜디오스 김세규 대표를 만나 기업이 걸어온 길과 이 분야의 전망에 대해 이야기를 나눴다.

  

  Q. 비브스튜디오스의 핵심 사업에 대한 소개를 부탁드립니다.
  
  A. 간단히 설명드리자면 비브스튜디오스는 버추얼 프로덕션 전문 스튜디오로 컴퓨터 그래픽 통합 솔루션 기술 ‘VIT(Vivestudios Immersive Technology)’을 활용하여 VR/AR 영상콘텐츠, 디지털 휴먼 등을 제작하고 있습니다. 아시아 최초로 버추얼 프로덕션 작업에 필요한 수많은 소프트웨어와 하드웨어를 실시간으로 통합 제어할 수 있는 솔루션을 개발하여 활용하고 있습니다. 기술 솔루션을 제공할 뿐만 아니라 기획-제작-촬영-편집-후반작업에 이르기까지 콘텐츠를 만드는 전 단계의 역량을 보유하고 있습니다. 약 20년 가까이 미디어 콘텐츠를 제작한 경험과 노하우를 바탕으로 향후 시청자가 메타버스 속에서 향유하는 콘텐츠도 완벽하게 구현할 수 있는 스튜디오를 지향하고 있습니다.

  

  현재 저희 비브스튜디오스는 메타버스를 구현하기 위한 밸류체인의 전 단계를 아우르는 사업을 수행하고 있습니다. 단순히 메타버스 구현 기술을 가진 것이 아니라 영상콘텐츠로까지 구현하여 제작하는 스튜디오입니다.
  
  대표작으로 <볼트(VOLT)>라는 VR 영화를 만들었는데, 이 작품은 국내 VR 작품으로는 최초로 미국에서 VR 애니메이션 부문 최고상을 수상했고, 선댄스 영화제에 초청받기도 했습니다. 가장 널리 알려진 건 지난해 방영된 MBC 다큐멘터리 <너를 만났다>였던 것 같습니다.
  
  Q. 지난 해 화제가 되었던 MBC의 VR 다큐멘터리 <너를 만났다>로 비브스튜디오스를 알게 되었습니다. 제작에 참여하게 된 계기가 있나요?
  
  A. MBC 기획 프로듀서(PD)에게 처음 연락이 왔을 때, 기획의도를 설명하시는 데 취지가 좋은 프로그램이라고 생각했습니다. 기술을 구현하는데 일부 제약이 예상됐지만 제작에 참여하기로 결정했습니다. 그러나 사실 아쉬움이 많이 남는 프로젝트였습니다. 제작비가 한정되어 있던 탓에 VR 영상과 디지털 휴먼 구현 작업에 있어서 비브스튜디오스의 역량을 100% 발휘하여 최상의 퀄리티로 만들어내지는 못했습니다. 방영하기 직전까지만 해도 걱정과 노파심이 컸습니다. 하지만 <너를 만났다>를 제작하면서 비브스튜디오스가 새로운 영역에 도전하고 성장할 수 있는 기회를 분명히 얻을 수 있었습니다. 당시는 VR 미디어 콘텐츠에 대한 수요가 줄어들던 시기로 저희가 가진 역량을 보여줄 수 있는 기회가 필요하던 때였습니다. 덕분에 비브스튜디오스가 가진 스토리텔링 역량과 우수한 기술력, 디자인 등을 방송으로 보여줄 수 있었습니다.

  

  Q. 버추얼 프로덕션이 CG 작업 등 기존의 영상 제작과 구분되는 점은 무엇인지요?
  
  A. 버추얼 스튜디오는 LED 월을 활용한 스튜디오에서 VIT 솔루션 기술을 기반으로 어떤 공간이든 구현할 수 있습니다. 여러 CG 기술과 물리 엔진을 하나로 통합하는 솔루션을 개발하여 기존의 CG 제작 촬영 방식의 한계를 뛰어 넘어 영상을 제작합니다. CG는 실사를 바탕으로 한 것과 그렇지 않은 것이 있는데 상황에 따라 적절한 방식을 사용하게 됩니다. 그런데 어떤 방식이라도 CG는 후반작업이 필수입니다. 연기자들이 거대한 초록색 크로마키 앞에서 수백 개의 센서와 카메라를 달고 촬영하는 것을 보셨을 겁니다. 이 촬영으로 얻은 데이터를 가상의 배경과 연결하여 붙이는 후반작업을 합니다.

  

  촬영보다 더 많은 시간이 소요되는데 버추얼 스튜디오에서 VIT를 이용하면 후반작업 기간을 대폭 줄일 수 있습니다. 예를 들어 예전에는 촬영 현장에 설정된 배경 세팅에 다른 요소를 추가하거나 수정하기 위해서는 텍스처 매핑¹처리를 새로 해야 했습니다. VIT를 활용한 버추얼 프로덕션은 기존 후반작업에 해당하는 CG 작업과정 없이 현장에서 바로 확인할 수 있어 작품의 완성도를 높일 수 있습니다.
  1. 3차원 공간에서 완성된 모델에 사실감을 부여해주기 위한 3D 모델링 기법으로 완성된 모델링 데이터에 원하는 재질을 부여하여 사실적이고 정교한 모델 표면을 만듦
• Q. 구체적으로 버추얼 프로덕션으로 영상 촬영·제작 시 장점을 설명해주신다면요.
  
  A. 버추얼 프로덕션은 시공간 제약이 전혀 없다는 게 강점입니다. LED 월을 활용하여 환경을 구현하기 때문에 실시간으로 설정 변경이 가능해 실제 촬영 현장에 가까운 장면을 즉각 연출할 수 있습니다. 실시간으로 장소와 관련한 설정을 변경하는 게 가능하기 때문에 조명과 반사각을 조절하거나, 구름이 낀 흐린 날씨, 비가 내리는 날씨, 태양이 내리쬐는 날씨도 마우스 커서 몇 번으로 바꿀 수 있습니다. 공간 자체를 자유자재로 바꾸는 것도 10분이면 충분합니다. 저장해 놓은 배경만 있으면 되기 때문에 10분이면 전 세계 어디든 스튜디오로 옮겨 놓을 수 있습니다. VIT는 LED 월에 투영되는 그래픽을 자유롭게 조절할 뿐만 아니라 카메라 워킹에 따라 배경도 움직일 수 있도록 하여 마치 현장에 있는 것 같은 생생한 장면을 만들 수 있습니다.
  
  초록색 크로마키 스크린을 활용하는 기존 CG 기법과 비교하면 연기자나 스태프가 현장에서 실시간으로 변화하는 CG 결과물을 확인할 수 있다는 장점이 있습니다. 연기자가 초록색 허공을 보고 연기를 하고 따로 촬영을 한 장면을 배경 화면에 합치는 게 아니라 미리 배경을 준비하고 연기자가 그 속에서 연기를 할 수 있습니다. 주변 상황에 더욱 몰입해 연기를 할 수 있고 보다 섬세한 교감과 표현으로 퀄리티가 높은 결과물을 만들어낼 수 있습니다.

  

  Q. 기존의 촬영·제작 환경보다 시간과 비용 측면에서 훨씬 효율적일 것 같습니다.
  
  A. 맞습니다. 촬영 시간부터 제작 과정 전 단계에 소요되는 비용과 시간을 획기적으로 절감할 수 있습니다. 비브스튜디오스가 자체 제작한 영화 <더 브레이브 뉴 월드(The Brave New World)>를 예로 들면 평균 영화 촬영일 대비 최대 10분의 1까지 촬영 기간을 줄였습니다. 원래 영화 속 로케이션 장소가 7~8곳이었고 촬영 회차로는 30회에 달하는 기간이 필요했습니다. 아일랜드 해안 절벽을 배경으로 한 장면까지 있었으니 기존 촬영방식이었다면 해외 로케이션 촬영을 포함해 2달 정도 걸릴 것으로 예상됐었습니다. 하지만 VIT를 활용한 버추얼 스튜디오 촬영으로 일주일도 채 걸리지 않았습니다.
  
  버추얼 프로덕션은 실시간 VFX로 가상환경을 바로 구현할 수 있습니다. 즉, 시공간 구애를 받지 않고 작업 효율성을 극대화할 수 있어 차세대 메타버스 제작 솔루션으로도 주목받고 있습니다.
• 2버추얼 스튜디오에서 메타버스 공간을 만들어 채우다.
  Q. 버추얼 프로덕션으로 어떻게 메타버스를 구현하는지 궁금합니다.
  
  A. 메타버스는 가상공간이지만 현실세계와 유사합니다. 움직이는 것과 움직이지 않는 것을 나누어 세부 요소를 배치하고 구조를 만들어내는 방식으로 메타버스 공간을 만들어내고 있습니다.
  
  Q. 버추얼 프로덕션으로 메타버스를 구현하는데 필요한 핵심 기술은 어떤 게 있나요.
  
  A. 이용자 관점에서, 영상 등 많은 정보를 실시간으로 제공하기 위한 대규모 데이터 처리가 가능해야 합니다. 즉 이용자 디바이스가 많은 데이터를 빠르게 실시간으로 처리해 콘텐츠를 이용자가 즐길 수 있도록 지원해야 합니다. 그리고 VR이나 메타버스 공간에 특화된 콘텐츠 시청을 위해서는 이용자가 디바이스를 착용했을 때 편하고 장시간 사용해도 문제가 없어야 합니다. 이용자의 손동작을 감지하여 이용자가 메타버스 공간과 상호작용할 수 있도록 하는 ‘핸드트래킹’도 고도화되어야 합니다.
  
  가상세계의 나를 표현하기 위한 디지털 휴먼 기술도 필요합니다. 너무 게임 같지 않으면서 어설프지 않고 마치 사람같도록 메타버스 공간 내에 구현하는 것이 매우 중요합니다. 이외에도 데이터를 최적화하는 리얼타임 3D 제작 기술과 디자인이 필요합니다. 메타버스 환경을 구현할 3D 에셋(3D Asset)을 제작해야 하고, 공간·건축·게이밍·디지털 휴먼을 구현할 수 있는 디자인 기술이 필요합니다.
  
  Q. 메타버스에 기반한 버추얼 프로덕션 제작 사례를 소개해주신다면요.
  
  A. 최근에는 SK텔레콤과 메타버스 플랫폼 ‘이프랜드’를 출시하는 등 본격적인 메타버스 사업에 뛰어들었습니다. 양 사가 맺은 기밀 유지 협약 때문에 구체적으로 말할 수는 없지만 일부 말씀드리자면 SK텔레콤 ‘이프랜드’의 컨셉아트와 3D 에셋 개발에 비브스튜디오스가 참여했습니다. 앞으로도 SK텔레콤과 메타버스 사업 전반에 협업할 계획입니다. 또 다른 사례를 말씀드리자면, Mnet의 ‘2020 아시안 뮤직 어워즈(MAMA)’에서 부상으로 무대에 오르지 못한 방탄소년단(BTS) 멤버 슈가의 홀로그램 가상공연을 성공리에 구현했습니다. 경기도 광주시 곤지암에 마련한 ‘메타스튜디오’에서 제작한 영화 <더 브레이브 뉴 월드(The Brave New World)>도 가상공간에 기반한 버추얼 프로덕션 사례라고 할 수 있겠습니다.

  

  이 영화 역시 LED 월을 활용해 리얼타임 3D로 실시간 촬영한 영화입니다. LED 매핑 등 기술 고도화로 장면이 훨씬 더 자연스러워졌습니다. 이 모든 성과들이 가능했던 이유는 메타버스 공간 구현부터 콘텐츠 제작에 최적화된 버추얼 스튜디오가 있었기 때문이라 생각합니다. 비브스튜디오스에서는 올 하반기에는 더욱 다양한 결과물을 선보일 예정입니다. 들으면 누구나 다 아는 아티스트와의 협업도 있으니 기대하셔도 좋습니다.
  
  Q. 비브스튜디오스의 버추얼 스튜디오‘메타스튜디오’는 어떤 곳인가요?
  
  A. 버추얼 프로덕션 연구개발(R&D)을 위해 곤지암에 350평 규모 부지를 확보해 스튜디오를 구축했습니다. <더 브레이브 뉴 월드(The Brave New World)> 촬영을 성공적으로 마무리하며 버추얼 프로덕션 전문 스튜디오로 발전 가능성을 확인했습니다. 버추얼 스튜디오 덕분에 일반인이 CG 처리 여부를 분간하기 쉽지 않은 수준으로 제작 기술과 환경이 발전했습니다.

  

  버추얼 스튜디오에서는 영화, 드라마는 물론 광고, 게임시네마틱, 예능 등 다양한 장르의 실감미디어 콘텐츠 제작과 메타버스 구현이 가능합니다. 라이브 커머스도 가능하지 않을까 생각하고 있습니다. 스트리밍은 아직 도전하지 않은 영역인데 버추얼 프로덕션을 활용한 실시간 스트리밍 제작 및 송출을 목표로 하고 있습니다.
  
  요즘 ‘라이브 방송’에 대한 인기가 높기 때문에 다양한 수요를 반영할 수 있도록 스튜디오를 계속 고도화할 계획입니다. 궁극적으로는 메타버스 공간 속의 콘텐츠로 시청자가 직접 들어가 체험할 수 있는 환경까지 구현해 보는 게 목표입니다.
  
  Q. 버추얼 프로덕션 기반의 메타버스 산업에 대한 전망이나 느낀 점을 말씀해주신다면요.
  
  A. 버추얼 프로덕션은 결국 메타버스를 향해 갈 거라고 생각합니다. 비브스튜디오스는 처음 CG 프로덕션으로 시작해 버추얼 프로덕션으로 넘어오면서 게임 시네마틱 영상, 광고, 라이브쇼 등 다양한 작업을 진행했습니다. 가상환경의 실감미디어 콘텐츠를 기획·제작하고, 실시간 시각효과 기술로 메타버스 콘텐츠 제작 솔루션을 구축했습니다.
  
  현재는 메타버스 산업 밸류체인의 모든 단계에서 전문인력 공급이 부족하다고 느낍니다. R&D 분야뿐만 아니라 콘텐츠 기획부터 3D 모델러, 애니메이터, 캐릭터 아티스트까지 다양한 분야의 전문 인력을 국가 차원에서 양성할 필요가 있습니다. 또한, 고도화된 버추얼 프로덕션 기술을 활용할 수 있는 제작 시설 인프라도 부족하다고 느낍니다.
  
  저희가 경쟁력을 가질 수 있는 이유도 각 분야마다 역량이 있고 경험이 많은 핵심인력을 보유하고 있기 때문입니다. 자체 솔루션 기술 연구개발(R&D) 인력도 10여명이 있어 기술력을 보유하고 있고, 협업과 융합기술을 활용해 콘텐츠를 개발할 수 있는 역량을 갖추고 있습니다. 다른 외산 솔루션과 비교하여 여러 프로그램과 호환성, 확장성 측면에서 뛰어나고 통합성도 갖추고 있습니다. 저희는 VIT 솔루션의 우수성을 알리고 글로벌 시장에서 경쟁력을 키워서 국내 메타버스 시장의 경쟁력 강화에 기여하고 싶습니다.
  
  2019년에 제작된 스타워즈 시리즈 <만달로리안>의 제작과정을 지켜보며 우리도 버추얼 프로덕션으로 꿈꿔온 계획을 실현할 수 있겠다는 확신이 들었습니다. 국내에서 가장 멋진 스타일의 영화와 드라마를 제작하고, 그 영화와 드라마의 주인공들이 다양한 세계에서 다시 구현될 수 있도록 기획하고 있습니다. 비브스튜디오스의 메타버스 기술로, 영화, 드라마 등 콘텐츠 속 주인공들과 대화하고 만나고 함께 살아갈 수 있는 현실을 만들겠습니다.