한국방송통신전파진흥원MEDIA ISSUE & TREND Vol.63

1. 들어가며

영국의 시사 주간지 이코노미스트는 코로나19 이후 2022년 주목할 기술로 가상 인간(버추얼 휴먼)을 선정했다(한경코리아마켓, 2022). 1998년 데뷔한 사이버 가수 아담은 단기간 활동했지만 대중들에게 깊은 인상을 남겼다. 아담소프트가 제작한 아담은 3D기술로 제작한 국내 최초의 버추얼 가수라 할 수 있다. 아담의 외형은 3D 기술을 따르고, 목소리는 실제 인물인 가수 ‘박성철’이 참여한 걸로 밝혀졌다(이용수·이철희, 2023). 그 당시 3D 기술은 고도화되지 못했기 때문에 버추얼 휴먼이 무대에서 실시간으로 자유롭게 움직이지 못하는 상태에서 큰 성과를 얻지 못하고 사라졌지만, 이후 국내외에서는 꾸준히 버추얼 엔터테인먼트에 대한 시도가 있었다. SM엔터테인먼트의 아이돌 그룹 ‘에스파’ 또한 공공연히 멤버는 8명이라고 밝히면서 각 멤버의 버추얼 휴먼을 제작, 뮤직비디오에서 활용하거나 무대에서 함께 서기도 했다.

최초의 버추얼 가수는 일본에서 시작됐다. 당시 게이머라면 한 번씩은 해봤을 연애 시뮬레이션 게임 중 하나인 <두근두근 메모리얼>의 등장인물 중 하나인 후지사키 시오리(藤崎詩織)가 버추얼 아이돌로 불리며 인기를 얻자, 이에 착안해 ‘다테 쿄코(伊達杏子, 1996)’라는 3D 버추얼 휴먼을 개발해낸 것이다. ‘다테 쿄코’는 일본의 연예기획사인 ‘호리프로’가 제작한 버추얼 가수로 디지털 음원 <Love communication>을 발매하며 데뷔했고, 사용된 음성은 실제 사람의 목소리를 사용한 것으로 알려졌다(이용수·이철희, 2023). 아담뿐만 아니라 ‘다테 쿄코’ 또한 3D로 제작한 인체는 실제 인간에 가깝게 만들었으나 여전히 관절의 움직임이나 얼굴 표정 등이 어색한 채로 남아있어 이용자·관객들로 하여금 불유쾌한 감각을 제공했다는 평을 받는다. 또한 이 기술을 활용하는데 거대한 인력과 자본이 투자되어 대중매체에서 자주 등장하기조차 어려웠다. 이 때문에 대중문화 영역에서 현 버추얼 휴먼, 전 사이버 인물들은 점차 사라져갔다.

그러나 VFX 기술이 발달하고 이에 대한 경험이 축적됨에 따라 엔터테인먼트 영역에서의 버추얼 휴먼이 대대적으로 서비스되기 시작했다. 일본 ‘야마하’가 개발한 음성 합성 소프트웨어 보컬로이드를 사용해 ‘크립톤 퓨처 미디어’사가 개발한 ‘하츠네 미쿠(初音ミク)’가 크게 성공을 거두면서 버추얼 휴먼에 대한 관심도가 높아졌고, 소셜 미디어 플랫폼의 성장과 기술 보급으로 버추얼 유튜버들이 속속들이 등장하기 시작했다. 2016년 이후 버추얼 유튜버들은 스튜디오에서 실시간 스트리밍을 시작하는 방식으로 그 범주가 점차 확대되었다. 특히 국내에서는 스트리머 ‘우왁굳’이 2021년 메타버스를 활용한 VR 콘텐츠 버추얼 유튜버 오디션을 통해 ‘이세계 아이돌’을 데뷔시키면서 버추얼 휴먼을 활용한 엔터테인먼트 사들의 콘텐츠 제작이 지속적으로 이루어졌다.

결과적으로 디지털 미디어 기술의 발달과 보급, 콘텐츠 제작과 유통, 이용자와의 상호작용이 가능한 소셜 미디어 플랫폼의 성장, 동시에 코로나19로 인한 비대면 콘텐츠에 대한 수요 확대, 이 세 요소가 맞물리면서 버추얼 엔터테인먼트 산업이 급격히 성장한 것이다. 모션 캡처 기술이 급격하게 성장하면서, 기존의 사이버 가수와는 달리 실제 아티스트의 동작과 얼굴 표정을 실시간으로 고해상도로 제공하며 팬들과 버추얼 휴먼과의 정서적 거리감을 좁히고 대중화될 수 있는 기회가 만들어진 것이다.

2. 버추얼 엔터테인먼트 기술의 발전과 현황

버추얼 엔터테인먼트란 가상(Virtual)과 엔터테인먼트(Entertainment)가 결합한 합성어로 컴퓨터 그래픽을 통해 제작된 스크린 상의 2D, 3D의 가상 인물, 캐릭터 등을 통해 재현되는 엔터테인먼트 산업을 뜻한다. 특히 버추얼 엔터테인먼트 산업에서 중요한 요소 중 하나인 버추얼 휴먼의 영역이 점차 기술적으로 현실 인간(Real Person)과의 구분이 힘들어지면서 디지털 휴먼¹⁾이라는 용어도 심심찮게 발견할 수 있다. 디지털 휴먼은 실제 인간과 유사한 모습으로 이름, 성별, 나이, 출신 등의 구체적인 배경을 갖고 재현된다. 버추얼 휴먼 기술은 주로 어떻게 1) 인간의 외양을 어떻게 재현하는가 2) 목소리나 신체의 움직임 등, 행위를 어떻게 표현하는가? 그리고 3) 사회적 상호작용을 어떻게 진행하는가에 따라 달라질 수 있다.

버추얼 엔터테인먼트 산업에서 재현되는 버추얼 휴먼은 실제 인간과의 협업이나 활동양상에 따라 다양하게 분류될 수 있다. 김선영(2023)의 경우 국내 버추얼 휴먼의 유형을 3가지로 분류하고, 활동양상을 유형별로 구별하여 표기했다.

현재의 버추얼 휴먼은 인공지능, 모션 캡처 등의 기술과 융합되어 개발되기 때문에 사실적인 얼굴 및 표정 표현이 가능하다(한상열, 2022). 버추얼 휴먼이 사람처럼 움직이는 모습을 구현하는 기술이 모션 캡처(Motion Capture)인데 이 기술은 센서나 적외선 등을 사용하여 인체나 물체의 움직임을 추적해 디지털 형태로 기록한다.

2020년 이후 제작된 로지와 한유아의 사례에서 볼 수 있듯, 딥 러닝 기술을 통해 인공지능이 버추얼 휴먼의 얼굴 모델링과 목소리 구현까지 제작 가능하다. 또한 이전까지 버추얼 휴먼의 움직임이 모션 캡처 기술을 중점적으로 사용했다면 ‘로지’와 ‘한유아’의 경우 사람의 몸에 얼굴만 합성하는 디지털 더블기술과 딥 페이크 기술이 사용됐다(이용수·이철희, 2023). 특히 버추얼 휴먼이 사람처럼 느껴지는 것은 딥 리얼 라이브(Deep Real Live) 기술 덕분인데, 이 기술은 인물의 얼굴을 실시간으로 대체하는 페이스 스왑(Face Swap)을 통해 살아 움직이는 듯한 이미지를 연출할 수 있다(이준복, 2023, 31쪽).

버추얼 휴먼 제작 기술은 인공지능이 점차 대중화되면서 이와 결합하며 빠르게 대중화되어가고 있는 실정이다. 광고, 게임, 음악, 만화, 드라마 등 다양한 형태의 엔터테인먼트 산업 또한 이 기술과 발맞추어 상업성과 대중성을 가져올 가능성을 갖는다. 그리고 이러한 버추얼 엔터테인먼트 산업은 대중들의 커뮤니케이션 방식의 변화와 함께 촉발될 가능성을 갖게 된다.

3. 버추얼 엔터테인먼트 산업 전망

전통적으로 인간과 인간의 상호작용은 주로 대면을 통해 이루어졌다. 그러나 디지털 미디어 환경이 도래하면서 사람들은 대면을 통해 이루어지지 않는 상호작용도 존재한다는 것을 인지하게 되었다. 이제 사람들은 텔레비전을 보거나 라디오를 듣거나, 인터넷으로 다른 사람의 정보를 받아들일 때 실제로 대면하지 않더라도 특정 종류의 사회적 관계가 형성된다는 것을 알고 있다. 우리는 미디어로 전송된 타인의 정보를 통해 그를 향한 친밀감을 느끼는 상호작용을 지속한다. 학계에선 이것을 준 사회적 상호작용, 즉 파라소셜 인터랙션(Parasocial interaction)이라고 정의해왔다.

디지털 미디어의 기술적 발전과 이전까지 없었던 전 세계적인 봉쇄 및 접촉제한이라는 상황까지 겹치면서 가상공간에서의 사회적 상호작용 또한 대면적 상호작용에 근접해지기 시작했다. 온라인상의 가상적 상호작용은 소셜 라이브 스트리밍에서도 일어나는 현상이다. 이러한 상호작용은 “준 사회적 상호작용”이라기보다 “가상공간 내에서 일어나는 사회적 상호작용”이라고 명명하는 것이 더 정확하다.

대중들이 코로나19를 경험하면서 사회적 상호작용 방식이 대면에서 비대면으로 변화하기 시작했다는 사실을 고려하면 향후 버추얼 엔터테인먼트 산업 전망은 긍정적이다. 인플루언서 및 아이돌들의 팬미팅이나 쇼 케이스, 콘서트는 당시 온라인으로 스트리밍되었는데, 코로나19가 거의 종식된 지금까지도 여전히 이어지고 있는 상황이다. 위버스, 버블과 같은 팬 대상과 팬들이 서로 대화할 수 있는 사회적 상호작용 플랫폼도 꾸준히 사이버 친밀성이나 네트워크된 친밀성 위주로 구축되고 있다.

이러한 사회적 상호작용 방식의 변화를 고려해 볼 때 버추얼 엔터테인먼트, 즉 버추얼 인플루언서, 캐릭터, 아이돌과 같은 가상 인물들은 꾸준히 네트워크된 친밀성을 구축할 수 있는 대상이다. 라이브 공연이나 팬미팅과 같은 면대면 상호작용이 실제 인간과는 달리 재현된 방식으로 진행되기 때문에, 이들은 구체적으로 유튜브, 트위터, 버블이나 위버스와 같은 소셜 미디어를 통한 친밀성을 상대적으로 훨씬 더 많이 사용하여 소통하려고 한다. 이러한 방식이 팬들이나 이용자에게 반대급부적으로 더 강한 연대감과 친밀성을 느끼게 하는 요소가 될 수 있다.

동시에 이들에겐 원본이 없다. 그들은 이미 기술적으로 언제든 복제될 수 있는 디지털 그 자체이기 때문에, 친밀성의 층위가 팬덤에게는 모두 동일하게 주어질 가능성이 높다. 예를 들어 내가 굳이 공연장 앞자리를 예매하지 않더라도 그들을 ‘본다’는 의미가 팬들 모두에게 균등하게 의미화될 가능성이 높다. 그렇다 보니 현실 세계에서 존재하지 않으면서도 모두에게 존재할 수 있는 비존재의 존재성을 갖고 있다.

이 때문에 버추얼 엔터테인먼트에서 버추얼 휴먼은 전 세계 동시다발적으로도 존재할 수 있으며, 사람이라면 갈 수 없는 곳에도 갈 수 있다. 예를 들어 많은 아이돌이 공연을 위해 해외 각국을 직접 가야 하지만, 버추얼 휴먼은 그렇지 않다. 한국에서 공연하다가 10분도 되지 않아 미국, 일본, 전 세계 어디든 소통하며 공연을 지속할 수 있다는 것이다.

버추얼 엔터테인먼트 산업은 IP 확장에 있어서도 향후 전망이 높을 수밖에 없다. 버추얼 휴먼, 버추얼 캐릭터는 제작할 때부터 탄탄한 서사와 정체성, 세계관을 구성한다. 이는 향후 다양한 광고, 애니메이션, 웹툰, 웹소설 등 꾸준히 저작권을 확보하여 확장될 수 있는 서사가 내재되어 있음을 의미하는 것이다. 이를 통해 IP 확장이 가능하다는 점에서 유리한 콘텐츠 산업적 위치를 점유하고 있다.

동시에 실제 인물이 버추얼 휴먼을 운용하며 활동하는 경우 사적인 영역이 보장될 수 있다는 장점을 갖고 있다. 그러나 이는 양면성이 존재한다. 버추얼 휴먼이 인기를 얻으면서 실제 인물이 현실 세계와 가상 세계의 정체성 사이 혼란이나 존재성에 대한 새로운 문제점을 일으킬 가능성도 있기 때문이다. 무엇보다 현재 버추얼 휴먼의 경우‘이상적인 얼굴이나 체형’을 갖고 있는 경우가 많다. 이 때문에 이를 운용하는 실제 인간이 그들과 현실의 자아를 지속적으로 비교할 가능성도 존재한다. 이는 이용자들에게도 똑같이 비교 대상화되어 부정적 자아정체성을 확립시킬 가능성이 높다.

4. 마치며

버추얼 엔터테인먼트는 향후 미디어가 매개된 사회적 상호작용에 익숙한 세대들에게 대중화될 가능성이 높은 산업 중 하나다. 무엇보다 버추얼 엔터테인먼트가 가진 다양한 특징 중 ‘게임성’에 주목할 필요가 있다. 가상으로 만들어진 인간과 캐릭터는 이용자가 주도할 수 있는 콘텐츠이며, 2차 창작도 활발하게 이루어질 수 있는 가능성이 높고 세계관을 통해 이용자들이 직접 프랜차이즈를 만들어내며 적극적인 참여와 몰입도를 높이기 때문이다.

이렇게 열정적인 팬덤이 만들어지면 버추얼 엔터테인먼트 안에서 많은 장르적 확장이 일어날 수 있다. 그렇기 때문에 이 시점에서 우리는 이 산업에 대한 가이드라인을 구체화할 수 있어야 한다. 버추얼 엔터테인먼트에서 활약하는 버추얼 휴먼은 그 자체로 인간과 유사하지만, 실제 인물이 이를 아바타처럼 운용할 수도 있다. 이 모든 조건들을 고려하여 가상의 인물에 대한 ‘저작권과 초상권, 그리고 퍼블리시티권’의 침해 가능성에 대한 고민을 충분히 할 수 있어야 한다. 이뿐만 아니라 버추얼 휴먼이 갖고 있는 성명이나 음성, 성격 등은 이것을 이용하는 이용자들에게도 상당한 파급력과 영향을 미칠 수 있다. 이준복(2023)이 언급했듯, “가상 인간의 윤리적 제작과 활용을 위한 자체 가이드라인을 마련하는 것을 고려해 볼 필요(45쪽)”가 있다.

마지막으로 이러한 버추얼 엔터테인먼트 영역에서는 보이지 않는 ‘노동’이 끊임없이 이루어지고 있다. 버추얼 휴먼이 공연하고, 연기하고, 옷을 갈아입고, 사람들과 소통하는 것은 이를 프로그래밍하고, 끊임없이 뒤에서 오류를 수정하는 스텝들이 존재하기 때문이다. 그러나 이들은 실제 스크린 너머로 가시화되지 않는다. 이 때문에 이에 대한 가이드라인과 직업윤리 또한 반드시 고려되어야 할 것이다.