한국방송통신전파진흥원MEDIA ISSUE & TREND VOL.62

1. 들어가며

세계 최대 글로벌 1위 방송, 엔터테인먼트 전시회인 NAB(National Association of Broadcasters)에서 공개된 올해를 관통하는 미디어 업계 주요 키워드다. 2024년에도 어김없이 NAB가 지난 4월 13일부터 17일까지 미국 네바다 라스베이거스 컨벤션 센터(LVCC)에서 열렸다.

올해 NAB도 긴박감 있게 진행됐다. 방송, 미디어, 엔터테인먼트 기술 및 기업, 정책 현안들이 집중적으로 논의됐다.

특히, TV, 라디오 등의 레거시 미디어들이 FAST, 스트리밍, 버추얼 프로덕션, AI 등 뉴미디어가 함께 논의되는 중요한 자리였다. 유튜버 등 글로벌 방송 업계를 흔들고 있는 ‘크리에이터 이코노미(Creator Economy)’를 분석하고 관련 장비를 소개하는 자리도 마련됐다. 크리에이터 이코노미는 2022년 이후 NAB에서 매우 중요한 자리를 차지하고 있다. NAB쇼의 백미로 불리는 전시장은 센트럴, 웨스트, 사우스 등 LVCC 3개 홀에서 크리에이트, 커넥트, 수익화로 크게 3가지 영역으로 구성했다.

크리에이트(Create) - 센트럴 홀&사우스 홀(Central Hall & South Hall)

제작과 관련된 솔루션 기업들이 배치됐는데 프리 프로덕션부터 콘텐츠가 완성되는 포스트 프로덕션과 관련된 서비스 현장을 둘러보고 체험해 볼 수 있다.

커넥트(Connect) - 웨스트 홀(West Hall)

콘텐츠 유통과 배포에 초점을 맞춘 기업들을 모아둔 곳으로 최근에는 스트리밍 서비스, FAST 등 핵심 사업자가 배치된 공간이다.

수익화(Capitalize) - 웨스트 홀(West Hall)

AI 등 콘텐츠와 커머스가 만나 도달 범위와 투자 수익률 향상을 위한 전략들을 고심하는 공간이다.

2. NAB 2024 전시 기업 “AI와 지배”

올해(2024년)의 주제는 ‘AI의 미래 수용(Embracing the Future of AI)’이다.
AI가 콘텐츠 제작과 유통, 수익 창출 과정을 어떻게 변화시키는지에 초점을 맞췄다. 참석자들은 최첨단 기술을 살펴보고 AI, 오디오, 라이브 이벤트, 스트리밍, 가상 프로덕션 및 워크플로우 진화에 대한 토론에 참여했다.

2024년 NAB Show 전시 업체는 어도비(Adobe), 아리(ARRI), AWS, 블랙매직(Blackmagic), 디자인(Design), 캐논(Canon), 후지필름(Fujifilm), JVC Professional Video, 마이크로소프트(Microsoft), 엔비디아(NVIDIA), 소니(Sony), 버라이즌 비즈니스(Verizon Business) 등의 브랜드에서 수천 개의 신제품과 차세대 및 선구적인 기술을 선보이고 데뷔했다.

NAB 주최 측 6만 1,000명이 라스베이거스 현장을 방문했는데 이 중 54%는 행사장에 처음으로 등장한 업계 관계자였다. 또 전체 참가자의 4분의 1(27%)이 미국이 아닌 한국 등 글로벌 시장에서 현장을 찾은 사람들이었다. 참가 국가로 보면 164개국, 전 세계에서 걸쳐 34개 대표단이 라스베이거스 LVCC에 등장했다.

아프리카, 유럽, 캐리비안, 오세아니아, 중앙 아시아 등에서 10개국 국가 대표단이 처음으로 NAB를 찾았다. NAB쇼에서 처음으로 스페인어 세션이 진행됐다. 이 세션에서는 Caliente TV의 스튜디오 구축 및 라틴 아메리카 방송 시장 사례 연구를 발표했다. 또 한국을 포함해 영국, 독일, 아일랜드, 벨기에 등 5개 인터내셔널 파빌리온도 만들어졌다.

2024년 NAB 전시회에는 1,300개가 넘는 방송 콘텐츠 엔터테인먼트 기업이 전시에 나섰다. 출신 국가는 41개였다. AI 기반 제작에서부터 몰입형 가상 현실 경험, 방송 및 전송을 위한 최신 기술, 초기 단계의 스타트업부터 강력한 브랜드에 이르기까지 끊임없이 진화하는 미디어 제작 및 소비 환경이 소개됐다. 최첨단 도구와 기술 외에도 컨퍼런스 프로그램에서는 업계 베테랑과 떠오르는 스타들의 통찰력 있는 토론과 발표가 이어졌다.

전시 기업 중 200개의 전시 업체가 AI·머신러닝 도구와 기술을 선보였다. 크리에이터 경제를 위한 새로운 전시장 공간을 포함한 크리에이티브 스페이스에는 수백 개의 전시 업체가 참가했다. 전체 전시 기업 중 20%가 스트리밍 관련 기업으로 ‘스트리밍’이 대세임을 증명했다.

트렌드 분석 및 토론 세션도 치열하게 진행됐다. 콘텐츠 생태계 전반에 걸쳐 1,050명 전문가들이 750개 이상의 세션에서 스토리텔링의 미래, 스트리밍 플랫폼의 부상, 생성 AI와 이것이 업계와 진화하는 미디어 환경에 미치는 영향에 대해 이야기했다. 150개 이상의 세션이 AI를 주제로 진행됐다. 크리에이터 경제에 관한 약 100개의 세션이 진행됐다.

연사로는 NBC유니버설 엔터테인먼트 대표 프란시스 버윅(Frances Berwick), 아메리카 갓 탤런트의 호스트 테리 크루스(Terry Crews), EGOT 수상자이자 엔터테인먼트 아이콘인 제니퍼 허드슨 쇼의 진행자 제니퍼 허드슨(Jennifer Hudson), 파라마운트 글로벌 부사장 겸 CTO 멀티 플랫폼 운영 책임자인 필 와이저(Phil Wiser) 등이 참여했다.

3. 크리에이터, AI도입은 선택이 아닌 필수

크리에이터들도 현장을 찾았다. 매운 음식을 유명인과 함께 먹으면서 리액션과 대화를 진행하는 유튜브 ‘핫원스’를 진행하고 있는 크리에이터 션 에반스(Sean Evans)는 “Heating Up the Zeitgeist with Sean Evans”라는 세션을 통해 크리에이터 이코노미를 지배하고 있는 트렌드와 제작 에피소드를 전달했다. 미스터 비스트(Mr Beast) 유튜브 CEO 마크 허스트베트(Mark Hustvedt)도 현장을 찾았다. 디지털 스튜디오 ‘베메(beme)’ 창업자이자 크리에이터 케이시 네이스탯(Casey Neistat), 션더즈매직(SeanDoesMagic) 크리에이터 션 소타리도나(Sean Sotaridona)도 NAB Show를 방문했다.

특히, 세계 1위 유튜버(1억 3,700만 명)이자 자신의 이름을 딴 회사(미스터 비스트)를 런칭해 큰 수익을 올리고 있는 미스터비스트의 CEO 마크 허스트베트는 크리에이트 이코노미의 5가지 최신 트렌드에 대해 이야기해 주목을 받았다.

그가 말한 5개 트렌드¹⁾ 중 첫 번째는 ‘AI&테크놀로지의 통합(Integration of AI and Technology)’이다. 허스트베트 CEO는 AI의 적용은 선택이 아니라 필수라고 강조했다. 그는 “AI가 콘텐츠 제작과 시청자 참여에 어떤 혁신을 일으키고 있는지” 설명하며 “크리에이터가 경쟁력을 유지하기 위해 AI를 적극적으로 받아들여야 한다”고 말했다.

두 번째 트렌드는 ‘글로벌 확장과 현지화(Global Expansion and Localization)’다. 유튜브, 틱톡 등 글로벌 기반 소셜 미디어 서비스들은 크리에이터들에게 경계를 없애 줬다. 그러나 그는 현지화를 위해 인간 번역을 강조했다. 그는 “다양한 글로벌 시장에서 콘텐츠의 정서적 공감과 문화적 정확성을 보장하기 위해 AI가 아닌 사람 번역가를 도용하라”고 강조했다.

허스트베트 CEO는 “미스터 비스트 팀에는 문화 컨설턴트가 포함되어 있으며 각 시장에 문화적으로 공감할 수 있는 성우를 고용한다”고 덧붙였다. 예를 들어, 그는 일본 나루토 목소리가 미스터비스트의 콘텐츠에 등장해 시청자 연결성과 브랜드 충성도를 높였다고 일화를 소개했다.

세 번째 트렌드는 ‘크리에이터 주도 브랜드와 제품 개발(Creator-Led Brand and Product Development)’이다. 미스터비스트 역시, 초콜릿 바를 출시해 큰 인기를 끌고 있다. 허스트베트는 “출범한 지 90일이 안돼 400만 개의 초콜릿 바를 판매했다”며 크리에이터 팬덤과 연결된 커머스는 엄청난 힘을 발휘한다고 강조했다.

허스트베트 CEO는 ‘데이터 콘텐츠 전략(Data-Driven Content Strategy)’의 중요성도 내세웠다. 동영상 성과를 최적화하기 위해 데이터 분석툴을 사용해야 한다는 것이다. 그는 “시청자 데이터를 전략적으로 사용하여 참여도와 잔존율(Retention)을 향상시켜야 한다”고 주목했다.

그는 시청자의 관심과 클릭률을 극대화하기 위해 동영상에 포함되는 요소(특히 썸네일과 제목)를 분석을 기반으로 지속적으로 조정하는 것이 중요하다고 강조했다. 그는 콘텐츠 최적화를 위해 “끊임없이 수정하고 재포장하고 있다(We constantly are tweaking and repackaging)”고 강조했다.

마지막으로 허스트베트 CEO는 ‘수익화 모델의 변화(Shifts in Monetization Models)’도 설명했다. 크리에이터의 수익 모델은 항상 진화해야 하고 변해야 한다는 설명이다. 최근 크리에이터들의 수익 모델은 광고에서 상품 판매, 구독 모델, DTC상품 등으로 진화하고 있다.

4. 방송과 AI “인공지능은 우리에게 초지능을 준다”

NAB 2024에서 생성 AI는 변방이 아닌 중심이었다. 방송, 엔터테인먼트 기업, 크리에이터들은 NAB 2024 현장에서 AI를 지금 적용 업무에 적용해 효율성을 높이는데 많은 관심을 보였다. 반복적이지만 시간만 소요되는 업무는 AI에게 맡기고 인간은 창의적인 업무에 집중하겠다는 생각이다.

NAB기조연설에 나선 AI 기반 방송 컨설팅 솔루션 기업 퓨처리(Futuri) CEO 다니엘 안스탠디그(Daniel Anstandig)는 NAB쇼의 역사를 새로 썼다. 100년 NAB 역사상 처음으로 AI와 함께 메인스테이지 공동 기조연설에 나선 것이다.

안스탠디그는 AI휴머노이드 로봇 아메카(Ameca)와 함께 기조연설 발표 무대에 섰다. 영국 엔지니어드 아츠가 만든 아메카는 얼굴 안면 인식 기능을 탑재해 사람과 눈을 마주치고 생성AI를 이용해 상대방의 질문을 이해하고 답한다.

아메카는 4월 15일 9시 라스베이거스 LVCC 첫 번째 개막 행사에서 ‘미디어에서 AI의 역할에 대한 가장 포괄적인 연구 결과(AI's role in media)²⁾’를 안스탠디그와 함께 발표했다. 아메카는 2년 전 개발됐지만, 2024년 4월 등장한 이 휴머노이드는 완전히 달라졌다.

더 놀라운 것은 보다 진보된 AI의 역할을 보여줬다는 점이다. 학습된 AI가 자료를 읽는 것은 흔한 일이지만 이날 ‘아메카’의 역할은 인간과 같은 공동 발표자였다.

안스탠디그의 요청에 해당 PPT를 읽었고 파트를 나눠 돌발 질문에도 답을 했다. 흡사, 사람처럼 말이다.

이 프레젠테이션에서 자신의 역할은 무엇이라고 생각하냐는 질문에 대해 아메카는 “AI를 통해 데이터를 처리하여 키노트 스피치를 제공할 수 있도록 지원하는 것”이라고 말했다. 아메카가 데이터를 전달하는 동안 사람은 “우리만 할 수 있는 청중과 소통하는 데 집중할 수 있다”고 설명했다.

안스탠디그와 아메카가 맡은 발표는 CMG Custom Research가 조사한 ‘AI가 미디어에 미치는 역할’에 대한 설문 조사였다. 이 조사는 미국 전역 약 5,200명의 라디오 및 TV 뉴스 소비자를 대상으로 진행되었으며, AI 방송 제작에 대한 시청자 인식, 기대, AI 기반 미디어 콘텐츠의 미래에 대한 내용을 담고 있었다. 퓨처리의 '미디어의 AI 연구'는 TV, 라디오, 뉴스 제작, 콘텐츠 제작자 등 방송사를 위한 모범 사례에 대한 주요 인사이트를 공개해 많은 호응을 받았다. 설문에서 미국 언론, 방송사들은 AI생성 콘텐츠에 대한 신뢰도가 높은 편이다. 물론 신뢰도, 품질 등 개선해야 할 문제들은 많다.

그는 미디어의 창조자이자 촉진자로서 AI의 이중적 역할을 강조하며 "AI는 피할 수 없으며, 미디어 업계의 현명한 도입과 통합이 전례 없는 경쟁의 시기에 업계의 회복력과 성장의 핵심이 될 것"이라고 말했다.

특히, 그는 기조연설에서 우리가 지금은 통상적인 업무를 처리하는데 우리 시간의 90%를 사용하고 10%를 창의적인 업무에 사용한다며 그러나 본격적으로 AI가 도입되면 창의적인 일을 처리하는데 우리 시간의 90%를 쓸 수 있을 것이라고 설명했다. 안스탠디그는 “산업혁명은 사람에게 엄청난 힘을 줬고 우리는 지금 AI 혁명을 맞이하고 있다”며 “AI는 우리에게 어떤 초지능(Super intelligence)을 선사할 것”이라고 설명했다.

실질적으로 AI를 콘텐츠 제작과 유통에 활용할 수 있는 AI와 서비스도 대거 소개됐다. 텍스트를 비디오로 만들어주는 소라(Sora) 등 콘텐츠 산업을 바꿀 가능성이 있는 생성AI가 등장했다. 하지만, 현장에서는 여전히 ‘AI가 우리 작업에 어떻게 쓰일 수 있을지’에 대한 고민이 많았다.

많은 이들은 AI가 방송, 콘텐츠 제작에 쓰이고 있지만, 아직 ‘콘텐츠를 창작하고 오디언스들에게 전달하는 모든 과정을 맡을 AI는 없다’는 데 생각을 같이했다.

하지만, 콘텐츠 제작 후 후반 작업을 의미하는 ‘포스트 프로덕션’에서 AI는 큰 역할을 할 수 있다는 의견들이 많았다. 비용을 줄이고 작품의 퀄리티를 높이는데 AI는 좋은 파트너가 될 수 있다.

AI를 접목한 최첨단 엔터테인먼트 테크놀로지 기업들에게 후반 작업(Post Production)은 작품의 완성도를 위해 매우 중요하다. 그렇지만, 동기화, 태그, 색보정 등 창의력보다 업무량이 엄청난 작업들을 의미하기도 한다. NBA2024에 포스트 프로덕션(후반 작업)에 AI를 적용한 방송 제작 솔루션은 올해의 화두였다.

AI 제작툴(AI Production Tools) 스트라다(Strada)³⁾는 후반 제작(포스트 프로덕션)에 집중하는 스타트업 중 하나다. 스트라다는 콘텐츠 제작 및 후반 작업에서 필요한 툴을 담은 AI지원 클라우드 플랫폼(스트라다AI)을 개발하고 있다.

‘스타라다AI’를 이용하면 클라우드 플랫폼에서 콘텐츠 동기화(syncing), 태그 지정(transcribing), 전사(transcribing), 번역(translating), 복사(copying), 트랜스코딩(transcoding) 등을 할 수 있다. 올해(2024년) 말 베타 버전이 출시될 예정이며 다른 영상, 음악 제작툴과 연동될 수 있도록 개발 중이다. 이 회사의 공동 창업주 마이클 치오니(Michael Cioni)는 NAB ‘크리에이터 세션’에서 자신들의 회사 전략과 AI와 함께 하는 작업의 미래를 공개했다. 치오니는 “AI테크놀로지와 현실 작업 환경(워크플로우)에 기반을 둔 새로운 회사를 세팅하고 있다”며 “우리는 AI가 창작 워크플로우에서 번역, 편집 등 아무도 하고 싶어하지 않는 영역을 똑같이 가치있고 강력하게 만들 것이라고 믿는다”고 말했다.

치오니가 생각하는 스트라다는 트랜스코딩(transcoding), 전사(transcribing), 사운드 동기화(syncing sound), 자막, 더빙(subtitling and dubbing) 등 후반 제작을 자동화할 수 있는 ‘알라 카르테 방식 클라우드 마켓 플레이스(Market Place)다.

AI가 어시스턴트 등의 일자리에 위협이 되지 않느냐는 현장 질문에 마이클 치오니는 “우리의 작업은 일자리의 창의적인 요소(creative components of jobs)에 집중하는 것이다. 창작자들이 창의적인 일에만 집중하고 비창의적인 장벽에 가로막히거나 지체되지 않도록 하기 위해서 툴을 개발했다”며 “현재 일자리를 없애는 것이 아니라 기존 인력을 활용하고 생산성을 높일 수 있도록 하는 것”이라고 설명했다. 어시스턴트들을 비창의적인 업무가 아닌 창의 업무를 돕는데 투입할 수 있도록 지원한다는 것이다. 마이클 치오니(Michael Cioni)는 “스트라다와 같은 실용적인 도구가 영화 제작자에게 가장 큰 가치를 제공할 수 있다고 믿는다”며 “그러나 소라(Sora)나 미드저니(Midjourney) 등은 실제 사용 사례가 줄어들고 있다고 생각한다”고 설명했다.

비선형 영상편집기 ‘미디어 컴포저(Media Composer)’로 유명한 아비드(Avid)도 AI를 포스트 프로덕션 플랫폼에 적극적으로 탑재하고 있다. 아비드는 사모펀드인 STG 계열사에 14억 달러에 인수됐다.

아비드는 NAB 2024에서 아비드 솔루션에 탑재된 다양한 AI기술을 소개했다. 아비드 미디어 컴포저(Avid Media Composer)의 문구검색 AI(PhraseFind AI), 스크립트싱크 AI(ScriptSync AI), 아비드 미디어센트럴(Avid MediaCentral)의 얼굴 감지 및 장면 인식(facial detection and scene recognition), 트랜스크립션 서비스 및 추천 엔진 미리보기(preview of transcription services and recommendation engines) 등이 시연됐다. 웹 기반 ‘미디어센트럴(MediaCentral | Cloud UX)에서 편집하는 기자가 기사를 쓰고 더빙한 다음 기사와 일치하는 관련 영상을 식별하도록 AI를 학습시키는 기능도 공개됐다.

아비드는 AI툴 개발 시 인간 전문가가 가이드를 제공하는 휴먼 인 더 루프(human-in-the-loop) 접근 방식을 쓰고 있다. 이를 통해 생성AI의 편향성을 막고 창의성과 효용성을 가속화하고 있다.

아비드의 AI 기술 개발은 인간의 영감과 AI를 조합하는 방식으로 이뤄진다. 아비드의 NAB 2024의 핵심은 ‘대화형 AI 창작 모델(AI conversational creation)’이다. 아비드 CTO 케빈 라일리(Kevin Riley)는 AI를 사용해 사용자의 '의도'를 파악하고 일일이나 아카이브 영상 등을 추천하는 프로토타입 기술을 검토 중이라고 밝혔다. 이 프로젝트 중 하나로 아비드는 AI비서 에이다(Ada)를 개발하고 있다.

아비드 에이다는 워크플로우를 더욱 효율적으로 만들고 창작 작업을 강화하는데 도움을 주는 AI 디지털 어시스턴트다. 에이다의 가장 큰 특징은 중복 작업을 AI가 처리해 인간 작업자는 콘텐츠 제작과 전달에 집중할 수 있도록 하는 것이다. 이를 통해 창작 프로세스를 향상시켜 준다.

아비드는 NAB 2024에서 에이다의 일부 기능을 시연했다. 데모에서는 아비드 에이다가 AI 기술을 활용하여 음성-텍스트 변환, 요약, 언어 번역을 자동화하는 방법이 공개됐다. 라일리는 버라이어티와 인터뷰에서 “에이다(Ada)⁴⁾와 사용자에게 다음 작업에 대한 팁을 제공할 수 있다”며 “AI비서와 함께 일하는 대화형 창작(conversational creation)이라고 부르는 모델로 나아가고 있다”고 설명했다. 라일리 CTO는 전문가들이 콘텐츠 제작 데일리(Daily) 및 기타 기존 자산에 에이다를 이용할 것이라며 대신 소라를 자사 제품에 통합할 계획이 없다고 말했다.

AI를 통한 콘텐츠 제작 효율성 향상에 많은 관심이 쏠리고 있다. 3월 NRG의 조사에 따르면 크리에이터의 51%가 AI가 사람들의 생산성과 효율성을 높여줄 것이라고 믿고 있었다⁵⁾.

개발툴 중 일부는 사용 방법에 따라 할리우드에서 사용되는 기존 워크플로우를 변경해야 할 수도 있다. 아비드는 미디어 컴포저 편집 시스템(Media Composer editing system)에서 더빙이 가능한 기능을 개발 중이다. 앞으로 프로세스를 더 단순화할 수 있다.

앞으로 포스트 프로덕션 작업에서 AI는 핵심적이고 더 많은 역할을 할 것으로 보인다. AI의 속도가 빨라지고 처리하는 일도 더 많아질 수도 있다. 장기적으로는 더빙실과 같은 시설에 대한 수요도 완전히 바꿀 수도 있다.

콘텐츠 제작에 사용되는 AI도 늘고 있다. 비즈니스 인사이더 조사에서⁶⁾ 콘텐츠 제작에 사용하는 AI의 대부분(90%)은 챗GPT였다. 2위는 미드저니(MidJourney, 31%), 구글 바드(Google Bard, 19.7%), 일레븐랩스(Eleven Labs, 16.1%), 스테이블 디퓨즌(Stable Diffusion, 11.2%), 비드(Veed.io, 9.6%), 런웨이(Runway ML, 8.2%), 클라우드(Claude, 4.2%), 퍼플렉서티(Perplexity, 3.9%) 등이었다. 이 조사는 크리에이터 나우가 크리에이터, 2,000명을 대상으로 AI 사용 정도와 용도를 조사한 결과다.

그러나 해결해야 할 문제도 있다. 빠르게 발전하는 AI기술에 대한 우려의 목소리도 높다. NGR조사에서 54%는 AI로 인해 인간의 일자리가 줄어들 것이라고 생각하며, 63%는 지적재산권(IP)을 해결하기 위한 규제가 필요하다고 답했다.

5. 버추얼 프로덕션은 더 이상 실험이 아니다

버추얼 프로덕션 스튜디오(virtual production studio)는 NAB 2024년 행사에서 가장 중요한 포지션을 차지했다. LVCC 사우스 로어(Lower)홀에서는 다양한 버추얼 프로덕션과 스튜디오 기업들이 대거 등장했다. 버추얼 프로덕션은 초대형 발광 다이오드 벽(LED Wall)에 3D배경을 실시간 투사하고 배우와 배경을 동시에 촬영할 수 있는 최첨단 스튜디오를 일컫는다. 버추얼 프로덕션 스튜디오(virtual production studio)는 최종 화면을 현장에서 곧바로 확인할 수 있어 촬영 과정에서 더욱더 생생한 현실감을 확보할 수 있다. 또 유연한 연출이 가능하다.

버추얼 프로덕션(Virtual production)은 배우가 연기하는 배경을 만드는 고해상도 스크린을 사용한다. 이를 통해 로케이션 이동의 필요성을 줄이고, 세트를 만드는 시간을 단축한다. 후반 작업(포스트 프로덕션)을 단축하고, 기존의 그린스크린 환경보다 배우에게 더욱 실제와 같은 환경을 제공할 수 있다. VP 스튜디오는 모션 캡처 제작에도 적합하다.

팬데믹 이후 세계적 유행으로 비대면 공연이 활성화된 가운데 몰입형 실감 콘텐츠(immersive content) 수요가 늘어나면서 가상 환경에 필요한 실감 콘텐츠 제작과 실시간 시각특수효과(VFX) 기술 구현이 가능한 버추얼 프로덕션 스튜디오가 주목받기 시작했다.

만달로리안(The Mandalorian)은 버추얼 프로덕션의 선구적인 사례로 꼽힌다. 2021년 영화 ‘수어사이드 스쿼드(The Suicide Squad)’와 ‘듄(Dune)’은 버추얼 프로덕션과 모션 캡처 조합을 사용했다. 이 기술은 또한 팬데믹으로 인한 사회적 거리두기 요건과 여행 제한으로 인해 더욱 활성화됐다.

버추얼 프로덕션 스튜디오에서는 시나리오 창의성을 극대화해 독창성과 완성도를 높일 수 있다. 제작 시간과 비용 절감을 효율화할 수 있다는 것 또한 장점이다. 버추얼 프로덕션이 상용화되기 이전까지는 실감 콘텐츠를 제작하기 위해 그린 스크린(green screen)에서 촬영한 뒤 별도의 후반 작업을 통해 기술을 콘텐츠에 입히는 과정을 필수적으로 거쳤다. 한국에서는 덱스터스튜디오, 브이에이코퍼레이션, 비브스튜디오스 등이 초대형 발광 다이오드 벽(LED wall) 기반 버추얼 프로덕션 스튜디오를 운영하고 있고, 2022년에 CJ ENM과 SK텔레콤이 경기도 파주와 성남에 각각 대규모 버추얼 프로덕션 스튜디오를 오픈했다.

NAB에서도 버추얼 프로덕션과 스튜디오는 매우 중요한 트렌드로 소개됐다. 버추얼 스튜디오를 구축해 제작 비용을 효율화하려는 진영과 AI 등 새로운 기술을 버추얼 스튜디오에 구축하려는 기업들이 라스베이거스 현장에 대거 나왔다.

NAB 2024 전시장에서도 버추얼 프로덕션은 주요 전시 키워드 중 하나였다⁷⁾. 버추얼 프로덕션(Virtual Production)을 주제로 행사장에 나온 기업은 234개다.(234 Results for Keyword: “Virtual production”) 소니, 뷰, 블루피쉬, 브레인스톰, Chyron, 로스 비디오, 텔레스트림, Vizt, 윗스톤(Wheatstone), 와이즈DV, 지네마 모션(Zinema) 등은 주요 전시 기업이다.

NAB 2024에서 소니는 주인공이었다. 버추얼 프로덕션 생태계를 일목요연하게 보여줬기 때문이다. 소니(Sony)는 NAB 2024에서 다양한 신제품과 서비스를 가지고 나왔지만 결국 버추얼 프로덕션이 메인이었다. 원격 및 분산 프로덕션, 캡처, 모니터링, 오디오, 클라우드 등 가상 프로덕션 영역 솔루션을 대거 선보였다. 버추얼 프로덕션을 통해 다양한 포맷의 방송을 대비하고 레거시 미디어뿐만 아니라 AI, 크리에이터 이코노미에서도 점유율을 높이기 위해 노력 중이다.

소니 현장 부스는 NAB 2024에서 방송, 라이브 제작, 뉴스, 영화 등을 위한 다양한 장비와 서비스를 전시했다.⁸⁾ ‘마스터 오브 에어(Master of Air)’ 등 버추얼 프로덕션이 쓰인 영화와 관계자들도 설명회에 참석해 많은 호응을 얻었다. 소니의 버추얼 프로덕션은⁹⁾ 로케이션(현장) 촬영의 사실감과 가상 세트의 유연성을 최적 모드로 결합한 것이 특징이다.

NAB 2024에서는 소니 버추얼 프로덕션 툴 셋(Sony’s Virtual Production Tool Set)이 전시됐다. 버추얼 프로덕션 툴 셋은 사전 제작(프리 프로덕션) 및 온셋 워크플로우(on-set workflows)를 개선하는 데 도움이 되는 리소스 모음을 보여줬다.

카메라 호환성, VENICE 디지털 시네마 카메라와 언리얼 엔진 간 카메라 설정 동기화, 태블릿을 사용한 가상 카메라 관리 기능 등이 새로운 기능으로 포함됐다. 또 현장에서는 소니가 내놓은 최첨단 크리스탈 LED 베로나 디스플레이(Crystal LED VERONA display)도 설치됐다. 이 디스플레이는 카메라 내 VFX 애플리케이션에 품질과 효율성을 제공한다. 디스플레이는 새로운 딥 블랙 및 반사 방지 표면 기술과 설치가 간편한 1:1 캐비닛 디자인이 특징이다.

버추얼 프로덕션은 앞으로 더 확산될 가능성이 있다. 버추얼 프로덕션은 현지 로케 등 물리적인 촬영 한계를 뛰어넘을 수 있을 뿐만 아니라 제작비 절감 효과와 환경 보호에도 도움을 준다. 현지 촬영을 최소화할 수 있어 물리적인 출장 비용도 줄어든다.

미국 케이블TV FX 드라마 시리즈 2022년 '스노우폴'(시즌5, 6)은 버추얼 프로덕션 도입으로 시즌당 100만 달러의 비용을 절감했다. 스노우폴 펜트하우스 세트에는 LED 벽이 사용됐다. 드라마의 배경으로 등장하는 파리나 디트로이트 등을 보여주기 위해 바퀴가 달린 캐스터를 사용, LED 월을 세트에서 세트로 이동했는데, 제작진은 두 개의 LED 월을 구매할 필요 없이 하나의 이동식 월(single portable)만 구입하면 됐다.

버추얼 프로덕션과 생성AI, 클라우드 제작 등 최신 엔터테인먼트 테크놀로지 기술이 만나는 프로젝트도 연출됐다.

용감한 두 명의 카우걸이 달에 착륙한다. 달에서의 탐험이 시작되고 적들에게 노출된 카우걸들은 말에서 내려 총격전을 벌인다. 그러나 그녀들의 타고 있는 말은 장난감 말처럼 생겼다. SF영화 예고편 ‘달에 간 카우걸(Cowgirls on the Moon)’의 줄거리다. 물론 이 예고편은 사실 가짜다. AWS가 새로운 영화 제작 기법을 시도하는 ‘무비랩스 2030 비전(MovieLabs 2030 Vision)의 요소를 가미해 만들었다. AWS의 실험 프로젝트 영화 “Cowgirls on the Moon”은 최근 확산되고 있는 버추얼 프로덕션과 AI의 만남을 그대로 묘사했다. AI를 이용해 각 제작 요소(배경, 배우, 그래픽)를 만들어내고 촬영은 버추얼 스튜디오에서 진행했다.

6. 스트리밍과 FAST도 NAB의 주요 이슈

스트리밍 서비스 역시, 방송 엔터테인먼트 산업을 흔들고 있다. NAB 2024에서도 스트리밍 서비스는 주요 주제였다. ‘스트리밍은 방송의 새로운 질서(Streaming as the new normal for broadcasting)’라는 용어들이 자주 등장했다. 전시장에서도 스트리밍 관련 장비, 서비스 기업들이 나왔다. AWS, 브라이트코브(Brightcove), 아마기(Amagi), TvU 등이 대표적이다.¹⁰⁾

FAST 플랫폼은 NAB에서 시청 시간을 극대화하고 고객 이탈을 줄이기 위해 빠르고 효율적인 채널 생성 및 콘텐츠 개인화가 가능한 솔루션을 선보였다. 아마존웹서비스(AWS)¹¹⁾는 현장에서 주문형 비디오(VOD)에 아마존 개인화(Amazon Personalize)의 기능을 결합하면 VOD 콘텐츠를 소비하는 고객의 의사 결정 피로도를 줄이고 만족스러운 경험을 제공할 수 있다는 내용을 현장에서 홍보했다.

스트리밍 테크놀로지 회사 브라이트코브(Brightcove)는 현장 부스에서 하나의 플랫폼에서 실시간 채널을 만들고, 미디어로 수익을 창출할 수 있는 클라우드 플레이아웃 2.0(e Cloud Playout 2.0)을 선보였다. 브라이트코브에 따르면, 사용자는 기존 콘텐츠 카탈로그와 라이브 스트리밍을 활용해 몇 분 만에 채널을 구축할 수 있다.

FAST, 스트리밍 관련 컨퍼런스 세션(Session)도 따로 마련됐다. 2024년 4월 15일과 16일 진행되는 ‘스트리밍 서밋(Streaming Summit)’에는 37개의 전문 컨퍼런스가 진행된다. 최근 급속히 확산되고 있는 무료 광고 기반 스트리밍 TV FAST(Free Ad Supported Streaming TV) 관련 세션에는 많은 사람이 몰리기도 했다.

7. 나가며 “NAB 2024는 방송의 미래”

NAB 2024는 예전처럼 많은 방송, 미디어, 엔터테인먼트 업계 관계자가 모였지만, 사실 방송 장비만을 전문적으로 전시한 행사는 아니었다. 오히려 AI가 집중적으로 소개되면서 방송을 뛰어넘는 ‘미디어의 미래’를 보여주는 이벤트로 진화했다. 이제 NAB에는 방송 산업만을 다루는 행사가 아닌 미디어 전반의 기술 변화와 ‘크리에이터 이코노미’와 같은 새로운 산업이 뜨는 곳의 지형을 확인하는 이벤트가 됐다는 평가를 받고 있다.

올해(2024년)의 주제는 ‘AI의 미래 수용(Embracing the Future of AI)’이었다. 즉, AI가 콘텐츠 제작과 유통, 수익 창출 과정을 어떻게 변화시키는 지에 초점을 맞췄다. 행사 역시 앞서 언급했듯, AI가 각 방송, 엔터테인먼트 분야에 어떻게 스며 들었는지를 제대로 보여줬다.

앞으로 AI는 방송, 영상 산업에서 엔터테인먼트 테크놀로지 기술 중 가장 많은 영향을 미칠 것으로 예상된다. FAST와 스트리밍의 방송 산업 내 영향력과 점유율도 더 강해질 것이다. 2022년 이후 급속히 방송 산업에 들어온 크리에이터 이코노미도 마찬가지다.

앞으로도 NAB는 이런 엔터테인먼트 테크놀로지의 지형을 그리며 우리에게 인사이트를 줄 것으로 전망된다. 이에 우리는 방송 산업과 수익 모델의 미래를 예측하기 위해 앞으로도 NAB쇼를 계속해 주목할 필요가 있다.