2인공지능과 미디어 엔터테인먼트 산업
2.1 인공지능의 정의 및 유형
인공지능이라는 용어는 1956년 다트머스 대학에서 열린 콘퍼런스에서 존 매카시(John McCarthy)가 처음 사용하였다. 그에 따르면 인공지능은 “지능적 기계를 만드는 과학과 공학, 특히 지능적 컴퓨터 프로그램(the Science and engineering of making intelligent machines, especially intelligent computer programs)을 의미한다.” 매카시는 상식의 형식화(formalization)와 추론(reasoning)이라는 관점에서 인공지능에 접근했는데, 이는 컴퓨터 프로그램 차원에서 고도의 알고리즘 체계로 구현된다. 고도의 알고리즘이 빅데이터와 결합하면 인공지능은 인간의 개입 없이도 진화하고 사고한다.
출처: 박소연, 이창엽, 안창현(2020.11.17.) AI, 현재와 미래–1부. 인공지능 기술은 어떻게 분류되는가?, 투이컨설팅, [그림2] 일부 수정
인공지능이 일련의 작업을 수행하기 위해서는 네 가지 단계를 거쳐야 한다. 먼저 상호작용(Interaction)을 통해 인간 혹은 대상으로부터 입력받은 데이터를 컴퓨터가 이해할 수 있는 방식으로 변환해야 한다. 다음 단계는 학습(Analytics)으로 머신러닝, 딥러닝 등의 기법을 활용하여 데이터로부터 판단을 위한 패턴을 학습한다. 세 번째인 추론(Inference) 단계에서는 학습된 패턴을 통해 데이터의 의미를 판단하거나 결과를 예측한다. 마지막 수행(Performance) 단계에서는 추론 결과를 바탕으로 실제적인 작업을 수행한다.
이와 같은 작업은 시각지능, 언어지능, 자율주행, 로봇공학 등 다양한 인공지능 영역에서 공통으로 이루어진다. 다양한 유형의 인공지능 기술 가운데 이미지 데이터를 분석하는 시각지능, 문자 혹은 음성 데이터를 분석하는 언어지능, 기존 데이터를 학습하여 새로운 지식을 발견하거나 큐레이션하는 전문가 시스템이 특히 엔터테인먼트 산업과 관련이 깊다.
2.2 인공지능과 미디어 엔터테인먼트 산업의 가치사슬
시각지능, 언어지능, 전문가 시스템이 엔터테인먼트 산업에 활용되는 양상을 구체화하기 위해서는 인공지능 기술을 구분한 것처럼 미디어 엔터테인먼트 산업의 가치사슬도 구분해 살펴보는 것이 유용하다. 다음 표는 이를 구분한 다음 각각의 영역에 해당하는 주요 사례를 적용비교해 본 것이다.
미디어 엔터테인먼트 산업의 가치사슬은 일반적으로 콘텐츠-플랫폼-네트워크-디바이스(C-P-N-D)로 구성된다. 위의 표는 이 중 네트워크(N)를 제외하고 대신 콘텐츠 서비스(CS)를 포함한다. 여기서 ‘콘텐츠 서비스’는 개인화된 추천과 같이 콘텐츠와 이용자가 만나는 접점에서 최종 이용자에게 제공되는 서비스를 가리킨다.
1 엔터테인먼트 사업이 이용자를 자사의 콘텐츠, 플랫폼, 디바이스에 붙잡아두려(lock-in) 할수록, 맞춤형 서비스를 제공하는 콘텐츠 서비스의 중요성은 커지고 있다.
서두에서 언급한 네이버웹툰의 오토드로잉툴은 시각지능 영역의 인공지능을 활용해 콘텐츠 제작을 지원함으로써 더 많은 창작자가 웹툰을 만들 수 있도록 돕는다. 많은 영상 · 음악 플랫폼이 제공하는 개인화된 추천 서비스는 전문가 시스템 영역의 인공지능을 활용해 맞춤 콘텐츠를 추천하고 이용자를 해당 플랫폼에 묶어둔다. 메타버스 플랫폼은 향후 서비스 제공 범위에 따라 다양한 유형의 인공지능 기술과 모두 연관될 수 있다. 가치사슬의 각 단계에서 산출된 엔드 콘텐츠와 이용자들의 행태는 다시금 데이터화되어 인공지능의 학습과 진화에 영향을 미친다. 이와 같은 방식으로 인공지능은 미디어 엔터테인먼트 산업의 제 영역과 관계 맺는다. 구체적인 활용사례를 살펴보도록 하자.
- 가치사슬에 ‘콘텐츠 서비스’를 포함하는 방식은 다음을 참조: 이상규 · 이성민(2020). <콘텐츠 산업 트렌드 2025>, 한국문화관광연구원
3미디어 엔터테인먼트 산업의 인공지능 활용사례
3.1 콘텐츠 기획에서의 활용사례
엔터테인먼트 산업에서 콘텐츠를 만들기 위한 첫 단계는 성공 가능성이 큰 이야기(storytelling) 콘텐츠를 개발 및 확보하는 일이다. 인공지능 기술은 이야기의 성공 가능성을 판단하는 데 활용된다. 예를 들어 넷플릭스(Netflix)는 <하우스 오브 카드(House of Cards)>를 기획 · 제작하는 과정에서 인공지능을 통해 분석한 시청자들의 이용 행태를 참고했다. 이와 유사하게 최근 몇 년간 할리우드에서는 시네리틱(Cinelytic), 스크립트북(Scriptbook), 볼트(Vault), 파일럿(Pilot) 등 영화 시나리오를 판단하여 흥행을 예측하는 인공지능 서비스가 연달아 출시되었다.
시네리틱의 전문가 시스템 작동원리는 다음과 같다. 기존 영화의 흥행실적 데이터를 바탕으로(상호작용), 머신러닝을 통해 흥행작의 패턴을 학습하고(학습), 총 19가지 속성을 바탕으로 미래의 이익을 추론함으로써(추론), 시나리오의 흥행 전망 및 효율적인 재무 모델을 제안한다(수행). 제작자들의 경험 및 직관보다 더 객관적인 예측을 도출할 수 있다는 기대에 힘입어 시네리틱은 2020년 워너브러더스(Warner Bros.)와 계약을 맺었다.
3.2 콘텐츠 창작에서의 활용사례
3.2.1. 인공지능의 단독 창작
스스로 학습하고 진화하는 인공지능의 출현은 독자적으로 콘텐츠를 창작하는 인공지능의 가능성에 대한 기대와 관심을 불러일으켰다.
이와 같은 창작 실험은 주로 미술과 음악 영역에서 이루어졌다. 미술 영역의 대표적인 사례는 2016년 마이크로소프트가 램브란트 박물관 및 네덜란드 기술자들과 공동으로 개발한 ‘넥스트 렘브란트(The Next Rembrant)’ 프로젝트다. 연구진은 렘브란트 작품 364점을 3D 기술을 이용해 스캔하여 데이터화한 다음, 딥러닝과 안면인식 기술을 통해 그림의 특정 패턴이나 구도 등을 학습시킴으로써 렘브란트의 화풍을 재현하는 데 성공했다.
특히 엔터테인먼트 산업의 관점에서 눈여겨볼 만한 성과는 음악 영역에서 나타나고 있다. 영상과 음성 콘텐츠의 중요성이 커지면서 저작권 걱정 없이 간단한 배경음악으로 사용할 수 있는 음원에 대한 수요가 커졌는데, 인공지능을 활용한 음악 창작은 여기에 하나의 돌파구가 되고 있다.
2012년 영국에서 공개된 쥬크덱(Jukedeck)은 이용자의 취향에 맞춰 음악을 자동으로 생성하는 인공지능 작곡 시스템이다. 2019년에는 틱톡(TikTok)의 모기업인 바이트댄스(Bytedance)에 인수되어 이용자들이 만드는 숏폼 콘텐츠의 배경음악 제작에 활용되고 있다. 이외에도 구글(Google)과 소니(Sony) 등이 관련 기술을 실험하고 있으며 네이버도 인공지능 작곡 스타트업 포자랩스에 대한 투자를 지속하고 있다.
3.2.2. 인공지능과 인간의 협업을 통한 창작
창작의 폭과 깊이는 인공지능과 인간이 협업할 때 더 커진다. 2019년 한국의 업보트엔터테인먼트가 개발한 ‘아이즘(AISM)’은 딥러닝을 활용한 인공지능 작곡 프로그램이다. 클래식 자장가, 한국과 미국의 전래동요를 학습한 다음 모차르트의 ‘반짝반짝 작은 별’ 같은 참고 음악을 제시하면 이와 유사한 수 백개의 곡을 창작해 낸다. 상품화를 위해 인공지능이 작곡한 곡을 인간이 최종적으로 선정하여 다듬는 과정을 거친다는 것이 단독 창작과의 차이다.2020년부터 발표하기 시작한 인공지능 동요 앨범은 스트리밍 플랫폼 지니뮤직에서 약 21만 회 재생되었다.
인공지능이 창작한 시나리오를 영상화하는 작업도 꾸준히 시도되고 있다. 2020년 미국 채프먼대학교 학생들이 인공지능 ‘GPT-3’을 활용해 단편영화 시나리오를 작성하고 영화화한 것이 최근의 사례다. 인공지능 연구소 오픈AI(OpenAI)가 2020년 발표한 GPT-3은 방대한 데이터를 학습해 고차원적 추론의 결과를 인간다운 텍스트로 만들어내는 언어지능으로서 인간처럼 대화하고 글을 쓸 수 있다. 채프먼대학교 학생들은 이를 활용하여 <방문 판매원(Solicitors)>이라는 단편영화 시나리오를 작성하고 영화화했다. 약 3분 정도 길이의 영화는 20초부터 “여기부터 인공지능이 쓴 이야기입니다.”라는 자막과 함께 GPT-3가 만든 대사를 보여줬다.
이용자와 상호작용하는 양방향 콘텐츠 제작은 높은 활용도가 예측되는 분야 중 하나다. 2019년 북미의 스타트업 래티튜드(Latitude)는 GPT-3을 이용해 무한한 스토리를 생성하는 텍스트 기반 온라인 게임
을 출시했다. 기존의 텍스트 기반 게임은 개발자가 설계한 스토리라인을 벗어날 수 없다는 한계를 갖고 있다. 이에 비해 은 플레이어의 모든 행위에 반응하며 이야기를 계속 이끌어나갈 수 있다. 플레이어의 자유를 완벽하게 보장할 뿐 아니라 모든 플레이어에게 서로 다른 플레이 경험을 제공할 수 있다는 점이 특징이다.
비슷한 맥락에서 인공지능 기술은 이용자가 직접 콘텐츠를 창작해내는 메타버스에서 더 활용도가 높아질 전망이다. 미국의 메타버스 플랫폼 로블록스(Roblox)에서 인기를 끌고 있는 <스플래시 뮤직(Splash Music)>이 하나의 사례다. 스플래시 뮤직은 가상 클럽에서 이용자가 디제이(DJ)가 되어 만든 음악에 맞춰 다 같이 춤을 추는 게임이다. 이때 디제이들은 인공지능을 통해 생성된 비트와 루프를 이용해 힙합, 트랩 등 장르의 곡을 만들어냄으로써 메타버스 안에서 명성과 코인을 얻는다.
3.2.3. 콘텐츠 창작 지원: 제작 방식의 효율화
인공지능은 콘텐츠 제작의 도구로 활용되어 전체적인 제작 환경의 효율성을 개선하거나 새로운 제작 방식을 가능하게 만든다. 이미지, 영상, 게임 등의 분야에서 이와 같은 시도가 활발하다. 2021년 오픈AI는 텍스트를 입력하면 관련된 이미지를 자동으로 생성하는 인공지능 ‘달리(DALL-E)’를 발표했다. 예를 들어 ‘아보카도 모양의 안락의자’를 입력하면 달리는 아보카도를 반으로 자른 형태의 의자에 씨 모양의 쿠션을 추가한 디자인을 만들어낸다.
영상 제작에서 인공지능은 촬영, 편집, 스케줄 관리 작업 등에 쓰인다. 미국 엔드큐(End Cue)의 ‘애자일 프로듀서(Agile Producer)’는 각본 분석을 통해 촬영에 필요한 캐릭터, 소품, 오디오/비디오 효과 등 다양한 요소들을 추출하고, 배우의 스케줄, 촬영 장소, 장비, 날씨 및 예산 등을 고려하여 최적의 스케줄을 자동으로 관리한다. 이스라엘의 픽셀롯(Pixellot)은 인공지능과 클라우드를 활용한 무인 스포츠 중계 콘텐츠 제작 시스템이다. 경기장에 설치된 무인 다중 카메라가 경기장 전체를 파노라마 촬영하여 클라우드에 저장하면, 클라우드의 인공지능이 경기 상황에 따라 적절한 부분을 편집하여 방송에 내보낸다. SK텔레콤과 카카오VX도 인공지능을 활용한 스포츠 중계에 박차를 가하고 있다. 2021년 6월부터 골프 중계에 도입될 인공지능 기술은 주요 장면을 실시간으로 자동 편집하는 한편, 선수의 퍼팅 라인을 예측해 보여준다.
그래픽 작업에도 인공지능이 널리 쓰인다. 2019년 넷플릭스를 통해 개봉한 영화 <아이리시맨(The Irishman)>은 주연 배우의 얼굴에 별도의 마커를 붙이거나 HMC(Head-Mounted Camera)를 씌우지 않은 채 인공지능을 활용해 배우들의 젊은 시절 얼굴을 재연하는 기술을 선보였다. 2020년 공개된 게임 <사이버펑크 2077(Cyberpunk 2077)>은 머신러닝 기반 인공지능 기술을 활용하여 11개 언어 버전에서 캐릭터의 입 모양과 대사를 완전히 일치시켰다. 2021년 tvN에서 방영한 드라마 <나빌레라> 역시 인공지능을 활용해 발레 장면의 대역 안무와 주연 배우의 얼굴을 자연스럽게 합성한 모습을 보여줬다.
3.3 콘텐츠 서비스에서의 활용사례
3.3.1. 개인화된 추천
콘텐츠 큐레이션, 그 가운데서도 ‘개인화된 추천(Personalized recommendation)’은 인공지능을 활용한 콘텐츠 서비스의 대표적인 유형이다. 이용자의 콘텐츠 이용 데이터를 학습하여 패턴을 발견하고 이용자가 시청할 것으로 예상되는 콘텐츠를 추론해 사전에 분류 및 배치해 최적
의 맞춤형 서비스를 제공한다. 넷플릭스가 2006년 10월부터 2009년 7월까지 약 3년에 걸쳐 진행한 알고리즘 경진대회(Netflix Prize)를 통해 산업 전반에 널리 퍼졌으며, 특히 영상, 음악, e-커머스 등 플랫폼 비즈니스를 중심으로 하는 기업의 핵심 경쟁력으로 자리매김하고 있다.
음악을 듣는 방식이 스트리밍으로 바뀌면서 음악 플랫폼에서 개인화된 추천 서비스의 중요성도 커졌다. 2018년 스트리밍 플랫폼 ‘바이브(VIBE)’와 ‘플로(FLO)’가 인공지능 기술을 바탕으로 음악 서비스를 시작했다. 플로의 경우 이용자의 30%가 인공지능이 추천한 음악과 맞춤형 플레이리스트를 통해 음악을 듣는다. 2021년 한국 서비스를 시작한 ‘스포티파이(Spotify)’ 역시 개인화된 서비스를 앞세운다. 주요 음악 플랫폼이 스트리밍을 넘어 팟캐스트, 오디오북 등 오디오 콘텐츠 전반을 강화하면서 음악산업에서 개인화된 추천 서비스의 영향력은 더욱 커질 전망이다.
미디어 콘텐츠와 e-커머스가 밀접하게 연관된 패션 산업에서도 개인화된 맞춤 서비스는 중요한 비즈니스 모델 중 하나다. 미국의 온라인 패션 플랫폼 ‘스티치 픽스(Stitch Fix)’는 빅데이터와 인공지능을 활용해 이용자에게 최적의 스타일링을 제안하고 큐레이팅한 선물상자를 사용자의 집까지 배송하는 서비스를 선보인다. 2017년 나스닥에 상장한 기업 가치는 현재 3조 4,000억 원에 달한다. 한국에서는 정부 지원을 통해 개발된 ‘마이 스타일 랩’이 2020년부터 서비스를 시작했고, 카카오커머스가 운영하는 ‘카카오스타일’ 역시 2020년부터 개인화 추천 서비스를 제공하고 있다.
3.3.2. 디지털 아바타
이모티콘은 일상에서 가장 널리 쓰이는 디지털 아바타이다. 그동안 대부분의 이모티콘 서비스는 플랫폼, 앱, 디바이스 등에서 이미 디자인된 이모티콘을 제공하는 형태를 취했지만, 근래에는 안면인식, 머신러닝 등의 인공지능 기술을 활용해 이용자들이 자신의 개성에 맞는 이모티콘을 직접 만들 수 있는 서비스들이 등장하고 있다. 미국의 AI 스타트업 ‘미러 AI(Mirror AI)’는 셀카(selfie)를 개인의 애니메이션 이모티콘으로 변환할 수 있는 서비스를 제공한다. 애플이 iOS13버전부터 지원한 ‘미모티콘(MEmoticon)’ 서비스는 카메라를 통해 이용자 자신을 닮은 이모티콘을 만들고 이를 다양한 앱에 활용할 수 있도록 한다.
이모티콘이 이미지에서 움직이는 애니메이션으로 발전하고 다양한 앱을 통해 폭넓은 방식으로 활용되면서, 이모티콘은 점차 디지털 아바타에 가까운 형태로 발전하고 있다. 최근 메타버스 플랫폼으로 주목받는 제페토 역시 인공지능을 활용해 캐릭터를 생성하고 꾸미는 ‘스노우(SNOW)’ 앱에서 시작했다. 이를 별도의 서비스로 출시하여 아바타들이 자유롭게 놀 수 있는 가상공간을 구현한 것이 지금의 제페토이다. 제페토는 현재 글로벌 가입자 2억 명을 돌파하며 국내 메타버스 플랫폼의 선두주자로 자리잡고 있다.
영상 분야에서도 디지털 아바타의 활용 가능성은 크게 점쳐지고 있다. 2020년에는 MBN종합뉴스의 김주하 아나운서를 본뜬 디지털 아바타가 뉴스를 진행했고, 2019년에는 중국CCTV의 구정 특집 프로그램에서 실제 인간과 이를 본뜬 인공지능 MC가 함께 프로그램을 진행하는 모습이 방영됐다. 새로운 엔터테인먼트 경험을 제공할 뿐 아니라, 스크립트를 입력하기만 하면 곧바로 실시간 진행이 가능하다는 것이 장점이다. 이 같은 장점에 주목한 정부는 현재 인공지능 아바타를 활용해 음성을 자동으로 수어로 변환하거나 감정을 음성으로 변환하는 기술을 개발 중이다.
4인공지능이 미디어 엔터테인먼트 산업에 미치는 영향과 시사점
4.1 창작환경 변화
인공지능 기술의 활용이 콘텐츠 창작의 다양성이라는 측면에 미치는 영향은 양가적이다. 흥행 예측을 통해 성공 공식을 갖춘 것으로 승인받은 콘텐츠에 투자가 몰리고 제작이 우선해서 이루어진다면 다양성은 위축될 수 있다. 인공지능이 학습 대상으로 삼는 데이터가 과거의 것일 수밖에 없다는 점을 고려하면 새롭고 실험적인 시도는 더욱 어려워지게 된다. 반면에 인공지능이 창작을 보조해 제작의 문턱이 낮아지면 다양한 창작자가 제작에 뛰어 들수 있고, 비용의 효율이 높아지면 전에 없던 콘텐츠를 실험하거나 제작하는 일도 손쉬워진다. 픽셀롯( Pixellot)의 예처럼 별도의 촬영, 제작인력을 필요로 하지 않게 된다면 그동안 현실적인 이유로 중계하지 못했던 다양한 리그와 경기를 중계하는 것도 얼마든지 가능하다. 결국 인공지능의 도입이 콘텐츠 다양성에 미치는 영향은 미디어 엔터테인먼트 산업의 제작 단계와 콘텐츠 장르에 따라 달라질 수밖에 없다. 인공지능 기술이 일자리와 노동시간에 미치는 영향을 파악하는 데에도 동일한 원칙이 적용된다. 이를 세심하게 고려하는 분야별 · 장르별 연구조사와 정책적 관심이 뒤따라야 한다. 더불어 창작자와 중소기업이 인공지능기술을 손쉽게 활용할 수 있도록 돕는 지원방안도 고민해볼 필요가 있다.
4.2 개인정보 및 저작권 보호
인공지능의 발달과 함께 데이터의 가치가 높아지면서 데이터에 포함된 개인정보의 가치 또한 높아지고 있다. 정교한 개인화 추천 알고리즘을 만들기 위해서는 그만큼 세세한 개인정보의 수집 및 분석이 필요하기 때문이다. 기업은 다양한 방식으로 자사의 콘텐츠 · 서비스 · 디바이스 이용자의 개인정보를 기록하고 저장한다.
이용자의 개인정보 데이터가 충분하게 보호받고 적절하게 관리되고 있는지, 예를 들어 ‘이루다’ 사태처럼 기업이 수집한 데이터가 외부로 유출될 우려는 없는지 등에 대해 우려하는 이유이다.
개인정보가 포함되어 있지 않은 데이터의 저작권을 보호하는 것도 중요하다. 인공지능이 데이터를 대량으로 분석하는 과정에서 저작물을 복제하거나 전송하는 경우, 이것이 저작권 침해에 해당하는지에 대한 명문 규정은 아직 마련되지 않았다. 인공지능 창작물의 저작권 인정 여부 역시 불분명한 것은 마찬가지다.
중요한 것은 이용자와 기업 간 신뢰를 구축하고 기업의 사업 수행에서 불확실성을 해소하는 것이다. 이를 위해서는 이용자가 개인정보 수집 범위 및 이를 활용해 제공되는 서비스에 대해서도 일정 정도 선택권을 보장받을 필요가 있다. 관련 법 · 제도가 명문화되어야 하는 한편으로 기준으로 삼을 구체적인 가이드라인도 제시되어야 한다. 이와 관련해 정부가 저작권법 개정을 준비하고 ‘AI 개인정보보호 자율점검표‘, ‘인공지능 기반 추천 서비스 이용자 보호를 위한 기본 원칙’ 등 가이드라인을 공개하여 논의를 진행하고 있는 것은 고무적이다. 2021년 4월 개인정보위원회가 이루다의 개발사인 ‘스캐터랩’에 과징금/과태료를 부과한 결정도 실제 사업수행과 정에서 기업이 수행해야 하는 개인정보보호 범위를 점검하기 위한 지침으로 삼을 수 있다.
4.3 인공지능 윤리
인공지능 기술의 확산은 개인정보 유출에 대한 우려와 함께 인공지능 윤리와 관련한 숙제도 남기고 있다. 영상과 그래픽 분야에서 활용되는 딥페이크(deepfake) 기술은 가짜뉴스 생산 및 각종 범죄에 이용되고 있다. ‘이루다’ 사태에서 보듯 인공지능이 이용자의 데이터를 바탕으로 학습한다는 것을 이용하여 문제가 있는 데이터를 학습시키는 방식으로 인공지능을 오용하는 경우도 있다.
2016년 마이크로소프트(Microsoft)가 출시한 챗봇 ‘테이(Tay)’의 경우, 인종 · 젠더 차별주의자로부터 학습한 언어를 사용하면서 출시하지 16시간 만에 운영이 중단된 바 있다.
현재의 인공지능 시스템은 사회적 맥락의 이해나 필터링이 쉽지 않다. 그렇다고 인간이 필터링에 개입하면 또 다른 문제를 만들 수 있다. 앞서 예로 든 텍스트 기반 게임
에서는 최근 일부 이용자가 부적절한 표현을 게임에 입력하여 학습시키고 있다는 사실이 발견되었다. 개발사는 필터링 시스템을 구축하여 특정 단어가 필터에 걸릴 경우 관련 내용 전체를 검토하는 방식으로 대응했지만, 이 과정에서 이용자의 사적인 행위를 지나치게 감시한다는 반발이 제기되었다.
여러 어려움에도 불구하고, 인공지능 기술이 발전하기 위해서는 정부와 기업이 함께 책임있는 방식으로 기술을 개발하고 서비스를 진행하려는 노력을 계속해야 한다. 최근 구글은 인공지능 윤리 담당 연구진을 현재의 200명 규모에서 두 배로 늘리겠다는 방침을 밝혔다. 정부도 2020년 연말 ‘AI 윤리기준’을 공개하여 기술의 오용과 데이터 편향을 경계하고 있다. 기준을 제정하고 가이드라인을 마련하는 것은 끝이 아니라 시작이다. 이를 실효성있게 만들기 위한 고민이 계속되어야 한다.