한국방송통신전파진흥원MEDIA ISSUE & TREND Vol.65

1. AI 에이전트로서의 AI 검색

퍼플렉시티(Perplexity), 구글 AI 오버뷰(Overviews), 서치GPT 그리고 네이버 뷰(VIEW)까지 다양한 AI 검색 서비스가 쏟아지고 있다. 이러한 변화는 두 가지 간단한 질문을 제기한다. 첫 번째, 구글과 네이버의 공고했던 지위가 흔들릴 수 있지 않을까? 두 번째, 비즈니스 마케팅 방식에도 주요한 변화가 일어나지 않을까? 두 질문의 대답은 모두 “예스(YES)”다.

AI 검색은 전통적인 검색 엔진의 강점과 거대언어모델의 고급 대화 능력을 결합한 AI 기반 검색 엔진이다. 구글이나 네이버 같은 기존의 검색 서비스가 이용자 질문(쿼리)에 대해 다양한 링크 목록을 검색 결과로 제공했다면, AI 검색은 이용자의 의도와 문맥을 이해하여 직접적인 답변과 요약 및 인사이트를 제공한다. 즉, AI 검색은 더 빠르고 더 나은 품질의 결과를 제공하도록 설계됐다.

퍼플렉시티는 BBC, YTN, 한국일보 등 국내외 신뢰 높은 언론에 등장한 많은 전문가 의견을 분석한 다음, 그 결과를 종합하여 답변한다. 퍼플렉시티에 “우크라이나와 러시아 전쟁은 언제쯤 끝날 수 있을 것 같아?”라고 질문하면 “우크라이나와 러시아 간의 전쟁 종식 시기를 정확히 예측하기는 어렵지만, 현재 상황을 고려할 때 단기간 내 종전은 기대하기 어려워 보인다.”라고 답하고, 각주 형식으로 최근 상황이 담긴 BBC 및 CNN 기사를 제시한다.

특히 AI 검색은 2024년 미국과 유럽 국가의 우크라이나 군사 및 재정 지원이 늦어지거나 불확실해지는 상황을 종전의 가장 큰 문제점으로 꼽는다. 이로 인해 우크라이나의 무기 공급 능력이 둔화되고 있기 때문이다. 여기서 그치지 않고 퍼플렉시티는 “서방 국가들은 우크라이나 전쟁에 어떤 역할을 할까?”, “러시아의 군사 전략은 어떻게 변화하고 있을까?” 등의 매우 유의미한 관련 질문(Related)을 추가로 보여준다. AI 검색 결과에는 2페이지, 3페이지 등이 없으며 후속 질문이 있을 뿐이다. AI 검색은 가장 좋다고 판단되는 결과를 제공하기 위해 결과의 양을 제한한다. ‘Less is More(간결할수록 더 좋다)’라는 접근 방식이다. 또한 AI 검색 결과 하단부에 이어지는 대화형 검색 인터페이스는 검색 이용자가 AI를 사용하여 검색 과정에 참여할 수 있는 다양한 기회를 제공한다. 전 세계의 지식에 접근할 수 있는 새로운 방식이 만들어지고 있는 셈이다.

퍼플렉시티 검색 질문 수는 2023년에 연간 약 5억 건에 지나지 않았으나, 2024년 7월 그 수는 한 달 동안에만 2억 5천만 건으로 급증했다.¹⁾ 퍼플렉시티의 주요 투자자로는 소프트뱅크(Softbank), 아마존(Amazon) 창업자 제프 베이조스(Jeff Bezos), 엔비디아(NVIDIA) 등이 있으며, 2024년에는 한국의 SK텔레콤(이하 SKT)이 새로운 투자자로 합류했다. SKT 고객은 퍼플렉시티 유료 버전(Pro)을 1년간 무료로 이용할 수 있게 됐다. 특히 이 유료 버전에서는 AI 검색 질문에 대한 의도를 더 정확하게 파악하기 위해 질문을 하위 단계로 세분화하여 더욱 세밀하게 답을 찾아낸다.

오픈AI(OpenAI)도 서치GPT라는 프로토타입(Prototype) 검색 서비스를 공개하며 구글이 지난 20여 년간 공고하게 지켜 온 검색 시장의 지위를 위협하고 있다. 서치GPT가 작동하는 방식도 퍼플렉시티와 유사하게 질문과 답변 형식으로 이용자가 원하는 것을 더욱 빠르고 쉽게 찾을 수 있도록 도와줄 것으로 예상된다.

이외에도 다양한 스타트업이 AI 검색 시장에 속속 등장하고 있다. ‘월드 와이드 웹(World Wide Web, www)’과 함께 검색 시장이 형성된 이래 가장 강력한 경쟁 상황이 펼쳐지고 있는 형국이다. 구글과 네이버는 전통 검색과 AI 검색을 혼합하는 방식의 AI 오버뷰 및 네이버 큐(Cue:)라는 하이브리드 모델로 대응하고 있다.

AI 검색에는, 이용자 선호도와 검색 패턴 등을 학습하고 개인화된 검색 결과를 제공한다는 점에서 ‘학습 에이전트’와 이용자의 검색 의도를 파악하기 위해 다양한 방법으로 노력한다는 점에서 ‘목표 기반 에이전트’ 등 복수의 에이전트 모델이 사용되고 있다. 특히 과거 시점의 데이터로 학습된 거대언어모델의 한계를 뛰어넘기 위해 ‘검색 증강 생성(Retrieval-Augmented Generation, RAG)’ 기법을 사용하는 점이 놀랍다.

검색 증강 생성, 즉 RAG에서 생성(Generation)은 이용자 요청에 대한 응답으로 텍스트를 생성하는 거대언어모델을 의미한다. 여기서 결정적 문제는 생성된 내용을 뒷받침할 출처가 없다는 점이다. 이때 환각이 발생할 가능성이 높다. 예를 들어 GPT-4o에 “태양계에서 가장 많은 위성이 있는 행성이 어디야?”라고 묻는다면, GPT-4o가 학습된 2023년 10월을 기준으로 “총 146개의 위성을 가진 토성”이라는 답이 생성된다. 그러나 2023년 4월까지의 데이터로 학습된 GPT-Turbo에 동일한 질문을 할 경우 “총 92개의 달을 가지고 있는 목성”이라는 답이 나온다. 2023년 5월에 추가로 발견된 토성의 위성 62개가 고려되지 않았기 때문이다. 이렇게 생성은 거대언어모델 학습 시기에 따라 잘못된 정보를 제공할 가능성이 있다.

만약 AI가 잠시 시간을 내서 나사(NASA)와 같은 공신력 있는 출처에서 답을 찾아보았다면 어땠을까? 검색 증강(Retrieval-Augmented)은 거대언어모델이 알고 있는 것에만 의존하지 않고 나사 웹사이트와 같은 외부 콘텐츠 저장소를 추가로 활용한다는 의미다. 또한 검색 증강은 거대언어모델이 답변을 하기 전에 가장 최신의 정보 또는 실시간 데이터라는 도구를 활용한다는 뜻이기도 하다. 과학자들이 점점 더 많은 위성을 발견하고 있기 때문에 토성 및 목성의 위성 수는 계속 바뀌고 있다. 따라서 신뢰할 수 있는 가장 최신의 정보를 확보할 수 있다면 AI 검색 서비스가 “태양계에서 가장 많은 위성이 있는 행성이 어디야?”라는 질문에 대해 정답을 제시할 가능성을 높일 수 있다. 이것이 RAG 기법의 기능이며 가치다.

2. 검색 시장의 변화가 몰고 올 파장

여기서 던질 수 있는 질문은, 과연 AI 검색이 전통 검색 시장에 의미 있는 변화를 가져올 수 있을까 하는 것이다. 검색은 ‘월드 와이드 웹’의 관문이며 인터넷에서 콘텐츠가 소비되는 시작점이자 브랜드가 잠재 고객과 소통하는 공간이다. 그만큼 소비자가 월드와이드웹과 스마트폰에서 검색하는 습관은 이미 굳어져 있다. 한번 굳어진 소비 습관은 좀처럼 쉽게 변화하지 않는다. 구글도 이를 잘 알고 있다. 인터넷 브라우저의 절대 강자는 크롬이고, 크롬의 기본 검색 서비스는 구글이다. 나아가 구글은 매년 수백억 달러를 들여 아이폰과 삼성 갤럭시의 기본 검색 서비스로 구글을 제공하고 있다. 이러한 기본 설정을 변경하는 사람은 거의 없다. 이렇게 구글은 촘촘한 그물망을 쳐서 검색 습관의 변화를 차단해 왔다.

그러나 AI 검색이 출연하기 이전부터 검색 시장에는 조금씩 균열이 생기고 있었다. 첫 번째로, 젊은 소비층이 구글 등 전통 검색 서비스를 떠나고 있다. 이들에게 구글은 지나치게 낡은 서비스다. 한때 영어 표현 ‘Google’은 옥스퍼드 영어 사전에 ‘검색하다’를 뜻하는 동사로 등재되기도 했다. 그 이후로 이 신조어는 검색 서비스 이용을 대변해 왔고, 이와 함께 기업 구글은 세계에서 가장 수익성 높고 강력한 기업 중 하나가 됐다. 그러나 구글의 이러한 지위가 흔들리기 시작했다. 2024년 번스타인 리서치(Berstein Research)에 따르면²⁾, “젊은 이용자는 ‘구글링(Googling)’이 아니라 ‘서칭(Searching)’이라는 단어로 검색 행위를 표현하여 구글이 보통 명사로서의 지위를 잃고 있음을 시사했다.

Z세대는 데스크톱 웹 브라우저 대신 스마트폰 앱을 통해 인터넷을 경험한 이들이다. 번스타인 리서치는 2024년 4월 미국인 2,000명을 대상으로 실시한 조사에서 Z세대의 45퍼센트가 구글 대신 인스타그램과 틱톡에서 검색을 주로 이용하고 있다³⁾고 말했다. 밀레니얼 세대의 경우 약 35퍼센트가, X세대는 20퍼센트가 구글이 아닌 틱톡과 인스타그램에서 무엇을 살지, 어디서 먹을지, 어떻게 시간을 보낼지 검색하고 있었다.

GWI Core에 따르면⁴⁾, 2016년에 Z세대의 약 40퍼센트가 브랜드, 제품 및 서비스를 검색할 때 틱톡과 인스타그램을 주로 이용한다고 답했는데, 2023년에 그 수치는 약 52퍼센트로 크게 증가했다. 이미 2022년 구글 수석 부사장 라가반(Prabhakar Raghavan)도 “거의 40퍼센트에 달하는 젊은이들이 점심 식사 장소를 찾을 때 구글 지도나 구글 검색을 사용하지 않는다.”라며, 구글 내부 데이터를 직접 인용하며 구글 검색의 약화를 예고⁵⁾했다.

구글의 검색 지위의 두 번째 균열은 이른바 제품 검색(Product Search)에서 나타나고 있다. 그림1에서 확인할 수 있는 것처럼, 미국 소비자들이 쇼핑을 위해 제품 검색을 할 때 구글, 빙 등의 전통적인 검색 서비스보다 아마존, 월마트 등을 훨씬 더 많이 활용하고 있음을 볼 수 있다.

2024년 10월 <월스트리트저널>⁷⁾은 구글의 미국 내 검색 광고 시장 점유율이 2018년 60퍼센트에서 2025년 처음으로 50퍼센트 이하로 감소할 것으로 전망했다.

특히 구글은 미국 법원으로부터 구글이 검색 시장을 독점하고 있다는 판결을 받았으며, 유럽연합 집행위와도 이 문제로 다투고 있다. 미국 법무부는 구글을 해체하는 방법을 제시하고 있고, 구글은 유럽연합에 타협책으로 외부 웹사이트에 광고를 게재하는 구글 애드센스(AdSense)의 매각을 제안⁸⁾하고 있다. 따라서 2025년에는 세계 검색 시장의 90퍼센트를 점유하고 있는 구글의 입지가 크게 축소될 가능성이 실재한다. 구글 또한 외부 웹사이트 광고를 담당하는 구글 애드센스를 매각한다면, 구글 AI 검색 서비스인 구글 AI 오버뷰 강화 및 AI 검색 광고 상품을 강화할 수밖에 없다. 구글은 2024년 9월 마지막 주 AI 오버뷰에 광고를 게재하기 시작⁹⁾했다. 예를 들어 “청바지에서 풀 얼룩을 지우는 방법”이라는 검색어에 대한 AI 답변에는 타이드(Tide)의 얼룩제거용 팬 광고가 표시된다.

미국의 경우 AI 검색은 이미 소비자 구매 결정에 영향을 미치기 시작했다. CMS 서비스 제공 기업 스토리블록(Storyblock)은 2024년 8월 미국 소비자 구매 결정에 AI가 미치는 영향을 조사¹⁰⁾했다. 조사 결과의 핵심은 소비자 의사 결정 과정에서 다양한 AI 도구 의존도가 증가하고 있다는 사실이다. 조사 대상 소비자 40퍼센트가 온라인에서 제품을 조사할 때 챗GPT 같은 AI 서비스를 정기적으로 사용하고 있으며, 17퍼센트는 구매 결정 시 AI 도구가 가장 중요한 정보 출처라고 답했다. 브랜드 담당자 중 47퍼센트는 거대언어모델과 AI 검색이 기존 검색최적화(SEO) 전략을 크게 뒤흔들 것이라 보고 있으며, 20퍼센트는 AI 검색으로 인해 콘텐츠 전략에 전면적인 개편이 시작됐다고 답했다.

2024년 9월 공개된 IBM ‘2024년 소비자 연구¹¹⁾’도 유사한 결과를 보여주고 있다. 26개국 2만 명의 소비자를 대상으로 조사한 결과, 응답자의 55퍼센트가 구매 결정에 AI 비서를 이용하고 있으며, 59퍼센트는 AI 애플리케이션을 이용한 경험을 가지고 있다. 물론 AI 비서를 이용한 경험이 있는 응답자 중 약 3분의 1만이 만족한다고 답해 아직까지 AI 기술이 소비자 기대를 만족시키지 못하고 있다는 것도 확인할 수 있다. 그러나 응답자 중 5분의 3은 앞으로 쇼핑할 때 AI 애플리케이션을 이용할 의사가 있다고 밝혀 AI에 대한 기대치는 여전히 높다고 평가할 수 있다.

3. 검색되지 않는 것은 존재하지 않는 것

이 같은 검색 시장의 지각 변동에는 단순히 이용자가 구글을 이탈하고 있다는 것 그 이상의 의미가 있다. 구글이나 네이버는 오랫동안 인터넷 브라우저의 대표적인 시작 페이지였다. 이는 이들 검색 엔진이 이용자에게 ‘최초의 영감’을 제공하는 역할을 해 왔다는 뜻이다. 하지만 스마트폰 대중화의 역사가 길어지면서 검색 엔진의 지위도 영감을 주는 역할도 서서히 상실하고 있다. 이는 인터넷 이용 패턴의 근본적인 변화를 시사한다.

이제 우리는 카카오톡, 이메일, 소셜 미디어 등 다양한 앱을 통해 검색의 영감을 얻고 있다. 하지만 현재의 인스타그램, 틱톡, 유튜브가 제공하는 검색에는 한계가 있다. 이 앱들에서 가고 싶은 레스토랑을 발견해도 바로 예약할 수가 없고, 지도 앱을 추가로 열어야 한다. 바로 이런 이유로 우리를 둘러싼 수많은 앱에 서치GPT 등의 AI 검색 서비스가 탑재될 수 있다. 인스타그램에서 AI 검색, 틱톡에서 AI 검색, 유튜브에서 AI 검색, 스마트TV 화면에서 AI 검색, 카카오톡에서 AI 검색 등 인기 앱에 AI 검색이 연결될 가능성은 매우 높다. “이 사진에 나온 맛집을 예약해 줘.”, “이 영상에 나온 호텔 가격을 알려 줘.”, “톡에 있는 ‘ㄹㅇ’의 뜻이 뭐야?” 등 구글 또는 네이버로 돌아가지 않고 이용하는 앱에서 바로 AI 검색을 통해 답변을 요청할 수 있다. 이 점을 구글과 네이버는 가장 두려워해야 한다. 스마트폰에 있는 다양한 앱들이 오픈AI, 퍼플렉시티 등과 AI 검색 계약을 체결할 수 있다. 이때 검색 시장 경쟁의 판도가 바뀔 수 있다. 소셜 미디어에서, 커머스 앱에서, 카카오톡에서 무언가를 알고 싶은 영감이 떠오를 때, AI 검색은 그 맥락에 맞는 이용자의 의도를 분석하여 짧지만 품질 높은 답변을 제공할 수 있다.

이용자가 영감이 떠오르는 곳에서 바로 AI 검색을 할 경우, 이는 전통 검색 시장뿐 아니라 마케팅과 홍보의 지각 변동까지 동반한다. “검색되지 않는 것은 존재하지 않는 것이다.”라는 말처럼 AI 검색 서비스에서도 브랜드 및 개별 상품의 가시성은 마케팅과 홍보의 출발점이기 때문이다. AI 검색 시장이 의미 있는 비율로 전통 검색 시장을 잠식할 경우 기업 마케팅은 거대한 변화를 피할 수 없을 것이다.

4. AI 검색 최적화 방법

우리는 지금 구글, 네이버 같은 특정 기업의 서비스 이름이 ‘인터넷’과 동의어로 사용되던 시대의 종말을 지켜보고 있다. AI 검색이 등장하면서 AI 검색 시 특정 브랜드가 눈에 잘 띄도록 하는 ‘AI 검색 최적화’라는 새로운 비즈니스가 시작되었다. AI 검색 최적화는 거대언어모델 최적화(LLMO), 생성 엔진 최적화(GEO), 생성 AI 최적화(GAIO), 답변 엔진 최적화(AEO) 등 다양한 이름으로 불리고 있다. 이러한 약어조차 합의되지 못했다는 것은 이 주제가 얼마나 초기 단계인지 보여주고 있다.
2024년 6월 미국 프린스턴 대학교 연구진을 중심으로 한 연구 논문 ‘생성 엔진 최적화(Generative Engine Optimization)¹²⁾’는 현재 수준에서 가장 진화된 AI 검색 최적화 방안을 제시하고 있다. 이 논문이 제시한 AI 검색 최적화를 위한 네 가지 방안을 소개한다. AI 에이전트로서 AI 검색이 어떻게 작동하는지 보다 구체적으로 알 수 있게 될 것이다.

첫 번째, 앞서 설명한 것처럼 AI 검색은 정보의 최신성과 정확성을 확보하기 위한 도구로서 검색 증강 생성(RAG)을 반드시 사용한다. 기업이 운영하는 웹사이트 또는 블로그는 반드시 RAG 기법에 적합해야 한다. AI 검색이 선호하는 RAG 기법은 하이브리드 RAG다(<TIP_ RAG 깊이 보기> 참조). 그러나 RAG는 전제 조건 또는 출발점에 불과하다. 만약 AI 검색 이용자가 “현대자동차는 지속가능성을 위해 얼마나 노력하고 있어?”라고 질문한다고 가정해 보자. 거대언어모델이 생성하는 결과물은 통계적 빈도에 의해 결정된다. 즉, 특정 RAG에 ‘현대자동차’와 ‘지속가능성’이 함께 ‘연이어 등장하는 빈도’가 높을수록 AI 검색은 이 RAG를 AI 검색 답변에 활용할 확률이 증가한다. 다시 말해 특정 RAG에 ‘현대자동차’와 ‘지속가능성’이라는 단어가 많다고 이 RAG가 답변에 활용되는 것이 아니라, ‘두 단어가 연이어 존재’하는 경우가 많아야 한다. 이것이 바로 두 번째 AI 검색 최적화 방법이다.

세 번째로, AI 검색은 스키마 마크업(Schema Markup)이 제대로 갖추어진 웹사이트를 좋게 평가한다. 스키마 마크업이 잘되어 있어야 AI 검색이 앞서 설명한 하이브리드 RAG 기법을 사용할 수 있기 때문이다. 다시 설명하면, AI 검색은 관련성이 가장 높은 정보를 가져와 이를 결과로 표시하며, 이때 스키마 마크업은 AI가 이 정보를 쉽게 찾을 수 있도록 도와주는 역할을 한다. 스키마 마크업은 웹페이지의 HTML 코드에 추가되는 마이크로 데이터 또는 구조화된 데이터다. AI 검색은 스키마 마크업을 통해 지식 그래프(<TIP_ RAG 깊이 보기> 참조)를 쉽게 만들 수 있기 때문이다.

예를 들어 AI 검색 결과에는 앞서 퍼플렉시티 화면을 예로 들어 설명한 것처럼 짧고 품질 좋은 답변과 함께 후속 질문이 이어진다. 따라서 이 후속 질문에 대해 정확하고 풍부한 답변을 제공하는 것도 중요하다. 그렇다면 웹사이트를 운영할 때 특정 콘텐츠에 이용자가 자주 할 수 있는 질문에 대한 답변이 담겨 있다면, 이를 스키마 마크업에 ‘FAQ(Frequently Asked Questions)’라고 표시해 두어야 한다. 그래야 AI 검색이 빠르게 해당 콘텐츠의 특성을 이해할 수 있고, 여기서 답변을 찾아갈 수 있기 때문이다. AI 에이전트로서 AI 검색은 (하이브리드) RAG라는 ‘도구’를 사용하여 검색 이용자의 질문에 제대로 답변하는 목표를 추구한다. 이 도구가 빠르고 효율적으로 작동하도록 돕는 기능이 스키마 마크업이다.

마지막 네 번째 AI 검색 최적화에서는 콘텐츠의 신선도가 중요하다. 2024년 3월 구글 검색 순위 알고리즘이 유출되는 사고¹³⁾가 있었다. 이때 구글은 ‘콘텐츠 생산 날짜 정보’에 기초하여 콘텐츠의 최신성과 정확성에 점수를 부여하며, 이 점수를 검색 순위 결정에서 우선시한다는 점이 드러났다. 이는 거대언어모델에서도 예외는 아니다. AI 검색이 환각을 줄이기 위해 RAG를 활용하는 것처럼, AI 검색은 최신 콘텐츠를 선호한다. 거대언어모델은 ‘과거’의 데이터로 학습했고, 오래된 학습 데이터는 상대적으로 틀린 정보일 가능성이 높기 때문이다. 따라서 AI 검색은 학습된 거대언어모델의 한계를 바로잡기 위해 콘텐츠의 최신성을 우선시한다. 그래서 기업 블로그, 이커머스 상세페이지 등을 정기적으로 새롭게 업데이트할 필요가 있다.

대표적인 전통 검색엔진의 시대가 하나의 막을 내리고, 이제 AI 검색은 다양한 앱에서 이용자가 무언가를 알고 싶은 영감이 떠오를 때마다 즉시 답변을 제공하기 시작했다. 인터넷에는 전통 검색 서비스라는 하나의 입구 대신 갑자기 수십 개의 다른 색상의 문과 창문이 생기고 있는 것이다. 이용자가 즐겨쓰는 앱의 숫자만큼 정보에 대한 수요도 다양해지고 있고, AI 검색은 창문 색상이나 문의 크기에 따라 각각의 맥락에서 최적화된 답변을 제시한다. 따라서 다양한 공간에서 검색되기를 원하는 브랜드와 제품 및 서비스는 다양한 플랫폼의 수만큼 다양한 맥락의 정보를 제공할 필요가 있다. 진화하는 AI 에이전트는 AI 검색과 연결되면서 질문에 대한 답만 제공하는 것이 아니라 이용자가 구매하면 좋을 제품 및 서비스에 대한 정보 및 링크를 공급할 가능성이 높다. 검색과 구매의 규칙이 변화한다면 기업도 그에 맞게 마케팅 전략을 전환해야 할 것이다.