AI 개요 기능 관련 구글의 조치

몇 주 전 열린 구글 I/O 행사에서, 구글은 미국 내 모든 이용자를 대상으로 AI 개요(AI Overview) 기능을 제공한다고 발표했습니다.

이용자 피드백을 통해 본 AI 개요

피드백에 따르면 이용자들은 AI 개요 기능을 통해 검색 결과에 대한 만족도가 높아졌으며, 이제 구글이 지원할 수 있다는 확신을 갖고 구글 검색창에 더 길고 복잡한 질문을 입력하고 있습니다. 또한, 이용자들은 AI 개요 기능을 웹 콘텐츠 방문의 시작점으로 활용하고 있으며, 더 고품질의 웹페이지들을 방문하고 있습니다. 웹페이지 클릭 이후 해당 페이지에 더 오래 머무르고 있으며, 이는 구글이 정확한 정보와 유용한 웹페이지 검색 작업을 이전보다 더 잘 수행하고 있다는 의미이기도 합니다.

지난주 소셜 미디어에는 조작된 수많은 스크린샷과 함께, 이상하고 잘못된 AI 개요 결과가 공유되었습니다. 구글은 이용자들이 정확한 정보를 제공하고자 하는 구글 검색을 신뢰하고 있음을 잘 인지하고 있으며, 이용자들 역시 구글의 검색 결과 또는 다른 검색 기능에서 이상하거나 오작동하는 부분을 발견하면 항상 주저없이 이를 지적해 주었습니다. 이용자들이 구글 검색에 높은 기대를 품고 있는 만큼, 구글 역시 검색의 품질 개선 및 관리에 있어 높은 기준을 설정하고 있으며 이용자의 피드백을 진지하게 받아들이며 이를 감사히 생각하고 있습니다.

이에 AI 개요가 큰 관심을 받고 있는 만큼, AI 개요와 관련해 발생된 상황들과 구글의 조치들을 소개해 드리고자 합니다.

AI 개요의 작동 방식

구글은 수년간 다양한 구글 검색 기능을 개발해 이용자가 원하는 정보를 최대한 빨리 찾을 수 있도록 노력해 왔습니다. AI 개요는 이를 한 단계 더 발전시켜 이전에는 여러 번의 검색이나 추가 질문이 필요했던 복잡한 질문에 대해서도 답변을 받아볼 수 있도록 돕고, 더 자세히 알아보고자 하는 경우에 활용할 수 있는 링크들을 눈에 잘 띄도록 표시하고 있습니다.

AI 개요는 이용자가 경험했을 수 있는 챗봇이나 다른 대규모 언어 모델(LLM) 제품과는 매우 다르게 작동합니다. 단순히 학습 데이터를 기반으로 출력을 생성하는 것이 아닙니다. AI 개요는 맞춤형 언어 모델을 기반으로 하지만, 구글의 핵심 웹 순위 시스템과 통합돼 관련성 높고 품질이 우수한 결과를 색인에서 식별하는 등 구글의 대표적인 "검색" 작업을 수행하도록 설계되었습니다. 따라서 AI 개요는 텍스트 출력만 제공하는 것이 아니라 관련 링크를 포함해 이용자가 더 자세히 살펴볼 수 있도록 합니다. 검색에서 정확성은 매우 중요하므로 AI 개요는 최상위 웹 결과로 뒷받침할 수 있는 정보만 표시하도록 설계되었습니다.

즉, AI 개요는 일반적으로 다른 LLM 제품처럼 "환각 현상(hallucinate)”을 일으키거나 없는 사실을 지어 내지 않습니다. AI 개요가 잘못된 정보를 제공하는 경우는 일반적으로 다른 이유 때문입니다. 쿼리를 잘못 해석했다거나, 웹 상의 언어적 뉘앙스를 잘못 해석하거나, 양질의 정보가 충분하지 않은 경우입니다. (이러한 문제는 다른 검색 기능에서도 발생합니다.)

AI 개요의 검색에 대한 접근 방식은 사실 매우 효과적입니다. 전반적으로 구글의 테스트 결과에 따르면, AI 개요의 정확도는 AI 시스템을 사용해 핵심 정보를 식별하고 웹 콘텐츠 링크와 함께 표시하는 또 다른 인기 있는 검색 기능 ‘추천 스니펫(featured snippets)’과 동등합니다.

이상 결과에 관하여

구글은 AI 개요의 정확성이 최적화되도록 설계하는 것 외에도 출시 전 레드팀의 적극적인 활동, 이용자 쿼리 샘플 평가, 검색 트래픽 비율 테스트 등과 같은 광범위한 테스트를 진행했습니다. 하지만 수백만 명의 이용자가 새로운 검색어로 이 기능을 사용할 때와 테스트 규모를 비교할 수는 없습니다. 구글은 또한 의도적으로 잘못된 결과를 생성하려는 듯한 무의미한 새로운 검색어도 발견했습니다.

또한 이와는 별개로, 수많은 조작된 스크린샷이 널리 공유되었습니다. 일부 조작된 결과는 바로 식별할 수 있었고 의미없는 것들이었습니다. 다른 일부는 자동차에 개를 방치하거나, 임신 중 흡연을 하거나, 우울증에 대한 위험한 결과를 구글이 검색 결과로 표시했다고 암시했습니다. 그러나 이러한 AI 개요 결과는 실제 나타나지 않았습니다. 이러한 스크린샷을 접한 경우, 실제로 그러한 결과가 나오는지 직접 동일한 검색어를 입력해 AI개요의 답변을 한번 확인해볼 수도 있습니다.

그러나 이상하거나 부정확하거나 도움이 되지 않는 결과 역시 분명히 존재했습니다. 이러한 개요는 일반적으로 사람들이 자주 사용하지 않는 쿼리에 대한 결과값이었지만, 특정 영역에서 개선이 필요하다는 점을 인식할 수 있었습니다.

구글이 확인한 한 가지 영역은 터무니없는 쿼리와 풍자적인 콘텐츠를 해석하는 능력이었습니다. 예를 들어 "돌을 몇 개 먹어야 하나요?"라는 질문을 살펴보겠습니다. 이 스크린샷이 갑자기 주목받기 전까지는 거의 아무도 구글 검색창에 이 질문을 입력하지 않았다는 것을 구글 트렌드에서 직접 확인해볼 수 있습니다.

이 질문에 대한 진지한 답변을 제공하는 웹 콘텐츠도 많지 않습니다. 이는 종종 "데이터 공백(data void)" 또는 "정보 격차(information gap)"라고 불리며, 특정 주제에 대한 양질의 콘텐츠가 제한적인 경우를 말합니다.

하지만 이 특정 사례(돌을 몇 개 먹어야 하는지)에 대해서는 공교롭게도 웹 상에 위 질문과 관련이 있는 풍자적인 콘텐츠가 존재했는데, 바로 어느 지질 소프트웨어 제공업체 웹사이트였습니다. 따라서 해당 쿼리가 입력되자 해당 웹사이트가 결과값으로 게시되었습니다. 이는 누군가가 이 질문을 검색창에 입력하면 해당 질문을 다루는 유일한 웹사이트 중 하나인 이 페이지가 링크된 AI 개요가 나타나게 된 이유입니다.

다른 예에서는 토론 포럼 사이트 등에서 오간 비꼬는 듯한 내용이나 논란성 콘텐츠가 포함된 AI 개요를 확인했습니다. 토론 포럼은 종종 솔직하고 직접적인 정보를 얻을 수 있는 훌륭한 소스이지만, 경우에 따라 ‘피자에 치즈를 붙이기 위해 접착제를 사용해보라’는 등의 실질적으로 도움이 되지는 않는 조언을 제공할 수도 있습니다.

또한 구글은 적은 수이긴 하지만 AI 개요가 웹 페이지의 언어를 잘못 해석하여 부정확한 정보를 제공하는 것을 확인했습니다.구글은 알고리즘 개선이나 정책을 준수하지 않는 답변을 삭제하는 등의 기존 품질 관리 프로세스를 통해 이러한 문제를 신속하게 해결했습니다.

구글의 개선 노력

구글은 검색 개선 시 항상 그렇듯이 쿼리를 하나씩 "수정"하는 것이 아니라, 아직 보지 못한 새로운 쿼리를 포함해 광범위한 쿼리 세트에 도움이 될 수 있는 업데이트를 진행합니다.

지난 몇 주 동안의 사례를 살펴보면서 구글은 문제가 발생한 패턴을 파악할 수 있었고, 시스템에 12개 이상의 기술적 개선 사항을 적용했습니다. 구글이 지금까지 수행한 작업을 아래에 몇 가지 공유드립니다.

• AI 개요를 제공해서는 안 되는 앞뒤가 맞지 않는 쿼리를 더 잘 감지하는 메커니즘을 구축하고, 풍자 및 유머 콘텐츠를 포함하지 않도록 제한했습니다.
• 오해의 소지가 있는 조언을 제공하는 데 사용될 가능성이 있는, 이용자들의 자체 입력 콘텐츠들은 답변 생성 과정에서 활용이 제한되도록 시스템을 업데이트했습니다.
• AI 개요가 도움이 되지 않는 쿼리들은 AI 개요가 표출되지 않도록 트리거 제한을 추가했습니다.
• 뉴스나 건강과 같은 주제에는 이미 강력한 안전장치가 마련돼 있습니다. 예를 들어 최신성 여부와 사실성이 중요한 속보성 주제에는 AI 개요를 표시하지 않도록 설계했습니다. 건강 관련 정보의 경우 품질 보호 기능을 강화하기 위해 추가적인 트리거 개선 사항을 적용했습니다.

이러한 개선 작업 외에도 구글은 이용자 피드백과 외부 보고를 지속적으로 모니터링하며 콘텐츠 정책을 위반하는 일부 극소수의 AI 개요에 대해서 적극적인 조치를 취하고 있습니다. 잠재적으로 유해하거나, 음란하거나 기타 정책 위반 가능성이 있는 정보가 포함된 AI 개요가 이에 해당됩니다. 구글은 AI 개요가 표시된 고유 쿼리 700만 개 당 1개 미만의 콘텐츠 정책 위반 사례를 발견했습니다.

매일 수십억 개의 쿼리가 유입되는 웹 규모를 고려하면, 이상한 결과나 오류가 발생하는 일이 드물지 않습니다. 구글은 지난 25년간 오류를 통해 모든 사람에게 더 나은 검색 환경을 만들기 위해 고품질 검색 환경을 구축하고 유지하는 방법에 대한 많은 것을 배웠습니다. 구글은 언제 AI 개요를 표시하고 어떻게 답변을 제시할지 지속적으로 고민, 보완하고, 아주 극소수의 경우라 할지라도 이를 개선해 이용자 보호 기능을 강화할 것입니다.

여러분의 지속적인 피드백에 깊은 감사의 말씀을 드립니다.