A Inteligência Artificial está remodelando o mundo digital

Embora a IA represente um momento sem precedentes para a ciência e a inovação, atores maliciosos a veem como uma ferramenta de ataque sem precedentes. Cibercriminosos, golpistas e atacantes apoiados por estados já estão explorando maneiras de usar a IA para prejudicar pessoas e comprometer sistemas em todo o mundo. De ataques mais rápidos a uma engenharia social sofisticada, a IA fornece aos cibercriminosos novas e potentes ferramentas.

Acreditamos que não apenas essas ameaças podem ser combatidas, mas também que a IA pode ser uma ferramenta revolucionária para a defesa cibernética, criando uma nova e decisiva vantagem para os defensores. É por isso que hoje estamos compartilhando algumas das novas formas como estamos inclinando a balança a favor da IA para o bem. Isso inclui o anúncio do CodeMender, um novo agente alimentado por IA que melhora a segurança de códigos de forma automática. Também estamos anunciando nosso novo Programa de Recompensa por Vulnerabilidades em IA; e a Estrutura de IA Segura 2.0 (SAIF 2.0) com seu mapa de riscos, que traz duas abordagens de segurança comprovadas para a vanguarda da era da IA. Nosso foco está em agentes de IA seguros desde a concepção, avançando o trabalho dos princípios da CoSAI e utilizando a IA para encontrar e corrigir vulnerabilidades antes que os atacantes o façam.

Defesa autônoma: CodeMender

No Google, construímos nossos sistemas para serem seguros desde a concepção, desde o início. Nossos esforços baseados em IA, como o BigSleep e o OSS-Fuzz, demonstraram a capacidade da IA de encontrar novas vulnerabilidades de dia zero em softwares bem testados e amplamente utilizados. À medida que alcançamos mais avanços na descoberta de vulnerabilidades com IA, ficará cada vez mais difícil para os humanos, sozinhos, acompanharem o ritmo. Desenvolvemos o CodeMender para ajudar a enfrentar isso. O CodeMender é um agente alimentado por IA que utiliza as capacidades avançadas de raciocínio de nossos modelos Gemini para corrigir automaticamente vulnerabilidades críticas de código. O CodeMender escala a segurança, acelerando o tempo de correção em todo o cenário de código aberto. Ele representa um grande salto na defesa proativa impulsionada por IA, incluindo recursos como:

• Análise de causa raiz: Usa o Gemini para empregar métodos sofisticados, incluindo fuzzing e provadores de teoremas, para identificar com precisão a causa fundamental de uma vulnerabilidade, não apenas seus sintomas superficiais.
• Aplicação de patches autovalidada: Gera e aplica autonomamente patches de código eficazes. Esses patches são então encaminhados para agentes de "crítica" especializados, que atuam como revisores automatizados, validando rigorosamente o patch quanto à sua correção, implicações de segurança e conformidade com os padrões de código antes de ser proposto para a aprovação humana final.

Aprofundando a pesquisa: Programa de Recompensa por Vulnerabilidades em IA (AI VRP)

A comunidade global de pesquisa em segurança é uma parceira indispensável, e nossos VRPs já pagaram mais de $430.000 por questões relacionadas à IA. Para expandir ainda mais essa colaboração, estamos lançando um AI VRP dedicado que esclarece quais questões relacionadas à IA estão no escopo por meio de um único e abrangente conjunto de regras e tabelas de recompensa. Isso simplifica o processo de reporte e maximiza o incentivo para que os pesquisadores encontrem e reportem falhas de alto impacto. Eis o que há de novo no AI VRP:

• Tabelas unificadas de recompensa para abuso e segurança: Questões relacionadas à IA anteriormente cobertas pelo VRP de Abuso do Google foram movidas para o novo AI VRP, fornecendo clareza adicional sobre quais questões relacionadas a abuso estão no escopo do programa.
• O mecanismo de reporte correto: Esclarecemos que preocupações de segurança baseadas em conteúdo devem ser reportadas através do mecanismo de feedback do produto, pois ele captura os metadados detalhados necessários — como contexto do usuário e versão do modelo — que nossas equipes de Segurança de IA precisam para diagnosticar o comportamento do modelo e implementar o treinamento de segurança necessário a longo prazo e para todo o modelo.

Protegendo agentes de IA

Estamos expandindo nossa Estrutura de IA Segura para a SAIF 2.0 para abordar os riscos emergentes e rápidos representados por agentes de IA autônomos. A SAIF 2.0 estende nossa comprovada estrutura de segurança de IA com novas diretrizes sobre riscos de segurança de agentes e controles para mitigá-los. Ela é apoiada por três novos elementos:

• Mapa de risco para agentes para ajudar os profissionais a mapear ameaças de agentes em uma visão completa dos riscos de IA.
• Capacidades de segurança sendo implementadas nos agentes do Google para garantir que sejam seguros desde a concepção e apliquem nossos três princípios fundamentais: os agentes devem ter controladores humanos bem definidos, seus poderes devem ser cuidadosamente limitados, e suas ações e planejamentos devem ser observáveis.
• Doação dos dados do mapa de risco da SAIF para a iniciativa Coalition for Secure AI Risk Map para avançar a segurança de IA em toda a indústria.

Avançando: colocando ferramentas proativas de IA para trabalhar com parceiros públicos e privados

Nosso trabalho de segurança em IA vai além de mitigar novas ameaças relacionadas à IA; nossa ambição é usar a IA para tornar o mundo mais seguro. À medida que governos e líderes da sociedade civil olham para a IA para combater a crescente ameaça de cibercriminosos, golpistas e atacantes apoiados por estados, estamos comprometidos em liderar o caminho. É por isso que compartilhamos nossos métodos para construir agentes de IA seguros, fizemos parcerias com agências como a DARPA e desempenhamos um papel de liderança em alianças da indústria como a Coalition for Secure AI (CoSAI).

Nosso compromisso em usar a IA para, fundamentalmente, inclinar a balança da cibersegurança a favor dos defensores é um esforço duradouro e de longo prazo para fazer o que for preciso para proteger a vanguarda da tecnologia. Estamos mantendo esse compromisso ao lançar o CodeMender para defesa autônoma, fazendo parcerias estratégicas com a comunidade global de pesquisa por meio do AI VRP e expandindo nossa estrutura da indústria com a SAIF 2.0 para proteger agentes de IA. Com essas e outras iniciativas futuras, estamos garantindo que o poder da IA permaneça uma vantagem decisiva para a segurança e proteção.