Como identificamos, removemos e denunciamos material de abuso sexual infantil

Desde os primórdios do Google, sempre trabalhamos para prevenir a disseminação de material ilegal relacionado a abuso sexual infantil, conhecido em inglês pela sigla CSAM (“child sexual abuse material”). Tanto organizações que trabalham pela segurança das crianças quanto governos esperam, com razão – e em muitos casos exigem –, que o Google aja e retire esse conteúdo do sistema. Por isso, sempre que encontramos CSAM em nossas plataformas, tiramos do ar, denunciamos e, com frequência, suspendemos a conta.

Embora CSAM represente uma fração muito pequena do material compartilhado em nossas plataformas, levamos extremamente a sério o desrespeito a essas regras e a política de suspender contas. Nosso objetivo é prevenir abuso nas plataformas e, ao mesmo tempo, minimizar o risco de suspender uma conta por engano. Hoje estamos compartilhando mais informações sobre como identificamos conteúdo prejudicial e sobre as medidas que tomamos para ser cada vez mais transparentes.

Como identificamos CSAM

Para identificar conteúdo de abuso sexual infantil, usamos duas tecnologias igualmente importantes, que nos permitem trabalhar de forma proativa: correspondência de hash e inteligência artificial (IA). Contamos também com uma equipe de pessoas altamente especializadas e treinadas para avaliar conteúdos, além de especialistas que ajudam a garantir a precisão dos resultados da tecnologia.

Graças a essa combinação, conseguimos identificar CSAM em grande escala plataformas, e ao mesmo tempo manter uma taxa extremamente baixa de falsos positivos.

Como usamos a correspondência de hash para identificar CSAM conhecido

CSAM que já tenha sido previamente identificado é automaticamente marcado pelo sistema, usando a Tecnologia de Correspondência de hash. Esse método atribui uma assinatura única a imagens e vídeos (um “hash”), e depois compara essa assinatura a uma base de outras assinaturas conhecidas. Se houver correspondência, o conteúdo é considerado igual ou semelhante.

Obtemos os hashes junto a várias fontes confiáveis, incluindo a Internet Watch Foundation (IWF), o National Center for Missing and Exploited Children (NCMEC) e outras organizações. O NCMEC abriga um serviço de compartilhamento de hashes, usado pela indústria tecnológica e por ONGs de todo o mundo. Esse repositório é um ponto de partida, mas também fazemos análise independente de qualquer suposto hash de CSAM, com o objetivo de confirmar sua acurácia. Uma vez confirmado que realmente se trata de CSAM, a hash é inserida em nosso sistema de identificação.

A imensa maioria de imagens denunciadas pelo Google – cerca de 90% – corresponde a CSAM identificado anteriormente, e boa parte desse conteúdo já está na base de dados do NCMEC.

Como usamos inteligência artificial para identificar conteúdos novos

A correspondência de hash ajuda a encontrar CSAM conhecido, mas também usamos inteligência artificial para marcar conteúdos novos, que sejam semelhantes a padrões de CSAM já confirmados anteriormente. Nosso sistema é projetado para reconhecer imagens inofensivas, como uma criança brincando na banheira ou no jardim – e esse tipo de conteúdo não será marcado. Uma equipe de pessoas especializadas e treinadas também analisa todas as novas imagens marcadas, para confirmar se o conteúdo realmente é CSAM antes que ele seja denunciado.

A rápida identificação de novas imagens significa que crianças vítimas de abuso sexual têm uma probabilidade muito maior de serem identificadas e protegidas contra abusos futuros. Para promover a segurança por toda a internet, damos a outras empresas e ONGs acesso a tecnologias de identificação e processamento, por meio do Child Safety Toolkit. Esse kit de ferramentas inclui nossa API de Content Safety, que ajuda parceiros a priorizar e analisar, com agilidade, conteúdo com maior probabilidade de conter abusos. Só nos últimos 30 dias a API de Content Safety ajudou parceiros a processar mais de quatro bilhões de CSAM. Com o nosso kit, parceiros podem licenciar a tecnologia proprietária CSAI Match e usá-la para identificar vídeos conhecidos que possam conter CSAM em suas plataformas.

Equipe especializada em avaliação de conteúdo

A tecnologia é essencial na luta contra CSAM em grande escala. Entretanto, sabemos que avaliadores humanos também desempenham um papel fundamental na confirmação de correspondências de hash e de conteúdo marcado pela inteligência artificial. As pessoas que integram nossa equipe têm profundos conhecimentos, são especializadas em direito, segurança e defesa de crianças, assistência social e investigações cibernéticas, entre outras disciplinas. Esses profissionais são treinados tanto em nossas políticas quanto nas definições jurídicas sobre material de abuso sexual infantil. Atualizamos regularmente o treinamento dessa equipe e também nossas diretrizes, sempre com apoio de consultores jurídicos, especialistas independentes e profissionais da área médica.

Sabemos que este trabalho é extremamente delicado, e temos uma série de medidas para assegurar o bem-estar físico e mental da equipe de analistas. Eles têm acesso a ferramentas, a um local de trabalho adequado, a recursos e conhecimentos profissionais, incluindo assessoria psicológica.

Denúncias de conteúdo para o NCMEC

Após esse processo de análise, imagens identificadas como CSAM são denunciadas ao NCMEC, conforme exige a lei nos Estados Unidos. O NCMEC avalia a denúncia, e pode decidir levar o caso às autoridades competentes. Caso as autoridades decidam aprofundar a investigação da denúncia enviada pelo NCMEC, elas têm de apresentar um pedido formal ao Google para obter informações adicionais, de acordo com as leis cabíveis. Para saber mais sobre como tratamos esse tipo de pedido, clique aqui.

Ao longo de todo esse trabalho, sempre damos importância à transparência do processo. Hoje, anunciamos uma atualização no nosso Relatório de Transparência, que passa a incluir os dados mais recentes sobre o trabalho de identificação e denúncia. No primeiro semestre deste ano, fizemos mais de um milhão de denúncias ao NCMEC sobre conteúdo que se enquadrava na definição jurídica de CSAM. Nos casos em que isso foi necessário, suspendemos as contas Google associadas ao conteúdo (foram cerca de 270 mil suspensões).

O uso de CSAM existente e confirmado para identificar material idêntico ou semelhante, que pessoas mal-intencionadas sobem ou compartilham em nossas plataformas, permite manter um nível extremamente baixo de falsos positivos. Entretanto, caso alguém acredite que sua conta foi suspensa por erro ou engano – inclusive por supostamente trazer conteúdo marcado como CSAM –, é possível recorrer da decisão. O recurso será analisado por um integrante da nossa equipe de segurança infantil. Caso a conclusão seja de que cometemos um erro, a conta será reabilitada o mais rápido possível.

Melhoria contínua de processos

Evitar CSAM em nossas plataformas é um trabalho de imensa importância, e nunca paramos de investir nele. Ao mesmo tempo, sabemos que é possível também melhorar a experiência dos usuários sempre que as pessoas nos procuram com dúvidas sobre a própria conta, ou quando acreditam que o Google tomou uma decisão equivocada. Um exemplo: trabalhamos ativamente para aumentar a transparência, e oferecemos justificativas detalhadas em caso de suspensão de conta (garantindo, ao mesmo tempo, que a segurança das crianças jamais seja comprometida, e que não haja interferência em investigações feitas por autoridades). Vamos atualizar também nosso processo de avaliação de recursos, para permitir que usuários ofereçam mais contexto sobre a própria conta – incluindo informações e documentos de profissionais independentes ou autoridades do governo, que possam ajudar a compreender o conteúdo identificado na conta.

Seguiremos estudando novas formas de equilibrar a prevenção a esse tipo de conteúdo à criação de uma experiência ainda melhor para todos os usuários.