Cómo estamos asegurando el futuro de la IA
Si bien la IA representa un momento sin precedentes para la ciencia y la innovación, también es vista por actores maliciosos como una herramienta sin precedentes para los ataques. Ciberdelincuentes, estafadores y atacantes respaldados por Estados ya están explorando formas de usar la IA para dañar a las personas y comprometer sistemas en todo el mundo. Desde ataques más veloces hasta técnicas avanzadas de ingeniería social, la IA les brinda herramientas poderosas.
Creemos que no solo es posible contrarrestar estas amenazas, sino que la IA también puede convertirse en una herramienta transformadora para la defensa cibernética, capaz de otorgar una ventaja decisiva a quienes protegen los sistemas. Por eso, hoy compartimos nuevas formas en las que estamos inclinando la balanza a favor de una IA para el bien. Esto incluye el anuncio de CodeMender, un agente de IA diseñado para mejorar la seguridad del código de manera automática; el nuevo Programa de Recompensas por Vulnerabilidades de IA; y el Marco de IA segura 2.0 junto con su mapa de riesgos, que llevan enfoques de seguridad comprobados a la nueva era de la IA. Nuestro enfoque está puesto en el desarrollo de agentes seguros por diseño, en seguir los principios del Coalition for Secure AI (CoSAI) y en aprovechar la IA para detectar y corregir vulnerabilidades antes que los atacantes.
Defensa autónoma: CodeMender
En Google, diseñamos nuestros sistemas para que sean seguros desde el principio. Iniciativas basadas en IA como BigSleep y OSS-Fuzz han demostrado la capacidad de la IA para descubrir vulnerabilidades de día cero en softwares ampliamente utilizados. A medida que logramos más avances en el descubrimiento de vulnerabilidades mediante IA, será cada vez más difícil para los humanos hacerlo solos.
Por eso desarrollamos CodeMender, un agente impulsado por IA que utiliza las capacidades de razonamiento avanzado de nuestros modelos Gemini para corregir automáticamente vulnerabilidades críticas de código. CodeMender amplía la seguridad y acelera los tiempo-parcheo en el ecosistema de código abierto. Representa un salto importante hacia una defensa proactiva impulsada por IA, con funciones como:
- Análisis de causa raíz: utiliza Gemini y técnicas avanzadas, como fuzzing y demostradores de teoremas, para identificar con precisión la causa fundamental de una vulnerabilidad, no solo sus síntomas superficiales.
- Parcheo autovalidado: genera y aplica códigos de parche de forma autónoma. Luego, estos son revisados por agentes especializados (“critiques”) que actúan como revisores automáticos, validando rigurosamente la corrección, el impacto en la seguridad y la conformidad con los estándares de código antes de su aprobación final por un humano.
Reforzando la investigación: Programa de Recompensas por Vulnerabilidades de IA (AI VRP)
La comunidad global de investigación en seguridad es un socio indispensable, y nuestros programas de recompensas (VRP) ya han otorgado más de 430,000 dólares por hallazgos relacionados con IA. Para fortalecer esta colaboración, estamos lanzando un AI VRP dedicado, que aclara qué tipos de problemas de IA están dentro del alcance mediante un conjunto unificado de reglas y tablas de recompensas. Esto simplifica el proceso de reporte y maximiza la motivación de los investigadores para identificar y comunicar fallas de alto impacto.
Las principales novedades del AI VRP incluyen:
- Tablas unificadas de recompensas por seguridad: los problemas relacionados con la IA que antes estaban cubiertos por el Programa de Recompensas por Vulnerabilidad se trasladaron al nuevo AI VRP, brindando mayor claridad sobre qué tipos de incidentes relacionados con abuso están dentro del alcance del programa.
- El mecanismo de reporte adecuado: aclaramos que las inquietudes relacionadas con la seguridad de contenidos deben informarse mediante el sistema de retroalimentación dentro del producto, ya que este recoge los metadatos necesarios (como el contexto del usuario y la versión del modelo) que nuestros equipos de seguridad de IA necesitan para diagnosticar el comportamiento del modelo e implementar mejoras a largo plazo.
Protección de agentes de IA
Estamos ampliando nuestro Marco de IA segura hacia Marco de IA segura 2.0, para abordar los riesgos emergentes asociados con los agentes autónomos de IA. Esta nueva versión extiende nuestro marco probado con guías específicas sobre riesgos de seguridad en agentes y controles para mitigarlos. Se apoya en tres nuevos elementos:
- Un mapa de riesgos de agentes, que ayuda a los profesionales a identificar las amenazas de los agentes en una visión completa de los riesgos de la IA.
- Capacidades de seguridad que se implementarán en los agentes de Google, garantizando que sean seguros por diseño y se adhieran a tres principios clave: deben tener un controlador humano definido, sus capacidades deben estar cuidadosamente limitadas y sus acciones deben ser observables.
- La donación de los datos del mapa de riesgos del Marco de IA segura a la Coalición por una IA Segura (CoSAI), para fortalecer la seguridad de la IA en toda la industria.
De cara al futuro: poner en marcha herramientas de IA proactivas con socios públicos y privados
Nuestro trabajo en seguridad con IA va más allá de mitigar amenazas: nuestra ambición es usar la IA para hacer del mundo un lugar más seguro. Mientras gobiernos y organizaciones civiles buscan apoyarse en la IA para contrarrestar las crecientes amenazas de ciber delincuentes, estafadores y actores respaldados por Estados, en Google estamos comprometidos a liderar este camino.
Por eso hemos compartido nuestras metodologías para construir agentes de IA seguros, colaborado con agencias como DARPA, y asumido un rol protagónico en alianzas industriales como la Coalition for Secure AI (CoSAI).
Nuestro compromiso de usar la IA para cambiar radicalmente el equilibrio de la ciberseguridad en favor de los defensores es un esfuerzo sostenido y a largo plazo. Lo estamos concretando con el lanzamiento de CodeMender para la defensa autónoma, mediante alianzas estratégicas con la comunidad global de investigación a través del AI VRP, y con la expansión de nuestro Marco de IA segura 2.0 para proteger a los agentes de IA. Con estas y más iniciativas por venir, nos aseguramos de que el poder de la IA sigue siendo una ventaja decisiva para la seguridad y la protección de todos.
