Lucha contra la IA con IA

El miércoles, KPMG Studios, la incubadora del gigante de la consultoría, lanzó Cranium, una startup dedicada a asegurar aplicaciones y modelos de inteligencia artificial (IA). La plataforma de confianza y seguridad de inteligencia artificial de extremo a extremo de Cranium abarca dos dominios — MLOps (Machine Learning Operations) y Ciberseguridad — y proporciona información sobre la seguridad de la IA y los riesgos de la cadena de suministro.

«Básicamente, los científicos de datos no entienden los riesgos de seguridad cibernética de la IA, y los ciberprofesionales no entienden la ciencia de datos de la misma manera que entienden otros temas tecnológicos», dijo Jonathan Dambrot, ex socio de KPMG y fundador y director ejecutivo de Cranium. Él dice que existe una gran brecha en la comprensión entre los científicos de datos y los profesionales de la ciberseguridad, similar a la brecha que suele existir entre los equipos de desarrollo y los trabajadores de la ciberseguridad.

Con Cranium, las partes interesadas clave en el ciclo de vida de la IA tienen una imagen operativa común en todos los equipos para mejorar la visibilidad y la colaboración, dice la compañía. La plataforma captura las canalizaciones de IA implementadas y en desarrollo, incluidos los activos asociados involucrados a lo largo del ciclo de vida de la IA. Cranium cuantifica el riesgo de seguridad de la IA de la organización y establece un seguimiento continuo. Los clientes podrán configurar un marco de seguridad de IA que proporcione a los equipos de seguridad y ciencia de datos una base para crear un programa de seguridad de IA proactivo y holístico.

Para mantener seguros los datos y los sistemas, Cranium mapea las tuberías de IA, valida su seguridad y las monitorea en busca de amenazas hostiles. La tecnología se integra con los entornos existentes para permitir que las empresas prueben, entrenen e implementen sus modelos de IA sin cambiar el flujo de trabajo, dice la empresa. Además, los equipos de seguridad pueden usar el libro de jugadas de Cranium junto con el software para proteger sus sistemas de IA y cumplir con los estándares regulatorios existentes de EE. UU. y la UE.

Con el lanzamiento de Cranium, KPMG aprovecha la creciente preocupación por IA enemiga — la práctica de modificar sistemas de IA que han sido manipulados o atacados intencionalmente para producir resultados falsos o dañinos. Por ejemplo, un vehículo autónomo manipulado podría provocar un accidente grave o un sistema de reconocimiento facial atacado podría identificar erróneamente a las personas y dar lugar a falsas detenciones. Estos ataques pueden provenir de una variedad de fuentes, incluidos actores maliciosos, y podrían usarse para difundir desinformación, realizar ataques cibernéticos o cometer otros tipos de delitos.

Cranium no es la única empresa que busca proteger las aplicaciones de IA de los ataques de IA hostiles. competidores como capa oculta y Picus ya están trabajando en herramientas para detectar y prevenir ataques de IA.

Oportunidades para la innovación

Las oportunidades comerciales en este espacio son significativas ya que se espera que los riesgos de la IA adversaria aumenten en los próximos años. También existe un incentivo para que los grandes jugadores en el espacio de la IA (OpenAI, Google, Microsoft y posiblemente IBM) se concentren en asegurar los modelos y plataformas de IA que producen.

Las empresas pueden centrar sus esfuerzos de IA en la detección y prevención, el entrenamiento del enemigo, la explicabilidad y la transparencia, o la recuperación de un ataque. Las empresas de software pueden desarrollar herramientas y técnicas para identificar y bloquear entradas hostiles, como: B. Imágenes o texto modificados intencionalmente para engañar a un sistema de inteligencia artificial. Las organizaciones también pueden desarrollar técnicas para detectar cuándo un sistema de IA se comporta de manera inusual o inesperada, lo que podría ser una señal de un ataque.

Otro enfoque para protegerse contra la IA enemiga es «entrenar» los sistemas de IA para que sean resistentes a los ataques. Al exponer un sistema de IA a ejemplos adversarios durante el proceso de capacitación, los desarrolladores pueden ayudar al sistema a aprender a reconocer y defenderse de ataques similares en el futuro. Las empresas de software pueden desarrollar nuevos algoritmos y técnicas para el entrenamiento de adversarios, así como herramientas para evaluar la eficacia de esas técnicas.

Con la IA, puede ser difícil entender cómo un sistema toma sus decisiones. Esta falta de transparencia puede dificultar la detección y la defensa contra los ataques enemigos. Las empresas de software pueden desarrollar herramientas y técnicas para hacer que los sistemas de IA sean más explicables y transparentes, de modo que los desarrolladores y usuarios puedan comprender mejor cómo el sistema toma sus decisiones e identificar posibles vulnerabilidades.

Incluso con las mejores técnicas de prevención, aún es posible que se viole un sistema de IA. En estos casos, es importante contar con herramientas y técnicas para recuperarse del ataque y devolver el sistema a un estado seguro y funcional. Las empresas de software pueden desarrollar herramientas para ayudar a identificar y eliminar códigos o entradas maliciosos, así como técnicas para restaurar el sistema a un estado «limpio».

Sin embargo, proteger los modelos de IA puede ser un desafío. Puede ser difícil probar y validar la eficacia de las soluciones de seguridad de IA, ya que los atacantes pueden adaptar y evolucionar constantemente sus técnicas. También existe el riesgo de consecuencias no deseadas si las soluciones de seguridad de IA pudieran introducir nuevas vulnerabilidades por sí mismas.

En general, los riesgos de la IA antagónica son significativos, pero también lo son las oportunidades comerciales para que las empresas de software innoven en este espacio. Además de mejorar la seguridad y la confiabilidad de los sistemas de IA, la protección contra la IA opuesta puede ayudar a generar confianza en la IA entre los usuarios y las partes interesadas. Esto, a su vez, puede ayudar a impulsar la adopción y la innovación en este espacio.