Una falla crítica en la plataforma de IA expone datos protegidos

Una vulnerabilidad crítica en la plataforma Replicate AI podría haber permitido a los atacantes ejecutar un modelo de AI malicioso dentro de la plataforma para un ataque entre inquilinos, permitiendo el acceso a los modelos de AI privados de los clientes y potencialmente exponiendo conocimiento de propiedad o datos confidenciales.

Los investigadores de Wiz descubrieron la falla a través de una serie de asociaciones con proveedores de IA como servicio para investigar la seguridad sus plataformas. El descubrimiento de la falla resalta la dificultad de la separación de inquilinos en las soluciones de IA como servicio, particularmente en entornos donde los modelos de IA se ejecutan desde fuentes no confiables.

«La explotación de esta vulnerabilidad habría permitido el acceso no autorizado a las indicaciones y resultados de IA de todos los clientes de la plataforma Replicate» y potencialmente habría alterado esos resultados, escribieron Shir Tamari y Sagi Tzadik de Wiz en un Publicación de blog publicada hoyAnteriormente, los investigadores de Wiz habían defectos encontrados Esto llevó a un resultado similar con la plataforma HuggingFace AI.

“Como demostramos en los resultados de nuestro trabajo abrazando la cara y ahora en Replicate, dos proveedores líderes de IA como servicio, «Al ejecutar modelos de IA en entornos de nube, es fundamental recordar que los modelos de IA son en realidad código», dice Ami Luttwak, CTO y cofundador de Wiz, a Dark Lectura. «Como ocurre con cualquier código, se debe verificar el origen y analizar el contenido en busca de cargas útiles maliciosas».

De hecho, la falla representa una amenaza inminente para los proveedores de IA como servicio, que a menudo permiten a sus clientes ejecutar código no confiable en forma de modelos de IA en entornos compartidos, donde residen los datos de otros clientes. También puede afectar a los equipos de IA, que podrían verse afectados si adoptan modelos de IA de fuentes no confiables y los ejecutan en sus estaciones de trabajo o servidores corporativos, señalaron los investigadores.

Wiz Research reveló responsablemente la vulnerabilidad al proveedor de intercambio de modelos de IA Replicate en enero de 2023; La empresa solucionó el error de inmediato para que ningún dato del cliente se viera comprometido. No se requiere ninguna otra acción por parte de los clientes en este momento.

Explotar el error

La falla es lograr la ejecución remota de código en la plataforma Replicate mediante la creación de un contenedor malicioso en formato Cog, un formato propietario utilizado para contener modelos en Replicate. Después de contener un modelo con Cog, los usuarios pueden cargar la imagen resultante en la plataforma de Replicate y comenzar a interactuar.

Los investigadores de Wiz crearon un contenedor Cog malicioso, lo cargaron en la plataforma y luego lo usaron con privilegios de root para ejecutar código en la infraestructura Replicate.

«Sospechamos que esta técnica de ejecución de código es un patrón en el que las empresas y organizaciones ejecutan modelos de IA de fuentes no confiables, a pesar de que estos modelos son códigos que podrían ser potencialmente maliciosos», escribieron los investigadores en el artículo. Se utilizó una técnica similar para explotar errores encontrados en la plataforma HuggingFace.

Esta explotación permitió a los investigadores examinar el movimiento ambiental lateralmente hacia afuera y, en última instancia, fuera del nodo en el que se estaban ejecutando, que estaba dentro. un clúster de Kubernetes alojado en Google Cloud Platform. Aunque el proceso fue desafiante, finalmente lograron realizar un ataque entre inquilinos que les permitió consultar otros modelos e incluso cambiar el resultado de esos modelos.

«La explotación de esta vulnerabilidad habría planteado riesgos importantes tanto para la plataforma Replicate como para sus usuarios», escribieron los investigadores. “Un atacante podría haber interrogado los modelos privados de IA de los clientes y potencialmente haber expuesto conocimientos de propiedad o datos confidenciales asociados con el proceso de capacitación del modelo. Además, las indicaciones de interceptación podrían haber expuesto información confidencial, incluida información de identificación personal (PII)”.

De hecho, esta capacidad de alterar las indicaciones y respuestas de un modelo de IA representa una seria amenaza para la funcionalidad de las aplicaciones de IA, brindando a los atacantes la oportunidad de manipular el comportamiento de la IA y comprometer los procesos de toma de decisiones de estos modelos.

«Tales acciones amenazan directamente la precisión y confiabilidad de los resultados impulsados ​​por la IA, socavan la integridad de las decisiones automatizadas y tienen consecuencias potencialmente de gran alcance para los usuarios que dependen de los modelos comprometidos», escribieron los investigadores.

Se necesitan nuevas formas de reducción de daños

Actualmente, no existe una manera fácil de validar la autenticidad de un modelo o escanearlo en busca de amenazas, lo que convierte a los modelos de IA maliciosos en una nueva superficie de ataque Se necesitan otras formas de mitigación para los abogados defensores, dice Luttwak.

La mejor manera de lograrlo es garantizar que las cargas de trabajo de producción solo Modelos de IA en formatos seguros, como el llamado Safetensor. «Recomendamos que los equipos de seguridad supervisen el uso de modelos inseguros y trabajen con sus equipos de inteligencia artificial para realizar la transición a Safetensor o formatos similares», afirma.

Utilizar únicamente formatos de IA seguros puede aumentar “dramáticamente” la superficie de ataque porque “estos formatos están diseñados para evitar que los atacantes se apoderen de la instancia del modelo de IA”, afirma Luttwak.

Además, los proveedores de nube que ejecutan los modelos de sus clientes en un entorno compartido deben aplicar prácticas de aislamiento de inquilinos para garantizar que un atacante potencial que haya logrado ejecutar un modelo malicioso no pueda acceder a los datos de otros clientes ni al servicio que agrega.