Errores críticos están poniendo en problemas la plataforma Hugging Face AI

Dos vulnerabilidades críticas en la plataforma Hugging Face AI abrieron la puerta para que los atacantes accedieran y modificaran los datos y modelos de los clientes.

Una de las vulnerabilidades les dio a los atacantes la capacidad de acceder a los modelos de aprendizaje automático (ML) de otros clientes en la plataforma Hugging Face, y la segunda les permitió sobrescribir todas las imágenes en un registro de contenedor compartido. Ambas vulnerabilidades descubiertas por los investigadores de Wiz tenían que ver con la capacidad de los atacantes de apoderarse de partes de la infraestructura de inferencia de Hugging Face.

Los investigadores de Wiz encontraron vulnerabilidades en tres componentes específicos: la API de inferencia de Hugging Face, que permite a los usuarios navegar e interactuar con los modelos disponibles en la plataforma; Puntos finales de inferencia Hugging Face, o infraestructura dedicada para implementar modelos de IA en producción; y Hugging Face Spaces, un servicio de alojamiento para presentar aplicaciones de IA/ML o colaborar en el desarrollo de modelos.

El problema del pepinillo

Al examinar la infraestructura de Hugging Face y las posibilidades de convertir en armas las fallas descubiertas, los investigadores de Wiz descubrieron que cualquiera puede cargar fácilmente un modelo AI/ML a la plataforma, incluidos aquellos creados en el formato Pickle. Pepinillo es un módulo ampliamente utilizado para guardar objetos de Python en un archivo. Aunque incluso la Python Software Foundation considera que Pickle no es seguro, sigue siendo popular debido a su facilidad de uso y familiaridad del usuario.

«Es relativamente fácil crear un modelo PyTorch (Pickle) que ejecute código arbitrario cuando se carga», dice Wiz.

Los investigadores de Wiz aprovecharon la oportunidad para cargar un modelo privado basado en Pickle en Hugging Face, que ejecutaba un shell inverso cuando se cargaba. Luego interactuaron con él utilizando la API de Inferencia para lograr una funcionalidad similar a un shell que los investigadores utilizaron para explorar su entorno en la infraestructura de Hugging Face.

Este ejercicio mostró rápidamente a los investigadores que su modelo se estaba ejecutando en un pod en un clúster en Amazon Elastic Kubernetes Service (EKS). A partir de ahí, los investigadores pudieron aprovechar errores de configuración comunes para extraer información que les permitió obtener los privilegios necesarios para ver secretos que podrían haberles permitido acceder a otros inquilinos en la infraestructura compartida.

Al utilizar Hugging Face Spaces, Wiz descubrió que un atacante podía ejecutar código arbitrario durante el tiempo de creación de la aplicación, lo que le permitía inspeccionar las conexiones de red desde su computadora. Su revisión reveló una conexión a un registro de contenedores compartido que contenía imágenes de otros clientes que podrían haber manipulado.

«En las manos equivocadas, la capacidad de escribir en el registro interno de contenedores podría tener un impacto significativo en la integridad de la plataforma y provocar ataques a la cadena de suministro en áreas de clientes», dijo Wiz.

Abrazando la cara dijo Había mitigado por completo los riesgos que Wiz había descubierto. Desde entonces, la compañía ha identificado que los problemas estaban al menos parcialmente relacionados con su decisión de continuar permitiendo el uso de archivos pickle en la plataforma Hugging Face, a pesar de los riesgos de seguridad bien documentados asociados con dichos archivos antes mencionados.

«Los archivos Pickle han sido el foco de la mayor parte de la investigación de Wiz y otras publicaciones recientes de investigadores de seguridad sobre Hugging Face», señaló la compañía. Permitir que Pickle se use en Hugging Face es “una carga para nuestros equipos de ingeniería y seguridad, y hemos realizado esfuerzos significativos para mitigar los riesgos y al mismo tiempo permitir que la comunidad de IA use las herramientas de su elección”.

Nuevos riesgos con la IA como servicio

Wiz describió su descubrimiento. como una indicación de los riesgos que las organizaciones deben tener en cuenta al utilizar infraestructura compartida para alojar, ejecutar y desarrollar nuevos modelos y aplicaciones de IA, lo que se conoce como «IA como servicio». La compañía comparó los riesgos y las mitigaciones asociadas con los que enfrentan las empresas en entornos de nube pública y recomendó aplicar las mismas mitigaciones a los entornos de IA.

«Las organizaciones deben asegurarse de tener visibilidad y control sobre toda la pila de IA en uso y analizar cuidadosamente cualquier riesgo», dijo Wiz en un blog esta semana. Esto incluye analizar el “uso de”. modelos maliciosos, Divulgación de datos de entrenamientodatos sensibles en el entrenamiento, Vulnerabilidades en los SDK de IA, la exposición de los servicios de IA y otras combinaciones de riesgos tóxicos que pueden ser explotados por los atacantes”, dijo el proveedor de seguridad.

Eric Schwake, director de estrategia de ciberseguridad de Salt Security, dice que hay dos grandes problemas en torno al uso de la IA como servicio que las empresas deben tener en cuenta. «En primer lugar, los actores de amenazas pueden cargar modelos de IA maliciosos o explotar vulnerabilidades en la pila de inferencia para robar datos o manipular resultados», afirma. «En segundo lugar, los actores maliciosos pueden intentar comprometer los datos de entrenamiento, lo que resulta en resultados de IA sesgados o inexactos, lo que comúnmente se conoce como envenenamiento de datos».

Identificar estos problemas puede ser un desafío, especialmente dada la creciente complejidad de los modelos de IA, afirma. Para gestionar parte de este riesgo, es importante que las empresas comprendan cómo sus aplicaciones y modelos de IA interactúan con la API y encuentren formas de protegerlo. “Es posible que las organizaciones también quieran explorar esto IA explicable (XAI) «Para hacer que los modelos de IA sean más comprensibles», dice Schwake, «y podría ayudar a identificar y mitigar sesgos o riesgos dentro de los modelos de IA».