Abrazar mascarillas armadas con un solo ajuste

abrazando la caraun almacén de código abierto para modelos y componentes de IA, es vulnerable a ataques a través de la capa «tokenizer» que los modelos de IA utilizan para hacer que sus resultados sean legibles por humanos.

Un ciberatacante podría utilizar el vector de amenaza para implementar un enfoque de intermediario (MitM), en el que se utiliza un archivo .json para interceptar argumentos de invocación de herramientas para redirigir tokens de URL a través de la infraestructura del atacante; Esto le da al actor de amenazas «información sobre cada URL a la que accede el modelo, los parámetros de API y cualquier credencial integrada en esas solicitudes», explicó el investigador de seguridad de HiddenLayer, Divyanshu Divyanshu. Una entrada de blog publicada hoy.

Hidden Layer probó su ataque en modelos Hugging Face que se ejecutan localmente utilizando los formatos SafeTensors, ONNX y GGUF. SafeTensors es un modelo desarrollado por Hugging Face y se considera el modelo estándar de facto para la plataforma; Los tres son compatibles con Hugging Face y son populares para una variedad de casos de uso. Sin embargo, este es un problema que podría afectar a cualquier plataforma que ejecute modelos de código abierto como LlamaCPP y Ollama.

Relacionado:Los piratas informáticos utilizan la IA para desarrollar exploits y automatizar ataques

Además, solo afecta a los modelos que se ejecutan localmente, ya que el ataque se basa en la modificación de archivos locales. Por lo tanto, por ejemplo, los modelos que se ejecutan a través de la API de inferencia de Hugging Face no se ven afectados.

Hugging Face no respondió a una solicitud de comentarios.

La falla del tokenizador de IA permite a los atacantes secuestrar los resultados del modelo

Un tokenizador es un tipo de traductor entre el lenguaje humano y el lenguaje informático para modelos de IA. La salida de un modelo comienza como una secuencia de ID de números enteros, que luego son decodificados por el tokenizador antes de que la salida llegue al usuario. Hugging Face utiliza específicamente un archivo de biblioteca tokenizer llamado “tokenizer.json” en muchos de sus modelos como mapa para este proceso de decodificación. Cada entrada de este archivo contiene una cadena emparejada con un ID que puede representar una palabra, un fragmento de subpalabra o un token de control, y estas bibliotecas pueden contener decenas de miles de entradas. La conclusión, como descubrió HiddenLayer, es que si un atacante puede hacerse con este archivo tokenizer.json y realizar incluso una única edición, puede tomar el control directo de todo lo que genera el modelo y potencialmente hacerse con un punto de apoyo en el dispositivo del usuario.

Una forma principal para que un atacante aproveche este ataque en la naturaleza es tomar un modelo de código abierto, editar el archivo tokenizador y luego cargar el modelo envenenado en un repositorio público y distribuirlo de esa manera. cualquier usuario intermedio que lo extraiga. «Un tokenizer.json diseñado es estructuralmente idéntico a uno legítimo, por lo que pasa por el proceso de distribución del modelo normal sin un mecanismo de entrega especial», escribió Divyanshu.

Relacionado:Después de reemplazar el malware TeamPCP, “PCPJack” roba secretos de la nube

Un aspecto particularmente preocupante del vector de amenazas es que un modelo manipulado a través de su archivo .json probablemente seguirá ejecutándose correctamente. Por lo tanto, el blog destaca que cuando implementas un modelo desde un repositorio público, también implementas el tokenizador asociado a él.

«Tokenizer.json viene como un archivo de texto plano junto con cada modelo, pero determina lo que realmente hace el sistema implementado», escribió Divyanshu. «La brecha en este ataque es tratarlo como una configuración y no como parte del código base confiable».

Secuestro de tokenizadores: negación de una amenaza a la cadena de suministro

Si bien otras plataformas podrían verse afectadas, Hugging Face quedará expuesta a una gran parte del radio de explosión si los atacantes logran explotar los riesgos de la cadena de suministro aquí como un repositorio de inteligencia artificial de código abierto de primer nivel. Para aquellos que buscan protegerse, Kasimir Schulz, jefe de investigación de seguridad de HiddenLayer, le dice a Dark Reading que las sumas de verificación y las firmas funcionan cuando se ha demostrado que un modelo es seguro, como uno publicado y firmado por una empresa como Microsoft. “Actualmente no existen escáneres automatizados públicos y de libre acceso. [for this specific issue]», dice.

El investigador recomienda que las empresas presten atención a escanear modelos de terceros y, si es posible, utilicen modelos firmados en producción. La firma de modelos es un proceso criptográfico que aplica una firma digital a los modelos de inteligencia artificial y aprendizaje automático para garantizar que no hayan sido manipulados.

Relacionado:Si la IA es tan inteligente, ¿por qué elimina constantemente las bases de datos de producción?

Hugging Face, como todas las plataformas de software de código abierto, ha tenido problemas con una serie de actividades maliciosas. En 2024, JFrog lo descubrió más de 100 modelos maliciosos en el repositorio que puede ejecutar código; una realidad, los defensores continuar con innumerables fuentes abiertas que se esperan AI Plataformas modelo. También ha luchado incluso vulnerabilidades críticas.

No te pierdas el último podcast de Dark Reading Confidential. Cómo se volvió viral una historia sobre una prueba de penetración de USB. Hace dos décadas, Dark Reading publicó su primer artículo de gran éxito: una columna de un evaluador de penetración que repartía unidades USB manipuladas en el estacionamiento de una cooperativa de crédito y dejaba que los empleados curiosos hicieran el resto. Este episodio repasa la pieza histórica con su autor Steve Stasiukonis. ¡Escuche ahora!