El ataque ConfusedPilot puede manipular sistemas de IA basados ​​en RAG

Los atacantes pueden agregar un documento malicioso a los conjuntos de datos utilizados por los sistemas de inteligencia artificial (IA) para generar respuestas, lo que puede confundir al sistema y potencialmente generar información errónea y comprometer los procesos de toma de decisiones dentro de las organizaciones.

Investigadores del Spark Research Lab de la Universidad de Texas (UT) en Austin descubrieron el vector de ataque que denominaron Piloto confundido porque afecta a todas las generaciones extendidas disponibles (RAG) sistemas de IA basados ​​enincluido Copiloto de Microsoft 365. Según los investigadores, esto también incluye otros sistemas basados ​​en RAG que utilizan Llama, Vicuña y OpenAI.

«Este ataque permite la manipulación de las respuestas de la IA simplemente agregando contenido malicioso a cualquier documento al que el sistema de IA pueda hacer referencia», escribió en uno Claude Mandy, evangelista jefe de Symmetry. Papel sobre el ataque, que se presentó en la conferencia DEF CON AI Village 2024 en agosto, pero no fue ampliamente informado. La investigación se llevó a cabo bajo la supervisión del director ejecutivo de Symmetry y profesor de la UT, Mohit Tiwari.

Dado que el 65% de las empresas Fortune 500 actualmente están implementando o planean implementar una implementación basada en RAG sistemas de inteligencia artificial“No se puede subestimar el impacto potencial de estos ataques”, escribió Mandy. Además, el ataque es particularmente peligroso porque requiere sólo un acceso básico para manipular las respuestas de todas las implementaciones de IA basadas en RAG y puede persistir incluso después de que se elimine el contenido malicioso, de acuerdo con las medidas de seguridad actuales de la IA, dijo.

Manipulación maliciosa de RAG

RAG es una técnica para mejorar la calidad de la respuesta y eliminar la costosa fase de reentrenamiento o ajuste de un sistema de modelo de lenguaje grande (LLM). Agrega un paso al sistema donde el modelo recupera datos externos para expandir su base de conocimiento, mejorando la precisión y confiabilidad en la generación de respuestas sin la necesidad de volver a capacitarse o realizar ajustes, dijeron los investigadores.

Los investigadores centraron su presentación y artículo en Microsoft 365 Copilot, aunque no es el único sistema basado en RAG afectado. Más bien, «el principal culpable de este problema es el mal uso de los sistemas basados ​​en RAG… mediante el establecimiento inadecuado de control de acceso y mecanismos de seguridad de datos», según el sitio web ConfusedPilot alojado por los investigadores.

En circunstancias normales, un sistema de IA basado en RAG utiliza un mecanismo de recuperación para extraer palabras clave relevantes para buscar y comparar con recursos almacenados en una base de datos vectorial. Esto utiliza este contexto incrustado para crear un nuevo mensaje que contiene la información relevante a la que se hará referencia.

Cómo funciona el ataque

En un ataque de ConfusedPilot, un actor de amenazas podría inyectar un documento inofensivo que contenga cadenas especialmente diseñadas en el entorno del objetivo. “Esto podría lograrse mediante cualquier identidad que tenga acceso a almacenar documentos o datos en un entorno indexado por AI Copilot”, escribió Mandy.

Desde la perspectiva del usuario, el flujo de ataque es el siguiente: cuando un usuario realiza una consulta relevante, el sistema RAG recupera el documento que contiene estas cadenas. El documento malicioso contiene cadenas que podrían servir como instrucciones para el sistema de inteligencia artificial que lo introduce. Variedad de escenarios maliciosos..

Estos incluyen: supresión de contenido, donde las instrucciones maliciosas hacen que la IA ignore otro contenido legítimo y relevante; generación de información errónea, donde la IA genera una respuesta utilizando únicamente la información corrupta; y atribución errónea, donde la respuesta puede atribuirse falsamente a fuentes legítimas, aumentando su credibilidad percibida.

Además, incluso si el documento malicioso se elimina posteriormente, la información corrupta podría persistir en las respuestas del sistema durante un período de tiempo porque el sistema de inteligencia artificial conserva las instrucciones, señalaron los investigadores.

Victimología y reducción de daños

El ataque ConfusedPilot básicamente tiene dos víctimas: la primera es el LLM dentro del sistema basado en RAG, mientras que la segunda es la persona que recibe la respuesta del LLM, que probablemente podría ser una persona de una gran empresa o proveedor de servicios. De hecho, estos dos tipos de empresas son particularmente vulnerables al ataque porque permiten que múltiples usuarios o departamentos contribuyan al conjunto de datos que utilizan. sistemas de inteligencia artificialMandy comentó.

“Cualquier entorno que permita la entrada de datos de múltiples fuentes o usuarios (ya sean socios internos o externos) corre un mayor riesgo ya que este ataque solo requiere que los copilotos de IA indexen los datos”, escribió.

Los sistemas empresariales que probablemente se verán afectados negativamente por el ataque incluyen los sistemas de gestión del conocimiento empresarial, los sistemas de soporte de decisiones impulsados ​​por IA y los servicios de IA de cara al cliente.

Microsoft no respondió de inmediato a la solicitud de Dark Reading de comentar sobre el impacto del ataque a Copilot. Sin embargo, los investigadores señalaron en su artículo que la empresa respondió y desarrolló «estrategias prácticas de mitigación». Lidiando con el potencial de ataque en el desarrollo de su tecnología de IA. De hecho, esto último es clave para la defensa a largo plazo contra un ataque de este tipo, que depende de «mejores modelos arquitectónicos» que «intentan separar el plan de datos en estos modelos del plan de control», señaló Mandy.

Las estrategias de remediación actuales ahora incluyen: controles de acceso a datos que limitan y verifican quién puede cargar, modificar o eliminar datos a los que hacen referencia los sistemas basados ​​en RAG; Verificaciones de integridad de datos, que verifican periódicamente la integridad de los repositorios de datos de una organización para detectar cambios tempranos no autorizados o la introducción de contenido malicioso; y segmentación de datos, que mantiene los datos confidenciales aislados de conjuntos de datos más grandes siempre que sea posible para evitar la propagación de información corrupta por todo el sistema de IA.