La verdadera amenaza de la IA es la confianza ciega
OPINIÓN
A ataque reciente Inclusión de uno autónomo agente de IA descubrió un riesgo empresarial creciente para el que muchas empresas no están preparadas: sistemas de inteligencia artificial capaces de convertir entradas no confiables en acciones autorizadas.
No se robaron contraseñas. No se utilizó ningún malware. No se vulneró ningún firewall. Desde la perspectiva del sistema, la transacción fue completamente legítima.
Los atacantes manipularon uno de ellos utilizando una secuencia de puntos y guiones en código Morse. agente de IA causado para generar una instrucción aparentemente legítima para otro sistema de inteligencia artificial autorizado para mover fondos. El segundo agente obedeció sin dudarlo.
El incidente puede parecer un exploit criptográfico aislado. Eso no es todo.
Esta es una señal de alerta temprana para los líderes de TI empresariales a medida que las empresas se apresuran a implementar “IA agente”, sistemas autónomos que no solo pueden generar contenido sino también ejecutar acciones en entornos empresariales. Los sistemas de IA se integran cada vez más en los flujos de trabajo operativos que incluyen adquisiciones, aprobaciones financieras, servicio al cliente, gestión de infraestructura y toma de decisiones internas.
La vulnerabilidad expuesta por el ataque es lo que los líderes de seguridad deberían reconocer como “lavado de autoridad”, el proceso mediante el cual información externa no confiable se transforma en instrucciones internas aparentemente confiables a través de un intermediario de IA.
A medida que las empresas amplían la autonomía de la IA en todos los sistemas empresariales, esta falla arquitectónica podría convertirse en uno de los desafíos de gobernanza definitorios de la era de la IA.
El exploit en sí era engañosamente simple. Los atacantes primero ampliaron los privilegios del sistema de IA almacenando una credencial digital en una billetera criptográfica conectada al agente de IA. El software interpretó la propiedad del token como prueba de autorización y activó automáticamente las funciones de transacción.
Luego, los atacantes enviaron una carga disfrazada de código Morse. Los sistemas de seguridad tradicionales lo ignoraron porque parecía texto inofensivo en lugar de malware ejecutable. Pero el modelo de IA interpretó el mensaje como un enigma por resolver.
Después de traducir el código Morse al inglés sencillo, la IA pasó la instrucción a un sistema de ejecución independiente responsable de transferir fondos. Debido a que el segundo sistema trató la salida de la IA como un comando interno autorizado, ejecutó la transacción.
Vulnerabilidades de autoridad del sistema de IA
La importancia del incidente no reside en la cantidad robada. El ataque apuntó a una categoría de vulnerabilidades que probablemente se volverán más comunes a medida que los sistemas de inteligencia artificial prevalezcan en las redes corporativas.
Durante décadas, la ciberseguridad corporativa se ha centrado en evitar que los sistemas confundan datos con código ejecutable. La IA conduce a un problema nuevo y potencialmente aún más desestabilizador: sistemas que confunden lenguaje con autoridad.
Un sistema de IA no tiene por qué volverse malicioso para tener consecuencias operativas graves. Sólo necesita seguir las instrucciones muy de cerca.
Esta distinción es importante porque muchas organizaciones están avanzando rápidamente hacia la implementación Copilotos de IA y agentes autónomos en entornos donde los resultados influyen cada vez más en las decisiones operativas. Los sistemas de inteligencia artificial ya se están utilizando para resumir documentos legales, enrutar aprobaciones internas, gestionar flujos de trabajo de adquisiciones, escalar tickets de soporte, generar código e interactuar con sistemas corporativos confidenciales.
En muchos casos, estos resultados heredan la confianza implícita una vez que se mueven dentro del ámbito corporativo.
Esta suposición es cada vez más peligrosa.
El problema más profundo es la excesiva discreción, que da a los sistemas de IA la capacidad de tomar medidas de seguimiento sin suficientes capas independientes de verificación. Muchas empresas, sin saberlo, están construyendo arquitecturas en las que los modelos de IA interpretan y ejecutan solicitudes, superando así los límites críticos de seguridad.
La gobernanza de la IA empresarial no puede basarse en el supuesto de que las instrucciones generadas por la IA son inherentemente confiables sólo porque provienen de un sistema interno.
A medida que los CIO y los líderes tecnológicos escalan las implementaciones autónomas de IA, varios principios de gobernanza se vuelven más apremiantes.
En primer lugar, los resultados generados por la IA nunca deberían heredar automáticamente el estado de confianza. Si los correos electrónicos externos, los documentos cargados, los chats con clientes o las llamadas API de terceros pueden afectar un sistema de inteligencia artificial, los resultados posteriores deben tratarse como potencialmente en riesgo a menos que se validen de forma independiente.
En segundo lugar, los sistemas de IA deberían recomendar acciones y no autorizar de forma independiente acciones de alto riesgo. Las decisiones críticas relacionadas con transferencias financieras, acceso privilegiado, cambios de infraestructura, implementación de software u operaciones sensibles deben pasar por motores de políticas deterministas y puntos de control de revisión humana antes de su ejecución.
En tercer lugar, las organizaciones que implementan IA agente deben aplicar principios de confianza cero a la propia arquitectura de IA. Los sistemas de IA deben funcionar con permisos estrictamente segmentados, registros de auditoría integrales y límites de permisos claramente definidos.
La carrera por adoptar la IA en las empresas está creando presión para eliminar por completo a los humanos de los flujos de trabajo operativos. Este podría resultar uno de los errores más costosos de la transición a la IA.
Las ganancias en eficiencia no tienen sentido cuando las empresas automatizan la responsabilidad.
El mayor peligro de los sistemas de IA no es que de repente se vuelvan maliciosos. La cuestión es que seguirán siendo implacablemente obedientes.
El exploit del Código Morse demostró con qué facilidad los sistemas de IA pueden convertir entradas externas hostiles en autoridad interna confiable. A medida que las empresas avanzan en el uso de la IA autónoma, este riesgo ya no es teórico.
Las organizaciones que prosperen en la era de la IA no serán las que se automaticen más rápido. Serán ellos quienes desarrollen sistemas capaces de distinguir entre una instrucción válida y otra peligrosa, incluso si ambas parecen operativamente legítimas.
En la era de la IA autónoma, es posible que el desafío de gobernanza más importante ya no sea enseñar a los sistemas cómo comportarse. Podría enseñarles cuándo es mejor.
Hemos recibido este contenido de ciberseguridad de: DarkReading
Llegarás a la noticia original en el siguiente enlace: https://www.darkreading.com/application-security/real-ai-threat-blind-trust
