Si la IA es tan inteligente, ¿por qué elimina constantemente las bases de datos de producción?

La eliminación de toda la base de datos de una empresa por parte de un agente de IA no debe verse como un caso atípico, sino más bien como un posible resultado para cualquier organización.

«Tomó 9 segundos», escribió Jer Crane, fundador de PocketOS, que proporciona herramientas de gestión basadas en inteligencia artificial para empresas de alquiler de automóviles. En un artículo publicado en X, Explicó cómo un agente de codificación de IA (Cursor que ejecuta Claude Opus 4.6 de Anthropic) eliminó la base de datos de producción de la empresa, así como «todas las copias de seguridad a nivel de volumen en una única llamada API a Railway, nuestro proveedor de infraestructura». PocketOS proporciona a las empresas de alquiler de coches herramientas de gestión basadas en inteligencia artificial.

“Doy servicios a empresas de alquiler”, escribió Crane. «Utilizan nuestro software para gestionar reservas, pagos, asignaciones de vehículos, perfiles de clientes y trabajo. Esta mañana, sábado, estas empresas tienen clientes que llegan físicamente a sus ubicaciones para recoger vehículos, y mis clientes no tienen registro de quiénes son esos clientes. Las reservas realizadas en los últimos tres meses desaparecieron. Las inscripciones de nuevos clientes desaparecieron. Los datos en los que confiaban para ejecutar sus operaciones de los sábados por la mañana desaparecieron».

Relacionado:TeamPCP ataca paquetes SAP con el ataque “Mini Shai-Hulud”

Cuando PocketOS preguntó al agente, Crane dijo que el agente admitió que violó todos los principios de seguridad que se le dieron para resolver una discrepancia de credenciales. Crane también señaló que los clientes de Cursor He criticado el producto antes. por supuestamente eliminar bases de datos cuando este no debería ser el caso.

Este no es un problema específico del cursor. Un inversor de capital riesgo descrito el año pasado cómo pasó 100 horas Codificación de vibraciones con un agente de Replit AI, solo para descubrir que todo eran «mentiras» y encubrimiento de errores. También eliminó la base de datos de producción y se disculpó de manera similar al caso descrito por Crane.

PocketOS no es un caso extremo

Ryan McCurdy, vicepresidente de Liquibase, cuya plataforma se encarga de la gestión de cambios de bases de datos, le dice a Dark Reading que este incidente no debe tratarse como una anomalía. Dice que Liquibase está viendo un fuerte aumento en el código impulsado por IA que pasa a producción a través de herramientas como Cursor y Copilot, y cuando la velocidad excede la validación, surgen riesgos comerciales.

«La cadena exacta de eventos puede ser específica, pero el patrón subyacente de falla es bien conocido: referencias amplias, separación ambiental débil, acciones destructivas sin puertas de confirmación significativas y sistemas que todavía están diseñados como si un ser humano estuviera siempre al tanto», dice. «Esta combinación puede existir en cualquier organización que adopte agentes de IA sin rediseñar el modelo de control en torno a la ejecución autónoma».

Si bien Crane critica a varias partes como parte de su historia, agrega que no se trata solo de un agente o una API, sino de una industria que integra integraciones de agentes de IA en producción antes de garantizar que esas integraciones sean seguras.

Relacionado:UNC6692 combina ingeniería social, malware y abuso de la nube

Harish Peri, vicepresidente senior y director general de IA de Okta, tenía pensamientos similares. Dijo que el problema era menos un problema de PocketOS y más un problema de una industria cuyos procesos en torno a los sistemas autónomos aún no están completamente desarrollados. «Esta no es la primera (ni la última) vez que un agente elimina datos de la empresa de forma fraudulenta», afirma.

¿Quién es responsable de la seguridad de los agentes de IA? sigue siendo un tema cargado. Si bien los proveedores, por supuesto, deben ser responsables de lanzar software inseguro, los clientes también tienen la responsabilidad de garantizar que sus datos y su autenticación se gestionen adecuadamente antes de introducir algo tan complicado como un agente de IA en su entorno.

Los requisitos para gestionar agentes de IA

Las identidades no humanas deben gestionarse con cuidado, ya que a menudo tienen amplios derechos de acceso para realizar trabajos automatizados utilizando una variedad de herramientas integradas. La carga de trabajo es cada vez más complicada. y las organizaciones no siempre pueden mantenerse al día; Esto se agrava cuando entran en juego agentes de IA.

McCurdy dice que las empresas deberían dejar de tratar a los agentes de IA como compañeros de equipo confiables dentro de las operaciones de producción.

Relacionado:Abordar los riesgos de seguridad únicos de la cadena de suministro digital de Asia

“Si un agente puede acceder a infraestructuras o sistemas de datos, su acceso debe estar estrictamente limitado, los límites de producción deben ser reales y las acciones destructivas deben enfrentarse a un verdadero muro de permisos”, afirma. «La restauración tampoco puede estar en el mismo radio de explosión que lo que se está cambiando».

Si bien eso no significa que PocketOS tuviera las protecciones adecuadas o no, el incidente no es un incidente aislado y no es necesariamente un caso límite. Y si no se trata de eliminar bases de datos de producción, entonces se trata Fugas de datos externos o integraciones de “IA en la sombra” No se utiliza correctamente en una organización..

John Gallagher, vicepresidente de Viakoo Labs en el proveedor de seguridad de IoT Viakoo, señala que todavía estamos en los primeros días de la IA. «En este punto, nadie cuenta con las políticas o la gobernanza adecuadas para permitir que la IA asuma el nivel de toma de decisiones y acciones que a Cursor se le ha permitido asumir».

«No culpo a PocketOS en el sentido de que muchas empresas se ven obligadas a utilizar la IA para reducir costes y acelerar el tiempo de comercialización, pero obviamente no han podido hacerlo funcionar de forma segura», afirma.

Nicole Carignan, vicepresidenta senior de seguridad y estrategia de IA en Darktrace, le dice a Dark Reading que las barreras de seguridad basadas en indicaciones son importantes pero no suficientes porque pueden influir en el comportamiento pero no controlar la capacidad.

«A medida que la IA de los agentes se integre en todas las operaciones comerciales», dice, «las empresas necesitarán aplicar principios básicos de seguridad como privilegios mínimos, control de acceso, validación, monitoreo continuo, análisis de comportamiento y contención para poder monitorear el comportamiento de los agentes en tiempo real y detener a los agentes que se desvían de su uso previsto».