4 de noviembre de 2026

SOCaaS

Centro de Operaciones de Seguridad como servicio

Utilice IA generativa por seguridad, pero tenga cuidado

Utilice IA generativa por seguridad, pero tenga cuidado


COMENTARIO

Se habla mucho del impacto Inteligencia artificial generativa (IA) en ciberseguridad – bueno y malo.

Por un lado, sus defensores creen que la IA generativa tiene el potencial de ayudar a defenderse contra actores maliciosos; Por otro lado, hay escépticos que temen que la IA generativa acelere drásticamente la escala y la gravedad de los incidentes de seguridad en los próximos años.

Estamos en los primeros días de la IA generativa. Pero su potencial es difícil de ignorar.

Ya está demostrando su valor como acelerador de la automatización: una propuesta atractiva para cualquier director de seguridad de la información (CISO) que busque cambiar el enfoque de su equipo de las tediosas tareas diarias a proyectos más estratégicos.

También podemos vislumbrar el futuro. Los equipos de seguridad de todo el mundo ya están experimentando con grandes modelos de lenguaje (LLM) como multiplicador de fuerza para:

  • Analice grandes cantidades de datos en busca de vulnerabilidades y patrones de ataques ocultos.

  • Simule pruebas para ataques de phishing.

  • Genere conjuntos de datos sintéticos para entrenar modelos de detección de amenazas.

Creo que la IA generativa tendrá un impacto positivo en la seguridad, pero con una gran advertencia: podría hacer que los equipos de seguridad se vuelvan peligrosamente complacientes.

En pocas palabras, una dependencia excesiva de la IA podría llevar a una falta de supervisión de las operaciones de seguridad de una organización, lo que fácilmente podría generar agujeros en la superficie de ataque.

Mira, mamá, ¡sin manos!

Existe la creencia general de que si una IA es lo suficientemente inteligente, requerirá menos supervisión humana. En la práctica, esto daría como resultado menos trabajo manual. Esto suena genial en teoría, pero en realidad es un camino complicado.

Los falsos positivos y negativos ya son un problema importante en ciberseguridad. Darle más control a la IA sólo empeoraría la situación.

Para ir al grano: los LLM se basan en análisis de texto temporal y estadístico y no comprenden el contexto. Esto provoca alucinaciones que son muy difíciles de detectar incluso con un examen exhaustivo.

Por ejemplo, si un profesional de seguridad utiliza una guía basada en LLM para remediar una vulnerabilidad relacionada con Protocolo de escritorio remoto, probablemente recomiende el método de solución más común para este tipo de problemas y no la mejor solución real. Las instrucciones pueden ser 100% incorrectas pero aun así parecen plausibles.

El LLM no comprende la vulnerabilidad ni la importancia del proceso de remediación. Se basa en un análisis estadístico de los procesos de corrección típicos para esta clase de vulnerabilidades.

El enigma de la precisión y la inconsistencia

El talón de Aquiles de los LLM radica en la inconsistencia e imprecisión de sus resultados.

Tom Le, CISO de Mattel, lo sabe muy bien. Él y su equipo han utilizado IA generativa para reforzar las defensas, pero descubren que en la mayoría de los casos los modelos «alucinan».

Según Le«La IA generativa aún no ha alcanzado un nivel de confianza en el que las empresas puedan confiar en ella sin que los empleados supervisen el resultado».

Su opinión refuerza mi opinión de que la IA generativa plantea una amenaza a la complacencia humana.

No puedes sacar el Security Pro de la seguridad

Al contrario de lo que puedan pensar los pesimistas, la IA generativa no reemplazará a los humanos, al menos no durante nuestra vida. Cuando se trata de identificar amenazas de seguridad específicas, la intuición es imbatible.

Por ejemplo, en seguridad de aplicaciones, inyección SQL y otras vulnerabilidades pueden generar enormes riesgos cibernéticos que solo pueden detectarse cuando las personas realizan ingeniería inversa y modifican la aplicación.

El uso de personas para escribir código también crea código que es mucho más fácil de leer, analizar y comprender para otras personas. En el código generado automáticamente por IA, las vulnerabilidades pueden ser mucho más difíciles de detectar porque no hay ningún desarrollador humano familiarizado con el código de la aplicación. Los equipos de seguridad que utilizan código generado por IA deben dedicar más tiempo a asegurarse de estar familiarizados con los resultados de la IA y a identificar los problemas antes de que se conviertan en exploits.

El uso de IA generativa para código rápido no debería hacer que los equipos de seguridad bajen la guardia, pero puede significar que tengan que dedicar más tiempo a garantizar que el código sea seguro.

La IA no es del todo mala

A pesar del sentimiento actual, tanto positivo como negativo, la IA generativa tiene el potencial de ampliar nuestras capacidades. Sólo hay que utilizarlo con cuidado.

Por ejemplo, el uso de IA generativa junto con Aprendizaje automático bayesiano (ML) los modelos pueden ser una forma más segura de automatizar la ciberseguridad. Este método hace que la IA generativa sea más segura al facilitar el entrenamiento, la evaluación y la medición de resultados. Esta combinación de modelos de IA generativa y ML bayesiano también es más fácil de inspeccionar y depurar cuando se producen imprecisiones. Este método se puede utilizar para obtener nuevos conocimientos a partir de los datos o para validar el resultado de un modelo de IA generativa.

Desafortunadamente, los ciberprofesionales son humanos y los humanos no son perfectos. Puede que seamos lentos, agotados después de largos días de trabajo y propensos a cometer errores, pero tenemos algo que la IA no puede: juicio y matices.. Tenemos la capacidad de comprender y sintetizar contextos; Las máquinas no.

Transferir completamente las tareas de seguridad a la IA generativa sin supervisión ni juicio humanos podría generar conveniencia en el corto plazo y vulnerabilidades de seguridad en el largo plazo.

En su lugar, utilice IA generativa para aumentar operativamente su talento en seguridad. Experimento. En última instancia, el trabajo que realice desde el principio le ahorrará a su organización dolores de cabeza innecesarios en el futuro.





Nos llegó este contenido de ciberseguridad de: DarkReading

Encontrarás la noticia original en el siguiente enlace: https://www.darkreading.com/vulnerabilities-threats/embrace-generative-ai-for-security-but-heed-caution

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *