Seis tendencias de seguridad relacionadas con la IA a tener en cuenta en 2025

La mayoría de los analistas de la industria esperan que las empresas aceleren sus esfuerzos para aprovechar la inteligencia artificial generativa (GenAI) y los grandes modelos de lenguaje (LLM) en una variedad de casos de uso durante el próximo año.

Los ejemplos típicos incluyen atención al cliente, detección de fraude, creación de contenido, análisis de datos, gestión del conocimiento y, cada vez más, desarrollo de software. uno actual Encuesta a 1.700 profesionales de TI En el estudio realizado por Centient en nombre de OutSystems, el 81% de los encuestados dijo que sus organizaciones están utilizando actualmente GenAI para ayudar con la codificación y el desarrollo de software. Casi tres cuartas partes (74%) planean crear 10 o más aplicaciones utilizando enfoques de desarrollo impulsados ​​por IA en los próximos 12 meses.

Si bien estos casos de uso prometen importantes ganancias de eficiencia y productividad para las empresas, también introducen nuevos riesgos de privacidad, gobernanza y seguridad. Aquí hay seis problemas de seguridad relacionados con la IA a los que los líderes de seguridad y TI deberían estar atentos en los próximos 12 meses, según expertos de la industria.

Los asistentes de codificación con IA se están generalizando y, con ellos, vienen riesgos

El uso de asistentes de codificación basados ​​en IA, como GitHub Copilot, Amazon CodeWhisperer y OpenAI Codex, pasará del estado experimental y de los primeros en adoptarlo al uso generalizado, especialmente entre las organizaciones emergentes. Los beneficios promocionados de estas herramientas incluyen una mayor productividad de los desarrolladores, la automatización de tareas repetitivas, la reducción de errores y tiempos de desarrollo más rápidos. Sin embargo, como ocurre con todas las nuevas tecnologías, existen algunas también desventajas. Por razones de seguridad, esto incluye respuestas de codificación automática, como código vulnerable, divulgación de datos y la proliferación de prácticas de codificación inseguras.

«Si bien los asistentes de código basados ​​en IA sin duda ofrecen grandes beneficios cuando se trata de autocompletado, generación y reutilización de código, y hacen que la programación sea más accesible para una audiencia que no es de ingeniería, son no sin riesgosdice Derek Holt, director ejecutivo de Digital.ai. El mayor problema es el hecho de que los modelos de IA son tan buenos como el código utilizado para entrenarlos. Los primeros usuarios observaron errores de codificación, antipatrones de seguridad y proliferación de códigos al utilizar la IA para desarrollar asistentes de codificación, afirma Holt. «Los usuarios empresariales deben continuar buscando vulnerabilidades conocidas». [Dynamic Application Security Testing, or DAST; and Static Application Security Testing, or SAST] y proteger el código contra intentos de ingeniería inversa para garantizar que los impactos negativos sean limitados y que las ganancias de productividad den como resultado los beneficios esperados”.

La IA acelera la adopción de prácticas xOps

A medida que más empresas trabajan para integrar capacidades de IA en su software, podemos esperar que DevSecOps, DataOps y ModelOps (o la práctica de gestionar y monitorear modelos de IA en producción) se conviertan en un enfoque de gestión de xOps más amplio e integral que crece juntos, afirma. Bosquecillo. El impulso hacia el software habilitado para IA está desdibujando cada vez más las líneas entre las aplicaciones declarativas tradicionales, que siguen reglas predefinidas para producir resultados específicos, y las aplicaciones LLM y GenAI, que generan dinámicamente respuestas basadas en patrones aprendidos de conjuntos de datos de entrenamiento, dice Holt. La tendencia ejercerá una nueva presión sobre los equipos de operaciones, soporte y control de calidad e impulsará la adopción de xOps, señala.

«xOps es un término emergente que describe los requisitos de DevOps al crear aplicaciones que aprovechan modelos internos o de código abierto basados ​​en datos propiedad de la empresa», afirma. “Este nuevo enfoque reconoce que al implementar aplicaciones móviles o web que aprovechan los modelos de IA, existe la necesidad de integrar los procesos tradicionales de DevSecOps con los de DataOps, MLOps y ModelOps en un ciclo de vida integrado de extremo a extremo y Holt cree que estas nuevas mejores prácticas ser fundamental para que las organizaciones garanticen aplicaciones impulsadas por IA de alta calidad, seguras y compatibles.

IA en la sombra: un importante problema de seguridad

La fácil disponibilidad de una gama amplia y de rápido crecimiento de herramientas GenAI ha llevado al uso no autorizado de las tecnologías en muchas organizaciones y ha creado nuevos desafíos para los equipos de seguridad que ya estaban sobrecargados. Un ejemplo es la rápida propagación –y a menudo no gestionada– Uso de chatbots de IA entre los empleados para una variedad de propósitos. Esta tendencia ha aumentado la preocupación entre muchas organizaciones por la divulgación involuntaria de datos confidenciales.

Los equipos de seguridad pueden esperar un aumento en el uso no autorizado de tales herramientas durante el próximo año, predice Nicole Carignan, vicepresidenta de IA cibernética estratégica en Darktrace. «Veremos una explosión de herramientas que utilizan IA e IA generativa en las empresas y en los dispositivos utilizados por los empleados», lo que lleva a una Ascenso en la IA de las sombrasdice Cariñena. «Si no se controla, esto plantea serias preguntas e inquietudes sobre la prevención de pérdida de datos, así como preocupaciones de cumplimiento a medida que nuevas regulaciones como… Ley de IA de la UE están empezando a afianzarse”, afirma. Carignan predice que los directores de información (CIO) y los directores de seguridad de la información (CISO) se verán sometidos a una presión cada vez mayor para implementar capacidades para detectar, rastrear y detener el uso no autorizado de herramientas de inteligencia artificial en su entorno.

La IA aumentará las capacidades humanas, no las reemplazará

La IA se destaca en el procesamiento de cantidades masivas de datos de amenazas e identifica patrones en esos datos. Pero al menos durante algún tiempo seguirá siendo uno, en el mejor de los casos. herramienta de extensión Esto es capaz de manejar tareas repetitivas y permitir la automatización de funciones básicas de detección de amenazas. Según Stephen Kowski, CTO de campo de SlashNext Email Security+, los programas de seguridad más exitosos el próximo año seguirán siendo aquellos que combinan el poder informático de la IA con la creatividad humana.

Muchas organizaciones seguirán necesitando experiencia humana para detectar y responder a ataques del mundo real que van más allá de los patrones históricos que utilizan los sistemas de IA. La caza eficaz de amenazas seguirá dependiendo de la intuición humana y de la capacidad de detectar anomalías sutiles y conectar indicadores aparentemente no relacionados, afirma. «La clave es encontrar el equilibrio adecuado en el que la IA maneje la detección rutinaria de grandes volúmenes mientras analistas experimentados investigan nuevos patrones de ataque y determinan respuestas estratégicas».

La capacidad de la IA para analizar rápidamente grandes cantidades de datos aumentará la necesidad de que los trabajadores de ciberseguridad mejoren sus habilidades de análisis de datos, añade Julian Davies, vicepresidente de servicios avanzados de Bugcrowd. «La capacidad de interpretar los conocimientos generados por la IA será fundamental para detectar anomalías, predecir amenazas y mejorar las medidas de seguridad generales. Las capacidades técnicas rápidas también serán importantes para que las empresas obtengan el máximo valor de sus inversiones en IA, que son cada vez más útiles». , añade.

Los atacantes utilizarán la IA para explotar las vulnerabilidades del código abierto

Venky Raju, director de tecnología de campo de ColorTokens, predice que los actores de amenazas utilizarán herramientas de inteligencia artificial para explotar vulnerabilidades y generar automáticamente código de explotación en software de código abierto. “Ni siquiera el software de código cerrado es inmune, ya que las herramientas de fuzzing basadas en IA pueden identificar vulnerabilidades sin tener acceso al código fuente original. Estos ataques de día cero son una gran preocupación para la comunidad de la ciberseguridad”, afirma Raju.

Un informe de principios de este año decía: Multitud de huelga señaló el ransomware impulsado por IA como un ejemplo de cómo los atacantes utilizan la IA para mejorar sus capacidades maliciosas. Los atacantes también podrían utilizar la IA para examinar objetivos, identificar vulnerabilidades del sistema, cifrar datos y personalizar y modificar fácilmente el ransomware para evitar los mecanismos de detección y corrección de puntos finales.

La verificación y la supervisión humana serán cruciales

Seguirá siendo difícil para las empresas confiar plenamente en la IA para hacer lo correcto. A encuesta actual de Qlik De 4.200 ejecutivos de nivel C y tomadores de decisiones de IA, se encontró que la mayoría de los encuestados apoyaban abrumadoramente el uso de la IA para diversos fines. Al mismo tiempo, el 37% dijo que sus ejecutivos no tenían confianza en la IA, mientras que el 42% de los mandos de nivel medio expresaron la misma opinión. Alrededor del 21% dijo que sus clientes también desconfían de la IA.

“La confianza en la IA seguirá siendo un equilibrio complejo Beneficios versus riesgos«Como muestra la investigación actual, eliminar los prejuicios y las alucinaciones puede ser contraproducente e imposible», dice Kowski de SlashNext. «Si bien los acuerdos industriales proporcionan algunos marcos éticos, la naturaleza subjetiva de la ética significa que diferentes organizaciones y culturas seguirán interpretando e implementando las directrices de IA de manera diferente. «El enfoque práctico es implementar sistemas de verificación sólidos y mantener la supervisión humana, en lugar de hacerlo después». esforzarnos por lograr una total confiabilidad”, dice.

Davies, de Bugcrowd, dice que la necesidad de profesionales que puedan lidiar con las implicaciones éticas de la IA ya está creciendo. Su misión es garantizar la privacidad, evitar sesgos y mantener la transparencia en las decisiones impulsadas por la IA. «La capacidad de probar los casos de uso de seguridad únicos de la IA es cada vez más importante», afirma.