Investigador engaña a ChatGPT para crear malware de esteganografía indetectable

Un investigador de seguridad engañó a ChatGPT para que desarrolle un malware sofisticado que roba datos y que no puede ser detectado por las herramientas de detección basadas en firmas y comportamiento, eludiendo las protecciones del chatbot contra el uso malicioso.

Sin escribir una sola línea de código, el investigador, que admite que no tiene experiencia en el desarrollo de malware, ejecutó ChatGPT a través de varios comandos simples que finalmente dieron como resultado una herramienta de malware capaz de robar un sistema. Buscar documentos específicos, descomponerlos e insertarlos en archivos de imagen y enviarlos a Google Drive.

Al final, solo pasaron unas cuatro horas desde el primer aviso en ChatGPT hasta que el malware funcionó sin detecciones en Virus Total, dice Aaron Mulgrew, arquitecto de soluciones en Forcepoint y uno de los autores del malware.

Rompe las barreras de ChatGPT

Mulgrew dice que la razón de su ejercicio fue mostrar lo fácil que es para alguien eludir las barreras de protección de ChatGPT para crear malware que normalmente requeriría una gran habilidad técnica.

«ChatGPT no ha descubierto ningún exploit nuevo o novedoso», dice Mulgrew. «Pero funcionó con las indicaciones que le envié, cómo minimizar la huella de las herramientas de detección actuales que existen hoy. Y eso es significativo”.

Curiosamente (o preocupantemente), el chatbot impulsado por IA pareció entender el propósito de la ofuscación, aunque las indicaciones no mencionaron específicamente la omisión de detección, dice Mulgrew.

El último espectáculo Se suma al cuerpo de investigación en rápido crecimiento durante los últimos meses que ha revelado problemas de seguridad relacionados con el modelo de lenguaje grande (LLM) ChatGPT de OpenAI. Las preocupaciones abarcan todo, desde ChatGPT dramáticamente para bajar la barra para escribir malware Y Los atacantes lo usan para crear malware polimórfico para los atacantes que lo usan como cebo estafa de phishing y empleados Cortar y pegar datos de la empresa en.

Algunos contrarios han cuestionado ¿Son exageradas las preocupaciones?. Y otros, incluido Elon Musk, uno de los primeros inversores en OpenAI, y muchas luminarias de la industria incluso han advertido que las futuras IA más potentes (como la próxima versión de la plataforma en la que se construye ChatGPT) podrían ser literales. conquistar el mundo y amenazar la existencia humana.

Ingresar código malicioso en ChatGPT

La investigación de Mulgrew probablemente hará poco para tranquilizar a aquellos que ven las herramientas de IA como un riesgo importante para la seguridad. En una publicación de blog de Forcepoint esta semana, Mulgrew proporcionó una descripción paso a paso de cómo persuadió a ChatGPT para que desarrollara una herramienta de malware completa, comenzando con una solicitud inicial para generar un código que calificaría como malware.

Cuando el filtro de contenido de ChatGPT previsiblemente rechazó esta solicitud, Mulgrew optó por un enfoque en el que intentaría engañar a la herramienta de inteligencia artificial para que generara pequeños fragmentos de código que, al juntarse, funcionarían como malware para robar datos.

Su primer desafío exitoso fue cuando consiguió que ChatGPT generara un código que buscaba archivos de imagen PNG de más de 5 MB en el disco local. Usando este código, luego le pidió a ChatGPT un código adicional para codificar todos los PNG descubiertos con esteganografía. Fue una solicitud a la que ChatGPT respondió con una llamada a la biblioteca esteganográfica disponible en GitHub.

Usando una variedad de otras indicaciones, Mulgrew luego engañó a ChatGPT para que generara código adicional para buscar y encontrar documentos de Word y PDF en el disco duro local. Luego encontró una manera de hacer que ChatGPT escribiera código para dividir archivos de más de 1 MB en fragmentos más pequeños, insertarlos en los PNG y usar esteganografía para ocultarlos.

La última parte fue lograr que el chatbot escribiera código para cargar los datos en una cuenta externa de Google Drive: Mulgrew engañó con éxito a la IA para que creara malware a pesar de estar capacitado para rechazar solicitudes maliciosas.

Cero detecciones para el número total de virus

Para probar si las herramientas de detección de malware marcarían el código generado por ChatGPT como malicioso, Mulgrew subió el código a Virus Total. Descubrió que cinco de los 60 proveedores marcaron el archivo como sospechoso. Después de darse cuenta de que el problema podría tener que ver con la forma en que el código ChatGPT llama a la biblioteca esteganográfica, Mulgrew le pidió al chatbot que optimizara el código, y solo dos productos de proveedores lo marcaron como sospechoso. Después de algunos ajustes más, terminó con un código que ningún producto de VirusTotal detectó.

Para la infiltración inicial, los investigadores de Forcepoint le pidieron a ChatGPT que creara un archivo SCR, o un archivo de protector de pantalla, e incrustara el ejecutable en él, con el pretexto de una «facilidad de uso» adicional para las aplicaciones comerciales cotidianas, dice Mulgrew.

«Afortunadamente, ChatGPT creó guías paso a paso sobre cómo puedo hacer esto y configurar el archivo SCR para iniciar automáticamente el ejecutable». Si bien el método no es único, fue interesante que ChatGPT generara el contenido sin requerir que los investigadores de Forcepoint encontraran formas de eludir sus barandillas, dice.

Mulgrew dice que es casi seguro que ChatGPT generaría un código diferente para avisos similares, lo que significa que un atacante podría crear nuevas variantes de tales herramientas con relativa facilidad. Él dice que, según su experiencia, un actor de amenazas necesitaría poco más que un conocimiento básico sobre cómo escribir malware para superar las limitaciones antimalware de ChatGPT.

«No escribo malware ni realizo pruebas de penetración en mi trabajo, y la visualización es solo un pasatiempo para mí», dice. «Así que definitivamente me ubicaría en la categoría de piratas informáticos novatos/novatos en lugar de la categoría de piratas informáticos experimentados».