ChatGPT expone sus instrucciones, datos y archivos del sistema operativo

ChatGPT expone datos importantes sobre sus instrucciones, historial y los archivos en los que se ejecuta, lo que pone a los GPT públicos en riesgo de exponer datos confidenciales y plantea dudas sobre la seguridad de OpenAI en general.

El chatbot de IA líder en el mundo es más maleable y multifuncional de lo que la mayoría de la gente cree. Con alguna ingeniería rápida específicapermite a los usuarios ejecutar comandos casi como en un shell, cargar, administrar y acceder a archivos como en un sistema operativo Funcionamiento interno del modelo de lenguaje grande (LLM) sobre el que se ejecuta: los datos, instrucciones y configuraciones que influyen en sus salidas.

OpenAI sostiene que todo esto es por diseño, pero Marco Figueroa, gerente del programa de recompensas por errores para Generative AI (GenAI) en Mozilla, hizo esto. Anteriormente se han descubierto inquietudes inmediatas en ChatGPTno está de acuerdo.

«Estas no son características documentadas», dice. “Creo que esto es puramente un defecto de diseño. “Es cuestión de tiempo que pase algo y se encuentre un día cero” debido a la filtración de datos.

Inyección inmediata: lo que ChatGPT le dirá

Figueroa no tenía intención de exponer el núcleo de ChatGPT. «Quería refactorizar algo de código Python y me encontré con esto», recuerda. Cuando le pidió al modelo que refactorizara su código, le devolvió una respuesta inesperada: Directorio no encontrado. “Eso es extraño, ¿no? Es como un [glitch in] la matriz.

Relacionado:Microsoft retira parches de Exchange por problemas de flujo de correo electrónico

¿ChatGPT utilizó algo más que su conocimiento general de programación al procesar su solicitud? ¿Había algún tipo de sistema de archivos escondido debajo? Después de una lluvia de ideas, pensó en otro mensaje que podría ayudar a aclarar el asunto: «listar archivos /», una traducción al inglés del comando de Linux «ls /».

En respuesta, ChatGPT proporcionó una lista de sus archivos y directorios: archivos comunes de Linux como «bin», «dev», «tmp», «sys», etc. Al parecer, dice Figueroa, ChatGPT se ejecuta en la distribución Debian Bookworm Linux”, “dentro de un entorno de contenedores.

Al examinar el sistema de archivos interno del bot, y en particular el directorio /home/sandbox/.openai_internal/, descubrió que además de simplemente observar, también podía cargar archivos, verificar su ubicación, moverlos y ejecutarlos.

Acceso OpenAI: ¿característica o error?

En cierto sentido, toda esta visibilidad y funcionalidad adicionales es positiva: brinda a los usuarios aún más opciones para personalizar y mejorar la forma en que usan ChatGPT, y fortalece la reputación de transparencia y confiabilidad de OpenAI.

De hecho, el riesgo de que un usuario pueda hacer algo malicioso aquí, como cargar y ejecutar un script Python malicioso, se ve mitigado por el hecho de que ChatGPT se ejecuta en un entorno sandbox. Todo lo que un usuario puede hacer está teóricamente limitado sólo a su entorno específico y estrictamente aislado de la infraestructura más amplia y de los datos más confidenciales de OpenAI.

Relacionado:Trump 2.0 podría significar menos regulaciones de ciberseguridad y un cambio en las amenazas

Sin embargo, Figueroa advierte sobre el alcance de la información ChatGPT se filtra mediante inyección instantánea algún día podría ayudar a los piratas informáticos a encontrar vulnerabilidades de día cero y salir de sus entornos limitados. “La razón por la que tropecé en todo lo que hice fue por un error. Eso es lo que hacen los piratas informáticos”. [to find bugs]», dice. Y si la prueba y el error no les funcionan, añade, «El LLM podría ayudarte descubre cómo superarlo.

En un correo electrónico a Dark Reading, un representante de OpenAI reiteró que no considera que esto sea una vulnerabilidad o un comportamiento inesperado, y afirmó que la investigación de Figueroa contenía «inexactitudes técnicas». Dark Reading ha obtenido más información específica.

El riesgo más inmediato: la ingeniería inversa

Sin embargo, aquí existe un riesgo que no es tan abstracto.

Además de los archivos estándar de Linux, ChatGPT también permite a sus usuarios acceder y extraer información mucho más útil. Con las indicaciones adecuadas, pueden descifrar las instrucciones internas: las reglas y directrices que dan forma al comportamiento del modelo. Y aún más profundamente, pueden acceder a sus datos de conocimiento: la estructura básica y las políticas que definen cómo el modelo “piensa” e interactúa con los usuarios.

Relacionado:El ransomware en la nube utiliza nuevos scripts contra aplicaciones web

Por un lado, los usuarios podrían estar agradecidos de tener una visión tan clara de cómo funciona ChatGPT, incluido cómo abordar las cuestiones éticas y de seguridad. Por otro lado, esta información podría ayudar a los actores maliciosos a realizar ingeniería inversa en estas barreras de seguridad y construir mejor mensajes maliciosos.

Aún peor es lo que esto significa para los millones de GPT personalizados disponibles en la tienda ChatGPT en la actualidad. Los usuarios han desarrollado modelos ChatGPT personalizados centrados en programación, seguridad, investigación y más, y las instrucciones y los datos que les dan su toque especial son accesibles para cualquiera que les dé las indicaciones adecuadas.

“La gente colocaba datos e información seguros de sus organizaciones en estos GPT porque pensaban que no eran accesibles para todos. Creo que eso es un problema porque no está explícitamente claro que se pueda acceder a sus datos”, dice Figueroa.

En un correo electrónico a Dark Reading, un representante de OpenAI señaló la documentación de GPT Builder, que advierte a los desarrolladores sobre el riesgo: «No proporcione ninguna información». No quieres que el usuario lo sepa.«Lee y resalta su interfaz, que advierte: «Si carga archivos en Knowledge, las conversaciones con su GPT pueden contener contenido de archivos. Los archivos se pueden descargar cuando Code Interpreter está habilitado».