Grandes riesgos de código malicioso, Vulns
Los atacantes están encontrando cada vez más oportunidades para publicar proyectos maliciosos para abrazar la cara y otros repositorios de los modelos de código abierto para la inteligencia artificial (IA) mientras evitan las revisiones de seguridad de los sitios web. El problema creciente subraya la necesidad de que las empresas busquen proyectos de IA internos para tener mecanismos sólidos para reconocer deficiencias de seguridad y código malicioso en sus cadenas de suministro.
Según un análisis publicado por la compañía de seguridad de la cadena de seguridad de la cadena de suministro, la compañía de seguridad de la cadena de suministro, que fue publicado por el análisis del suministro de suministro de suministro de suministro de suministro de seguridad Firma, por ejemplo, las verificaciones automatizadas de la cara no se pudieron ver en dos modelos de IA alojados en el repositorio. El reproductor de amenazas utilizó un vector común: archivos de datos con el formato de pepino, con una nueva tecnología. llamado «nullifai», llamado «nullifai», «,» Para evitar el descubrimiento.
Si bien los ataques parecían ser un concepto, su éxito se muestra al ejecutar una etiqueta de «sin problema» que las empresas no deberían confiar en las pruebas de seguridad de la cara y otros repositorios para su propia seguridad, dice Tomislav Pericin, arquitecto de software jefe de ReversingLabs.
«Usted tiene este repositorio público, en el que cada desarrollador o aprendizaje automático puede alinear sus propias cosas, y obviamente usar a los actores», dice. «Dependiendo del ecosistema, el vector será un poco diferente, pero la idea es la misma: alguien organizará una versión maliciosa de una cosa y esperará que lo instale accidentalmente».
Las empresas rápidamente toman la IA, y la mayoría también construye proyectos internos con modelos de código abierto -KI de repositores como el abrazo, Tensorflow Hub y Pytorch Hub. Un total del 61% de las empresas usan modelos del ecosistema de código abierto para crear sus propias herramientas de IA, por lo que un Encuesta de consulta matutina de 2.400 tomadores de decisiones de TI que son patrocinados por IBM.
Sin embargo, muchos de los componentes pueden contener código ejecutable, lo que conduce a una variedad de riesgos de seguridad, como la ejecución del código, las puertas traseras, las inyecciones rápidas y las preguntas de alineación. Este último es qué tan bien un modelo de IA corresponde a la intención de los desarrolladores y usuarios.
En un pepino inseguro
Un problema importante es que un formato de datos de uso frecuente, conocido como un archivo de pepinoNo es seguro y se puede usar para llevar a cabo cualquier código. A pesar de las fuertes advertencias de los investigadores de seguridad el Pepino Según Tom Bonner, vicepresidente de investigación de Hiddenlayer, una compañía de detección y reacción centrada en la IA, se continúan utilizando muchos científicos de datos.
«Realmente esperaba que hiciéramos suficiente ruido que Pickle había dejado ahora, pero no lo es», dice. «Vi cómo las organizaciones estaban comprometidas con los modelos de aprendizaje automático, varios [organizations] En este punto. Entonces, sí, aunque no es un evento cotidiano como ransomware o campañas de phishing, sucede. «
Si bien los abrazos tienen verificaciones explícitas para archivos de pepino, el código malicioso, que fue descubierto por Reversal, ha implementado estas comprobaciones utilizando una compresa de archivo diferente para los datos. Otros estudios de la compañía de seguridad de la aplicación CheckMarx encontraron varias formas de evitar los escáneres, como:
A pesar de las funciones maliciosas, este modelo lleva a cabo controles de seguridad en la cara abrazada. Fuente: Laboratorios de inversión
«Picklescan utiliza una lista de bloques que se ha evitado con éxito con las dependencias integradas de Python», Dor Tumarkin, Director de Investigación de Seguridad de Aplicación en CheckMarx, indicado en el análisis. «Es claramente vulnerable, pero mediante el uso de dependencias de los proveedores de tercera parte como los pandas para evitarlo, incluso si se tiene en cuenta todo Los casos horneados en Python aún serían susceptibles a importaciones muy populares en su área. «
En lugar de archivos de encurtidos, la ciencia de datos y los equipos de IA deben cambiar a la seguridad, una biblioteca para un nuevo formato de datos, que fue administrado por abrazos de la cara, eleuthai y la estabilidad, que fue verificado por razones de seguridad. El formato Safetensors se considera mucho más seguro que el formato de pepino.
Puntos débiles de IA profundos
Sin embargo, los archivos de datos ejecutables no son las únicas amenazas. La licencia es otro problema: si bien los modelos de IA preparados a menudo se denominan «IA de código abierto», generalmente no proporcionan toda la información requerida para reproducir el modelo AI, p. B. Código y datos de capacitación. En cambio, entregan los pesos generados por la capacitación y están cubiertos por licencias que no siempre son compatibles con código abierto.
La creación de productos o servicios comerciales de dichos modelos puede conducir a la violación de las licencias, dice Andrew Stiefel, gerente de productos senior de Endor Labs.
«Las licencias para modelos tienen una gran complejidad», dice. «Tiene el modelo real: los pesos, los pesos, los datos de capacitación, todos podrían tener diferentes licencias, y debe comprender lo que eso significa para su empresa».
Orientación del modelo: qué tan bien su edición coincide con los valores de los desarrolladores y usuarios, es el comodín final. En Deepseek, por ejemplo, los usuarios pueden crear malware y virus. Los investigadores descubrieron. Otros modelos como el modelo O3 de OpenAai, que está estrictamente alineado Los investigadores ya rompieron una prisión.
Estos problemas son únicos para los sistemas de IA y los límites del enfoque para tales debilidades siguen siendo un campo fértil para los investigadores, dice ReversingLabs Pericin.
«Ya hay exámenes de qué tipo de solicitudes activaría el modelo para comportarse de manera impredecible, revelar información confidencial o enseñar cosas que podrían ser dañinas», dice. «Esta es una disciplina de seguridad completamente diferente para el aprendizaje automático, que las personas están honestamente más preocupadas».
Las empresas deben asegurarse de que comprendan las licencias para los modelos de IA que usan. Además, debe prestar atención a las señales frecuentes de la seguridad del software, incluida la fuente del modelo, la actividad de desarrollo en relación con el modelo, su popularidad y los riesgos operativos y de seguridad, según Endor.
«Tienes que administrar modelos de IA como todas las demás dependencias de código abierto», dice Stiefel. «Están construidos por personas fuera de su organización y las traen. Esto significa que tienen que seguir el mismo enfoque holístico para considerar los riesgos».
Hemos recibido este contenido de ciberseguridad de: DarkReading
Encontrarás la noticia original en el siguiente enlace: https://www.darkreading.com/cyber-risk/open-source-ai-models-pose-risks-of-malicious-code-vulnerabilities
