¿La IA de escritorio conlleva riesgos?
La inteligencia artificial ha llegado al escritorio.
Microsoft 365 Copilot, que se lanzó el año pasado, ya está disponible de forma generalizada. Apple Intelligence acaba de alcanzar la disponibilidad beta general para los usuarios de los modelos más nuevos de Mac, iPhone y iPad. Y, según se informa, Google Gemini pronto podrá realizar acciones a través del navegador Chrome como parte de una función de agente en desarrollo llamada Proyecto Jarvis.
La integración de grandes modelos de lenguaje (LLM, por sus siglas en inglés) que buscan información empresarial y permiten secuencias de comandos automatizadas de acciones (las llamadas capacidades “agenticas”) es prometedora para los trabajadores del conocimiento, pero también crítica para los líderes empresariales y los directores de seguridad de la información (CISO). . Las organizaciones ya sufren importantes problemas de uso compartido excesivo y de no restringir los permisos de acceso: el 40% de las organizaciones retrasaron la adopción de Microsoft 365 Copilot durante tres meses o más debido a problemas de seguridad, según un estudio. Encuesta de Gartner.
La amplia gama de capacidades que ofrecen los sistemas de IA de escritorio, combinada con la falta de una seguridad de la información rigurosa en muchas organizaciones, plantea un riesgo significativo, afirma Jim Alkove, director ejecutivo de Oleria, una plataforma de gestión de identidad y acceso para servicios en la nube.
«Es la combinatoria lo que realmente debería preocupar a todos», afirma. “Estos riesgos categóricos existen ampliamente [native language] La tecnología basada en modelos, y cuando se combina con el tipo de riesgos de seguridad en tiempo de ejecución con los que hemos estado lidiando (y los riesgos de acceso a la información y de auditabilidad), en última instancia tiene un efecto multiplicador sobre el riesgo».
La IA de escritorio probablemente despegará en 2025. Las empresas ya están buscando adoptar rápidamente Microsoft 365 Copilot y otras tecnologías de inteligencia artificial de escritorio, pero solo el 16 % ha superado las pruebas piloto iniciales para que la tecnología esté disponible para todos los empleados. «El estado del copiloto de Microsoft 365: resultados de la encuesta» de Gartner. La gran mayoría (60%) todavía está evaluando la tecnología en un proyecto piloto, mientras que una quinta parte de las empresas aún no ha llegado a ese punto y todavía se encuentra en la fase de planificación.
La mayoría de los trabajadores esperan tener un sistema de inteligencia artificial de escritorio que les ayude con sus tareas diarias. Alrededor del 90% de los encuestados cree que a sus usuarios les resultaría difícil conservar el acceso a su asistente de IA, y el 89% está de acuerdo en que la tecnología ha mejorado la productividad, según Gartner.
Lleva seguridad al asistente de IA
Desafortunadamente, las tecnologías son cajas negras en términos de arquitectura y protección, lo que significa que carecen de confianza. Con un asistente personal humano, las empresas pueden realizar verificaciones de antecedentes, limitar su acceso a ciertas tecnologías y auditar su trabajo, medidas que actualmente son incomparables con los sistemas de inteligencia artificial de escritorio, dice Alkove de Oleria.
Los asistentes de IA (ya sea en el escritorio, en un dispositivo móvil o en la nube) tendrán mucho más acceso a la información de la que necesitan, afirma.
«Si piensas en lo pobre que es la tecnología moderna para lidiar con el hecho de que mi asistente debería realizar ciertas tareas electrónicas en mi nombre, pero nada más», dice Alkove. “Puedes darle a tu asistente acceso al correo electrónico y a tu calendario, pero no puedes evitar que vea ciertos correos electrónicos y ciertos eventos del calendario. Él puede verlo todo”.
Esta capacidad de delegar tareas debe convertirse en parte de la estructura de seguridad de los asistentes de IA, afirma.
Riesgo cibernético: ingeniería social tanto para los usuarios como para la IA
Sin ese diseño y controles de seguridad, es probable que se produzcan ataques.
A principios de este año, un escenario de ataque de inyección rápida destacó los riesgos para las organizaciones. El investigador de seguridad Johann Rehberger descubrió que es posible un ataque indirecto de inyección inmediata a través de un correo electrónico, un documento de Word o un sitio web. podría engañar a Microsoft 365 Copilot para que asuma el papel de impostorExtraiga información personal y transmítala a un atacante. Rehberger informó inicialmente a Microsoft del problema en enero y continuó proporcionando información a la empresa durante todo el año. Se desconoce si Microsoft tiene una solución integral al problema.
La capacidad de acceder a las funciones de un sistema operativo o dispositivo convierte a los asistentes de inteligencia artificial de escritorio en otro objetivo para los estafadores que intentan que un usuario actúe. En cambio, ahora se centrarán en conseguir que un LLM actúe, afirma Ben Kilger, director ejecutivo de Zenity, una empresa de seguridad de agentes de inteligencia artificial.
«Un LLM les brinda la capacidad de hacer cosas en su nombre sin necesidad de aprobación o control especial», dice. «Muchos de estos ataques de inyección rápida tienen como objetivo manipular el sistema mediante ingeniería social: intentan eludir otros controles en su red sin diseñar socialmente a un humano».
Información sobre la caja negra de la IA
La mayoría de las empresas carecen de visibilidad y control sobre la seguridad de la tecnología de IA en general. Para examinar adecuadamente la tecnología, las empresas deben poder examinar qué hace el sistema de IA, cómo interactúan los empleados con la tecnología y qué acciones se delegan a la IA, afirma Kilger.
«Todas estas son cosas que la organización necesita controlar, no la plataforma del agente», afirma. «Hay que desglosarlo y profundizar en cómo se utilizan realmente estas plataformas y cómo las personas las construyen e interactúan con ellas».
El primer paso para evaluar el riesgo de Microsoft 365 Copilot, el rumoreado Proyecto Jarvis de Google, Apple Intelligence y otras tecnologías es obtener esa visibilidad e implementar controles para limitar el acceso de un asistente de IA a un nivel granular, dice Alkove de Oleria.
En lugar de un gran almacén de datos al que siempre puede acceder un sistema de inteligencia artificial de escritorio, las empresas deben poder controlar el acceso del destinatario final de los datos, su función y la confidencialidad de la información, afirma.
«¿Cómo le da a este agente acceso a partes de su información y partes de las acciones que normalmente realizaría como individuo, y sólo durante un cierto período de tiempo?», pregunta Alkove. “Tal vez desee que el agente solo realice una acción una vez, o que solo la realice durante 24 horas. Por lo tanto, es fundamental garantizar que se implementen este tipo de controles hoy”.
Microsoft, por su parte, reconoce los desafíos de la gestión de datos, pero sostiene que no son nuevos, sino que sólo se han vuelto más evidentes con la introducción de la IA.
“La IA es simplemente el último llamado a la acción para que las organizaciones administren de manera proactiva los controles que deberían influir en sus políticas, las regulaciones de cumplimiento de la industria y la tolerancia al riesgo, como determinar qué identidades de empleados deben tener acceso a los diferentes tipos de archivos, espacios de trabajo, etc. y otros recursos», dijo un portavoz de la empresa en un comunicado.
La compañía señaló su portal Microsoft Purview como una forma para que las organizaciones administren continuamente identidades, permisos y otros controles. Al utilizar el portal, los administradores de TI pueden ayudar a proteger los datos de las aplicaciones de IA y monitorear proactivamente el uso de la IA desde una única ubicación de administración, dijo la compañía. Google se negó a comentar sobre su próximo agente de inteligencia artificial.
Nos llegó este contenido de ciberseguridad de: DarkReading
Puedes encontrar la noticia original en el enlace que se encuentra a continuación: https://www.darkreading.com/application-security/does-desktop-ai-risk
