La inteligencia de Apple podría plantear riesgos de seguridad para los dispositivos

El tan esperado anuncio de Apple sobre sus capacidades de IA generativa (GenAI) estuvo acompañado de una extensa discusión sobre las consideraciones de seguridad de la compañía para la plataforma. Pero el enfoque anterior de la industria tecnológica en recopilar datos de usuarios de casi todos los productos y servicios ha dejado a muchos preocupados por el impacto de la medida de Apple en la seguridad y privacidad de los datos. Afortunadamente, existen algunas formas proactivas en que las empresas pueden abordar los riesgos potenciales.

El enfoque de Apple para integrar GenAI – llamado Apple Intelligence – incluye búsquedas sensibles al contexto, edición de correos electrónicos para ajustar el tono y creación de gráficos fácilmente. Apple promete que las potentes funciones solo requieren procesamiento local en dispositivos móviles para proteger los datos comerciales y de los usuarios. La compañía describió un enfoque de cinco pasos para fortalecer la privacidad y seguridad de la plataforma, con gran parte del procesamiento realizado en el dispositivo de un usuario utilizando Apple Silicon. Sin embargo, las consultas más complejas se envían a la nube privada de la empresa y aprovechan los servicios de OpenAI y su Large Language Model (LLM).

Si bien las empresas tendrán que esperar para ver cómo se desarrolla el compromiso de Apple con la seguridad, la compañía ha pensado mucho en cómo manejará los servicios GenAI en los dispositivos y protegerá la información, dice Joseph Thacker, ingeniero senior de IA e investigador de seguridad en AppOmni. , una empresa de seguridad en la nube.

«El enfoque de Apple en la privacidad y la seguridad en el diseño es definitivamente una buena señal», afirma. «Características como prohibir el acceso privilegiado al tiempo de ejecución y evitar usuarios específicos muestran que están pensando en posibles casos de abuso».

Apple dedicó mucho tiempo en su anuncio a reforzar la idea de que la empresa se toma en serio la seguridad y publicó un artículo en línea Describe los cinco requisitos de la empresa para su servicio Private Cloud Compute, tales como: B. no tener acceso privilegiado al tiempo de ejecución y proteger el sistema para evitar que usuarios específicos sean atacados.

Aún así, los modelos de lenguajes grandes (LLM) como ChatGPT y otras formas de GenAI son tan nuevos que las amenazas aún no se comprenden bien y algunas de ellas pasarán desapercibidas para los esfuerzos de Apple, dice Steve Wilson, director de privacidad del proveedor de cumplimiento y seguridad en la nube Exam. viga y cabeza del Los 10 principales riesgos de seguridad para los LLM según el Open Web Application Security Project.

«Estoy realmente preocupado de que los LLM sean de un calibre completamente diferente y que los ingenieros de seguridad tradicionales simplemente no tengan experiencia con estas técnicas de IA todavía», dice. «Hay muy pocas personas que tienen eso».

Apple prioriza la seguridad

Apple parece ser consciente de los riesgos de seguridad que afectan a sus clientes, especialmente a las empresas. La implementación de Apple Intelligence en todos los dispositivos de un usuario, llamado Sistema de Inteligencia Personal, vinculará los datos de las aplicaciones de una manera que quizás solo se haya implementado en los servicios de datos de salud de la compañía. Sería concebible que cada mensaje y correo electrónico enviado desde un dispositivo pudiera ser revisado por una IA y darle contexto a través de índices semánticos en el dispositivo.

Sin embargo, la empresa aseguró que en la mayoría de los casos Los datos nunca salen del dispositivo y la información además es anónima.

«Conoce su información personal sin recopilarla», explicó Craig Federighi, vicepresidente senior de ingeniería de software de Apple. en un vídeo de cuatro minutos sobre Apple Intelligence y protección de datos durante el lanzamiento de la compañía el 10 de junio, y agregó: «Usted tiene control sobre sus datos, dónde se almacenan y quién puede acceder a ellos».

Cuando los datos salen del dispositivo, se procesan dentro de la empresa. Servicio de computación en la nube privadapara que Apple pueda aprovechar modelos de IA generativa basados ​​en servidores más potentes y al mismo tiempo proteger la privacidad. La compañía dice que nunca almacena datos ni los pone a disposición de Apple. Además, Apple pondrá cada versión de producción de su Private Cloud Compute Platform a disposición de los investigadores de seguridad para la investigación de vulnerabilidades a través de un programa de recompensas por errores.

Tales medidas parecen ir más allá de lo que otras compañías han prometido y deberían disipar los temores de los equipos de seguridad corporativos, dice Thacker de AppOmni.

«Este tipo de transparencia y colaboración con la comunidad de investigación de seguridad es importante para encontrar y corregir vulnerabilidades antes de que puedan ser explotadas en la naturaleza», afirma. “Permite a Apple aprovechar las diversas habilidades y perspectivas de los investigadores para realmente poner a prueba el sistema desde una perspectiva de pruebas de seguridad. Aunque esto no es una garantía de seguridad, será de gran ayuda”.

Hay una aplicación para eso (que lo espía)

Sin embargo, las interacciones entre aplicaciones y datos en dispositivos móviles y el comportamiento de los LLM pueden ser demasiado complejas para comprenderlas completamente en este momento, dice Wilson de Exabeam. La superficie de ataque de los LLM sigue sorprendiendo a las grandes empresas detrás de los modelos de IA más importantes. Después del lanzamiento del último modelo Gemini, por ejemplo Google luchó contra el envenenamiento accidental de datos que resultó de entrenar su modelo con datos no confiables.

«Estos componentes de búsqueda son víctimas de este tipo de envenenamiento indirecto de datos en el que se pide a las personas que coman pegamento y piedras», dice Wilson. «Así que una cosa es decir: ‘Oh, esta es una organización sofisticada, lo descubrirán’, pero Google ha demostrado una y otra vez que no pueden».

El anuncio de Apple se produce cuando las empresas están experimentando con entusiasmo formas de integrar GenAI en el lugar de trabajo para mejorar la productividad y automatizar procesos tradicionalmente difíciles de automatizar. La implementación de funciones en dispositivos móviles ha sido lenta, pero ahora Samsung tiene ha lanzado su Galaxy AIGoogle ha anunciado la aplicación móvil Geminiy microsoft ha anunciado Copilot para Windows.

Si bien Copilot para Windows está integrado en muchas aplicaciones, Apple Intelligence parece ir incluso más allá del enfoque de Microsoft.

Pensar diferente (acerca de las amenazas)

En general, las empresas primero deben conocer mejor el uso que hacen sus empleados de los LLM y otras GenAI. No tienen que llegar tan lejos como el innovador tecnológico multimillonario Elon Musk, ex inversor en OpenAI, quien expresó su preocupación de que Apple -u OpenAI- hiciera un mal uso de los datos de los usuarios o no protegiera la información empresarial y prometió Prohibir iPhones en su empresaLos directores de seguridad de la información (CISO) definitivamente deberían hablar con sus proveedores de administración de dispositivos móviles (MDM), dice Wilson de Exabeam.

Actualmente, parece que no existen controles para regular el tráfico que entra y sale de Apple Intelligence y, en el futuro, es posible que las plataformas MDM ya no puedan acceder a esos datos, afirma.

«Apple no ha ofrecido mucha gestión de dispositivos en el pasado porque se centran en el uso personal», afirma Wilson. “Por lo tanto, durante más de 10 años, ha sido responsabilidad de terceros desarrollar estos marcos de terceros que permiten instalar controles en el teléfono. Sin embargo, no está claro si tendrán los ganchos para [Apple Intelligence] para ayudar a controlarlo”.

Hasta que haya más controles disponibles en línea, las empresas necesitarán establecer políticas y encontrar formas de integrar sus controles de seguridad, sistemas de autenticación y herramientas de prevención de pérdida de datos existentes con la IA, afirma Thacker de AppOmni.

«Las empresas también deberían tener directrices claras sobre qué tipos de datos y conversaciones son apropiados para compartir con los asistentes de IA», afirma. «Si bien los esfuerzos de Apple son útiles, las empresas todavía tienen trabajo por hacer para integrar estas herramientas de forma completa y segura».