Las notificaciones maliciosas podrían engañar a los usuarios de Google Gemini

Un nuevo tipo de técnica de inyección rápida habría hecho esto posible para los atacantes. Mal uso de Google Géminis Asistente de voz aprovechando su capacidad para agregar notificaciones de mensajes.

Incumplimiento seguro Investigación publicada hoy sobre el ataque titulado «El asunto secreto de Gemini: explotar el asistente de voz de Gemini a través de aplicaciones de mensajería instantánea». Es una extensión de hallazgos anteriores en los que la compañía utilizó invitaciones de calendario para engañar a Google Gemini para que procesara mensajes maliciosos.

Or Yair, jefe del equipo de investigación de seguridad de SafeBreach, dijo en la publicación del blog de investigación que la compañía pudo demostrar cómo un atacante podía ocultar instrucciones maliciosas en idiomas extranjeros o hipervínculos silenciados para que el asistente procesara silenciosamente la información y realizara interacciones no autorizadas. Estas interacciones incluyen controlar dispositivos domésticos inteligentes, iniciar transmisiones de video no autorizadas, realizar ataques de ingeniería social (incluida la suplantación de contactos confiables) y envenenar el almacenamiento a largo plazo del modelo de lenguaje grande (LLM).

Relacionado:Las amenazas legales de día cero de Microsoft provocan reacciones violentas

Yair explicó que pudo sortear las barreras preexistentes de Google mediante una técnica novedosa que llamó «alineación de contexto falso».

Actualmente no hay evidencia de que la técnica se haya utilizado en la naturaleza. SafeBreach informó el problema a Google como parte de una divulgación responsable y desde entonces Google ha implementado actualizaciones de clasificación de contenido para solucionar el problema. Dark Reading se puso en contacto con Google para solicitar comentarios, pero la empresa no respondió.

Hacer que Google Gemini agrupe notificaciones de forma insegura

El quid de esta nueva inyección rápida fue que algunas de las barreras de seguridad de Google Gemini no transmitían adecuadamente la fuente de algunos mensajes.

Así es como funciona: imagina que un atacante te envía un mensaje de phishing en WhatsApp desde un número que no reconoces. El mensaje es una invitación a una fiesta de cumpleaños para un amigo cercano y el número de teléfono solicita dinero para pagar la comida junto con un enlace de pago. El mensaje también contiene un código de hipervínculo visible que le indica al chatbot Gemini que le diga que el mensaje es del amigo en cuestión y no de un número desconocido. tu preguntas Géminis para leer tus mensajes y dice que tu amigo cercano te invitó a una fiesta de cumpleaños, sin contexto adicional.

Si el usuario lee sus mensajes normalmente, probablemente lo verá como un intento de phishing y seguirá adelante. Pero si impulsan o instruyen a Gemini para que agregue notificaciones de noticias, existe la posibilidad de generar confianza en el usuario debido a la falta de contexto.

Además del código de hipervínculo, el atacante puede entregar instrucciones maliciosas similares a través de texto invisible en un idioma extranjero al final del mensaje, que Gemini interpreta pero no lee.

Relacionado:La IA agente no es riesgosa; La forma en que las organizaciones lo proporcionan

En algunos casos en los que las protecciones de Google podrían bloquear una instrucción maliciosa, el atacante puede utilizar un ejemplo de otra técnica que SafeBreach ha cubierto en investigaciones anteriores: «Invocación retrasada de herramienta». En este caso, el usuario incorpora un comando para realizar una acción insegura cuando el usuario otorga un permiso secundario.

En un ejemplo, el atacante envía un mensaje que dice «Hola», seguido de caracteres chinos con instrucciones ocultas que el modelo no lee en voz alta, y luego «¿Eso es todo?». Las instrucciones ocultas indican a Gemini que realice una acción insegura si el objetivo responde positivamente al mensaje.

Yair logró mejores resultados cuando combinó caracteres extranjeros y un hipervínculo.

«Para lograr la máxima confiabilidad y sigilo, combiné ambas técnicas. La carga útil final obliga a Gemini a generar la pregunta de autorización de la herramienta maliciosa en chino y oculta completamente este texto chino en un hipervínculo silenciado», decía la publicación del blog. «El usuario escucha un mensaje regular en inglés, responde con un amigable 'sí' y silenciosamente activa la invocación retrasada de la herramienta, evitando sin problemas las últimas soluciones de Google».

Relacionado:Frenesí alimentario: el malware “Megalodon” infecta miles de repositorios de GitHub

No es una solución permanente para inyecciones rápidas.

Mientras que el iteración original de la invocación retrasada de herramientas se solucionó, Fake Context Alignment omitió estas soluciones (antes de que Google solucionara el problema descrito en el blog de hoy). La publicación dice: «El objetivo principal de Fake Context Alignment es crear una doble ilusión: presentar un escenario de autorización legítimo a los mecanismos de seguridad detrás de escena de Gemini, y al mismo tiempo presentar un escenario completamente diferente e inofensivo a la víctima».

Aunque el problema se ha solucionado y no hay ninguna acción directa para los usuarios de Gemini, SafeBreach advirtió que los cambios de contexto representan un riesgo crítico porque abren la posibilidad para que los atacantes encuentren nuevas formas de eludir las barreras de seguridad. Por tanto, es “esencial” rastrear cada canal de comunicación entre cada usuario y su asistente de IA.

Las empresas también deben ser conscientes del hecho de que la arquitectura actual de IA es defectuosa y no existe una forma infalible de evitarla. inyecciones inmediatas (especialmente cuando un modelo está en público) y Preste especial atención a los controles de acceso. cuando se utilizan modelos LLM.

Cuando se le preguntó si los asistentes de IA deberían tratar todo el contenido externo, como las notificaciones, como no confiables de forma predeterminada, Yair le dice a Dark Reading: «Sí, 100%».

«Necesitamos tratar todas las entradas externas como no confiables porque todas las entradas externas son una instrucción potencial. Es muy, muy importante entender eso, y también es muy importante entender que la inyección instantánea indirecta no es una vulnerabilidad clásica que simplemente se pueda solucionar», dice. «La solución es crear barreras de seguridad o clasificadores, algo que esté activo del lado del proveedor e intente monitorear ese comportamiento, como controles de seguridad».