¿Qué pasa si la IA se sale de control (y cómo prevenirlo)?

Seguridad digital

A medida que la IA se vuelve más capaz de causar daños físicos e influir en el mundo real, «es complicado» ya no es una respuesta satisfactoria

22 de abril de 2024
•
,
3 min de tiempo de lectura

Hemos visto a la IA evolucionar desde responder simples preguntas de chat para las tareas escolares hasta intentar Descubriendo armas en el metro de Nueva Yorky ahora encontrado Complicidad en la condena de un criminal OMS utilizado para crear Material deepfake de abuso sexual infantil (CSAM) a partir de fotos y vídeos realeslo que sorprendió a los originales (completamente vestidos).

A medida que la IA continúa avanzando inquebrantablemente, algunos están tratando de establecer barreras más significativas para evitar que las cosas salgan mal.

Hemos estado utilizando la IA en un contexto de seguridad durante años, pero hemos advertido que no es una panacea, en parte porque se equivoca en aspectos críticos. Sin embargo, el software de seguridad que «sólo ocasionalmente» se equivoca en aspectos críticos todavía tiene un impacto bastante negativo: o produce resultados falsos masivos que hacen que los equipos de seguridad entren en pánico innecesariamente, o pasa por alto un ataque malicioso que parece «lo suficientemente diferente» al malware que la IA ya lo sabía.

Es por eso que los hemos combinado con una variedad de otras tecnologías para crear equilibrio. De esta manera, si la respuesta de la IA se parece a una alucinación digital, podemos integrarla nuevamente al resto de la tecnología.

Aunque los adversarios no han lanzado muchos ataques puros de IA, es más correcto suponer que la IA del adversario está automatizando los eslabones de la cadena de ataque para que sea más eficaz, especialmente en el phishing y ahora. Clonación de voz e imagen desde phishing hasta Amplíe sus esfuerzos de ingeniería socialSi los actores maliciosos pueden ganarse la confianza digitalmente y engañar a los sistemas para que se autentiquen utilizando datos generados por IA, eso es una cabeza de puente suficiente para irrumpir en su organización y comenzar a introducir manualmente herramientas de explotación personalizadas.

Para evitar esto, los proveedores pueden introducir la autenticación multifactor para que los atacantes requieran múltiples métodos de autenticación (con suerte, urgentes) en lugar de solo uno. Aceptar o contraseña. Aunque esta tecnología ahora se usa ampliamente, los usuarios rara vez la utilizan. Esta es una manera fácil para que los usuarios se protejan sin mucho esfuerzo ni un gran presupuesto.

¿Tiene la culpa la IA? Cuando se le pide una justificación para que la IA haga algo mal, simplemente bromea: «Es complicado». Pero a medida que la IA se acerca a ser capaz de causar daño físico e impactar el mundo real, esto se convierte cada vez menos en una respuesta satisfactoria y apropiada. . Por ejemplo, si un coche autónomo controlado por IA tiene un accidente¿El “conductor” recibe una multa o el fabricante? Es poco probable que esta explicación satisfaga a un tribunal dado lo complicada y opaca que podría ser.

¿Y qué pasa con la protección de datos? Hemos visto que las normas del RGPD toman medidas enérgicas contra la tecnología vista a través de una lente de protección de datos. Ciertamente, las obras originales desmembradas basadas en IA que producen derivados con fines de lucro violarían el espíritu de protección de datos (y, por lo tanto, desencadenarían leyes protectoras), pero exactamente cuánto ¿Debe la IA copiar para ser considerada derivada, y qué pasa si copia lo suficiente para eludir las regulaciones legales?

¿Y cómo se puede demostrar esto ante los tribunales cuando existe poca jurisprudencia y se necesitarán años para comprobarla mejor jurídicamente? Vemos editores de periódicos. demandar Microsoft y OpenAI por lo que consideran una reutilización de artículos de alta tecnología sin la atribución adecuada. Será interesante ver el resultado del litigio, tal vez sea un presagio de litigios futuros.

Si bien la IA es una herramienta (y a menudo buena), un gran poder conlleva una gran responsabilidad. Actualmente, la responsabilidad de los proveedores de IA está muy por debajo de lo que sería posible si nuestro nuevo poder se saliera de control.

también lee este nuevo documento técnico de ESET que examina los riesgos y oportunidades de la IA para los ciberdefensores?