La IA en la sombra y la exposición de datos afectan el uso de chatbots en el lugar de trabajo

Los chatbots generacionales de IA están apareciendo hoy en día en todo, desde clientes de correo electrónico hasta herramientas de recursos humanos, proporcionando un camino fácil de usar y sin fricciones para mejorar la productividad empresarial. Pero hay un problema: con demasiada frecuencia, los empleados no piensan en la seguridad de los datos de las indicaciones que utilizan para obtener respuestas del chatbot.

De hecho, más de un tercio (38%) de los empleados comparten información laboral confidencial utilizando herramientas de inteligencia artificial sin el permiso de su empleador. según una encuesta esta semana de la Alianza Nacional de Ciberseguridad (NCA) de EE. UU. Y eso es un problema.

La encuesta de la NCA (que encuestó a 7.000 personas en todo el mundo) encontró que los trabajadores de la Generación Z y los Millennials tienen más probabilidades de compartir información laboral confidencial sin permiso: un enorme 46% y 43% respectivamente admitieron esta práctica, en contraste con el 26% y el 14% de Generación X y Baby Boomers, respectivamente.

Consecuencias en el mundo real del intercambio de datos con chatbots

El problema es este la mayoría de los chatbots más utilizados Capture toda la información que los usuarios ingresan en las solicitudes, como datos de ganancias patentados, planes de diseño ultrasecretos, correos electrónicos confidenciales, datos de clientes y más, y envíelos de regreso a los modelos de lenguaje grandes (LLM), donde se utiliza para capacitar al próxima generación por GenAI.

Y eso significa que alguien podría acceder a esos datos más tarde con las indicaciones correctas porque ahora son parte del lago de datos recuperables. O tal vez los datos se conservan para uso interno de LLM, pero su almacenamiento no está configurado correctamente. Los peligros de esto – ¿cómo? Samsung lo ha descubierto B. en un incidente de alto perfil, son relativamente bien comprendidos por los profesionales de la seguridad, pero no tanto por los trabajadores comunes.

El inventor de ChatGPT, OpenAI, advierte en sus instrucciones de funcionamiento“No podemos eliminar ciertas indicaciones de su historial. Por favor, no comparta información confidencial en sus conversaciones”. Sin embargo, al trabajador promedio le resulta difícil pensar constantemente en revelar datos. Lisa Plaggemier, directora ejecutiva de NCA, cita un caso que muestra cómo el riesgo puede traducirse fácilmente en ataques en el mundo real.

«Una empresa de servicios financieros integró un chatbot GenAI para ayudar con las consultas de los clientes», le dice Plaggemier a Dark Reading. “Los empleados ingresan accidentalmente información financiera del cliente para determinar el contexto, que luego el chatbot almacena de manera no segura. Esto no solo resultó en una importante filtración de datos, sino que también permitió a los atacantes acceder a información confidencial de los clientes, lo que demuestra con qué facilidad los datos confidenciales pueden verse comprometidos mediante el uso inadecuado de estas herramientas”.

Galit Lubetzky Sharon, directora ejecutiva de Wing, ofrece otro ejemplo del mundo real (sin dar nombres).

“Un empleado de una empresa multinacional para quien el inglés era su segunda lengua aceptó un trabajo en Estados Unidos”, dice. “Para mejorar su comunicación escrita con sus colegas de EE. UU., inocentemente comenzó a utilizar Grammarly para mejorar su comunicación escrita. Sin saber que la aplicación podía entrenar los datos del empleado, el empleado a veces usaba Grammarly para mejorar la comunicación en torno a datos sensibles y confidenciales. No hubo ninguna intención maliciosa, pero este escenario ilustra los riesgos ocultos de la IA”.

Falta de formación y aumento de la “IA en la sombra”

Es casi seguro que una de las razones del alto porcentaje de personas dispuestas a jugar a los dados es la falta de formación. Si bien las empresas Samsung de todo el mundo pueden estar tomando medidas para restringir el uso de la IA, la encuesta de la NCA encontró que el 52% de los participantes que trabajan no han recibido capacitación sobre cómo usar la IA de manera segura, mientras que este no es el caso entre los encuestados que usan la IA activamente. , sólo el 45% lo hace.

«Esta estadística sugiere que muchas organizaciones pueden estar subestimando la importancia de la formación debido a limitaciones presupuestarias o a una falta de comprensión de los riesgos potenciales», afirma Plaggemier. Mientras tanto, añade: “Estos datos resaltan la brecha entre reconocer amenazas potenciales y saber cómo mitigarlas. Los empleados pueden comprender que existen riesgos, pero la falta de una educación adecuada los deja vulnerables a la gravedad de estas amenazas, especialmente en entornos donde la productividad a menudo tiene prioridad sobre la seguridad”.

Peor aún, esta brecha de conocimiento está contribuyendo al aumento de la “IA en la sombra”, donde se utilizan herramientas no autorizadas fuera del marco de seguridad de la empresa.

«A medida que los empleados priorizan la eficiencia, pueden adoptar estas herramientas sin comprender plenamente las consecuencias a largo plazo para la seguridad y el cumplimiento de los datos, lo que expone a las empresas a riesgos importantes», advierte Plaggemier.

Es hora de que las empresas implementen las mejores prácticas de GenAI

Está claro que priorizar las necesidades empresariales inmediatas sobre las estrategias de seguridad a largo plazo puede dejar a las organizaciones vulnerables. Pero cuando se trata de adoptar la IA antes de que la seguridad esté lista, el atractivo dorado de todas esas ganancias de productividad (ya sea que se aprueben o no) a menudo resulta demasiado fuerte para resistirlo.

«A medida que los sistemas de IA se utilizan cada vez más, es fundamental que las empresas vean la formación no sólo como un requisito de cumplimiento, sino como una inversión importante para proteger sus datos y la integridad de su marca», afirma Plaggemier. «Para reducir eficazmente la exposición al riesgo, las empresas deben implementar directrices claras para el uso de herramientas GenAI, incluidos los tipos de información que pueden y no pueden compartirse».

Morgan Wright, asesor jefe de seguridad de SentinelOne, aboga por iniciar el proceso de desarrollo de políticas con los primeros principios: «El mayor riesgo es no definir qué problema se está resolviendo con los chatbots», señala. “Comprender lo que hay que resolver ayuda a desarrollar las políticas y barreras operativas adecuadas para proteger la privacidad y la propiedad intelectual. Es emblemático del viejo dicho: «Si todo lo que tienes es un martillo, el mundo entero es un clavo».

También hay medidas tecnológicas que las empresas deberían tomar para mitigar los riesgos de la IA.

“Establecer controles estrictos de acceso y monitorear el uso de estas herramientas también puede ayudar a mitigar los riesgos”, añade Plaggemier. “La implementación de técnicas de enmascaramiento de datos puede proteger la información confidencial para que no ingrese a las plataformas GenAI. Las auditorías periódicas y el uso de herramientas de monitoreo de IA también pueden garantizar el cumplimiento y detectar cualquier intento no autorizado de acceder a datos confidenciales”.

También hay otras ideas. «Algunas empresas han limitado la cantidad de datos ingresados ​​en una consulta (por ejemplo, 1024 caracteres)», dice Wright. “También podría significar dividir partes de la organización que manejan datos confidenciales. Sin embargo, actualmente no existe una solución o un enfoque claro que pueda resolver este espinoso tema de forma satisfactoria para todos”.

La amenaza a las empresas también puede verse exacerbada por la adición de capacidades GenAI a aplicaciones de software como solución (SaaS) de terceros, advierte Sharon de Wing; esta es un área que con demasiada frecuencia se pasa por alto.

“A medida que se añaden nuevas funciones, incluso en aplicaciones SaaS muy serias, los términos y condiciones de estas aplicaciones se actualizan a menudo y el 99% de los usuarios no prestan atención a estos términos”, explica. «No es raro que las aplicaciones les permitan por defecto utilizar datos para entrenar sus modelos de IA».

Señala que una nueva categoría de herramientas de seguridad SaaS llamada SaaS Security Posture Management (SSPM) está desarrollando formas de monitorear qué aplicaciones utilizan IA e incluso monitorear cambios en cosas como términos y condiciones.

«Herramientas como esta son útiles para que los equipos de TI evalúen el riesgo y realicen cambios continuos en las políticas o incluso en el acceso», afirma.