Warum Red-Team-Übungen für KI auf dem Radar eines CISO stehen sollten
KI- und maschinelle Lernfähigkeiten (ML) stellen eine große Chance für die digitale Transformation dar, öffnen aber eine weitere Bedrohungsoberfläche, die CISOs und Risikoexperten im Auge behalten müssen. Dementsprechend müssen CISOs ihre Teams anweisen, Red-Team-Übungen gegen KI-Modelle und KI-fähige Anwendungen durchzuführen – genau wie Sicherheitsteams es mit jeder herkömmlichen Anwendung, Plattform oder jedem IT-System tun.
KI unterstützt zunehmend Geschäftsentscheidungen, Finanzprognosen, vorausschauende Wartung und eine endlose Liste anderer Unternehmensfunktionen und fügt sich untrennbar in den Tech-Stack von Unternehmen ein.
Hier kommt AI Red Teaming ins Spiel. Vorausschauende Sicherheitsexperten glauben, dass der Bereich des KI-Risikomanagements und der KI-Zusicherung in den kommenden Jahren ein wachsender Bereich für CISOs und Cybersicherheits-Führungskräfte sein wird. Grundlegend für das Management von KI-Risiken werden die Bedrohungsmodellierung und das Testen auf Schwachstellen in KI-Einsätzen sein.
Wie sieht ein rotes KI-Team aus?
Rote KI-Teams sichern KI-Systeme durch Übungen, Bedrohungsmodellierung und Übungen zur Risikobewertung. „Sie sollten Ihre maschinellen Lernmodelle red-teaming. Sie sollten zumindest die Integritäts- und Vertraulichkeitsangriffe auf Ihre eigenen maschinellen Lernsysteme durchführen, um zu sehen, ob sie möglich sind“, sagt Patrick Hall, ein Datenwissenschaftler und Experte für KI-Risiken und Erklärbarkeit, gegenüber CSO.
Das mag einfach klingen, aber wie die KI-Übungen des roten Teams tatsächlich aussehen werden, ist viel weniger klar umrissen. Jüngste Berichte zeigen, dass Technologiegiganten wie Facebook und Microsoft rote KI-Teams gebildet haben, um die Risiken in ihrer KI-Bedrohungsumgebung zu untersuchen. Und Sicherheits- und Risikoberatungen berichten, dass sie mit bestimmten Kunden zusammenarbeiten, um ihre bestehenden KI-Risiken zu verstehen. BNH.AI, eine von Hall mitbegründete Anwaltskanzlei, hat sich in letzter Zeit mit verteidigungsnahen Unternehmen zusammengetan, um Schwachstellen in ihren Fähigkeiten zur Reaktion auf KI-Vorfälle zu untersuchen.
Aber dies sind immer noch meistens brandaktuelle Fälle; Es gibt nur sehr wenige standardisierte Best Practices der Branche, die den Umfang eines idealen roten KI-Teams definieren. Es stimmt, es gibt Ressourcen zum Erforschen und Testen von KI-Bedrohungen und -Schwachstellen. Zum Beispiel die GEHRUNGSATLAS Framework konzentriert sich auf die Sicherheitsforschung rund um gegnerische KI. Und Hall seinerseits hat ein Kapitel über Red-Teaming ML in sein kommendes Buch. Aber diese haben sich nicht wirklich zu einem Rahmenwerk herauskristallisiert, das detailliert beschreibt, wie eine Organisation vorgehen sollte, um KI-Modelle oder KI-gestützte Anwendungen systematisch und nachhaltig zu testen.
Daher ist die Definition noch in Arbeit. Für einige könnte es bedeuten, regelmäßig KI-Modelle anzugreifen. Für andere könnte es vorerst einfach bedeuten, alle Risikodimensionen zu durchdenken und zu dokumentieren, die aktuelle KI- oder ML-Bereitstellungen mit sich bringen könnten.
„Ich denke, dass die Leute diese Organisationen ein ‚KI Red Team‘ nennen, nicht weil sie wirklich rote Teams sind, sondern weil es wirklich Leute gibt, die darüber nachdenken: ‚Nun, was ist, wenn wir dieses KI-Modell missbrauchen? Wie können wir das angreifen? Modell?’“, sagt Gary McGraw, ein Software-Sicherheitsexperte, der 2016 seine Firma Cigital an Synopsys verkaufte und das Berryville Institute of Machine Learning (BIML) gründete. BIML baut eine Taxonomie bekannter Angriffe auf ML auf und arbeitet an Methoden zur Durchführung architektonischer Risikoanalysen – Bedrohungsmodelle – von ML-Systemen.
Er sagt, „AI Red Team“ könnte ein alberner Name für die sehr ernsthaften Risikomanagementübungen sein, mit denen CISOs beginnen sollten, ihre KI-Risiken aufzuzählen und zu mindern. Denn die Risiken, die letztendlich die roten KI-Teams antreiben werden – wie auch immer sie definiert werden – sind definitiv da draußen.
Die Risiken, die rote KI-Teams antreiben könnten
Die Liste bekannter Risiken durch KI wird immer länger, aber Sicherheitsexperten haben bereits potenzielle Angriffs- oder Fehlfunktionsszenarien identifiziert, die dazu führen könnten, dass die KI unvorhersehbar handelt oder falsche Ergebnisse liefert. In ähnlicher Weise entstehen durch KI Risiken, die riesige Schwaden von personenbezogenen Daten oder wertvolles geistiges Eigentum einer Offenlegung durch Datenschutzverletzungen aussetzen könnten.
„Viele der Probleme, die KI-Risiken verursachen, sind überhaupt nicht bösartig“, sagt Diana Kelley, CSO von Cybrize und langjährige Sicherheitspraktikerin und Analystin. „Das sind Designfehler. Es sind die Daten, die nicht richtig bereinigt oder bereinigt wurden, dass sich das System auf eine Weise verhalten hat, die niemand erwartet hat. Viele dieser unbeabsichtigten Designfehler passieren heute.“
Ob absichtlich verursacht oder nicht, diese KI-Risiken bedrohen alle drei Aspekte der klassische Sicherheits-CIA-Triade – Vertraulichkeit, Integrität und Sicherheit.
„Es gibt einzigartige Sicherheitsherausforderungen im Zusammenhang mit KI-Systemen, die besondere Aufmerksamkeit erfordern“, sagt Chris Anley, leitender Wissenschaftler bei der Sicherheitsberatung NCC Group, der sich zunehmend auf die Erforschung der Arten von KI-Risiken konzentriert, die CISOs dazu bringen werden, rote Teamübungen für diese zu starten «Datenschutzangriffe wie Mitgliedschaftsrückschluss, Modellinversion und Trainingsdatenextraktion können es Angreifern ermöglichen, vertrauliche Trainingsdaten aus dem laufenden System zu stehlen, und Modelldiebstahl-Angriffe können es einem Angreifer ermöglichen, eine Kopie eines sensiblen proprietären Modells zu erhalten.»
Und das ist erst der Anfang, sagt er. Wenn Sicherheitsteams tiefer in die Inhalte von KI-Modellen und der sie unterstützenden Infrastruktur eintauchen, werden sie wahrscheinlich eine Reihe anderer Probleme entdecken, sagt er. Beispielsweise kann der Einsatz von KI-Systemen die sensiblen Daten eines Unternehmens Drittanbietern zugänglich machen. Darüber hinaus können die Modelle ausführbaren Code enthalten, was zu Sicherheitsproblemen in der Lieferkette und beim Erstellen von Anwendungen führen kann. Auch das verteilte Training von KI-Systemen kann Sicherheitsprobleme aufwerfen.
„Trainingsdaten können manipuliert werden, um Hintertüren zu erstellen, und die resultierenden Systeme selbst können direkt manipuliert werden; gegnerische Störungen und Fehlklassifizierungen können dazu führen, dass das System ungenaue und sogar gefährliche Ergebnisse liefert“, sagt er.
Darüber hinaus dreht sich bei der Kultur der Datenwissenschaft, die die KI-Entwicklung vorantreibt, alles um die Zusammenarbeit und den Austausch von Daten sowie um ein schnelles Änderungstempo bei Infrastruktur und Anwendungen – all dies könnte ein Rezept für Sicherheitsverletzungen sein. In den Sicherheitsaudits, die NCC für Unternehmenskunden durchgeführt hat, finden sich die KI-Bedrohungsergebnisse laut Anley in der Regel in einer neuartigen KI-bezogenen Infrastruktur.
„Das sind Dinge wie Schulungs- und Bereitstellungsdienste, Notebook-Server, die Datenwissenschaftler für Experimente verwenden, und eine Vielzahl von Datenspeicher- und Abfragesystemen“, sagt er sehr leicht für einen Angreifer. Diese neue Angriffsfläche muss gesichert werden, was schwierig sein kann, wenn ein großes Team von Entwicklern und Datenwissenschaftlern remote auf diese Infrastruktur zugreifen muss, um ihre Arbeit zu erledigen.“
Letztendlich drehen sich viele der größten Bedenken um Daten, und Anley glaubt, dass Sicherheitsteams ihre KI-bezogenen Datensicherheitsprobleme nicht aufdecken werden. „Daten sind das Herzstück der KI, und diese Daten sind oft sensibel. finanziell, persönlich oder anderweitig durch Vorschriften geschützt. Die sichere Bereitstellung großer Datenbestände ist eine Herausforderung, und Red Teaming ist entscheidend, um herauszufinden, wo die wirklichen Sicherheitslücken sowohl in den Systemen als auch in der Organisation liegen“, sagt Anley.
McGraw stimmt zu, dass Bedenken hinsichtlich der Datensicherheit von entscheidender Bedeutung sind, und erklärt, dass Sicherheitsverantwortliche, die sich mit den Risiken befassen, die mit ihren KI-Maschinen verbunden sind, sich bewusst sein müssen, dass „die Daten die Maschine sind“. Letztendlich glaubt er, dass CISOs, selbst wenn sie heute keine konkreten Maßnahmen ergreifen, zumindest ihr Wissen über diese Art von Themen erweitern sollten. Er sagt, dass sich dieser ganze Bereich des KI-Risikomanagements sehr ähnlich anfühlt wie die Anwendungssicherheit vor 25 Jahren.
„Es ist noch nicht ganz klar, wer daran arbeiten soll“, sagt er. „Wenn Sie die Leute finden, haben sie sehr unterschiedliche Hintergründe – wir haben einige Leute aus dem Bereich der Datenwissenschaft, wir haben einige Informatiker, wir haben Sicherheitsleute. Und keiner von ihnen spricht wirklich dieselbe Sprache.“
Wann CISOs rote KI-Teams in Betracht ziehen sollten
Offensichtlich brauen sich die Risiken der KI zusammen. Viele Experten sagen, dass dies allein ein Warnzeichen für CISOs sein sollte, darauf zu achten und einen Weg für das rote KI-Team zu ebnen – insbesondere wenn ein Unternehmen an der Spitze der KI-Nutzung steht.
„Wenn Sie gerade Ihre KI-Fähigkeiten ausbauen und sie noch keinen großen Teil Ihres Geschäfts ausmachen, ist das in Ordnung. Vielleicht ist das nicht das Wichtigste“, sagt Hall. „Aber wenn Sie KI zur ernsthaften Entscheidungsunterstützung oder – holen Sie hier tief Luft – für automatisierte Entscheidungsfindungsfunktionen verwenden, dann ja, Sie müssen sie rot zusammenstellen.“
Aber das KI-Risiko ist nur eines von vielen, die um die Aufmerksamkeit und die begrenzten Ressourcen des CISO kämpfen. Es wird für sie nur natürlich sein, sich zu fragen, ob das rote KI-Team kurzfristig realistisch ist und, was noch grundlegender ist, ob es eine Investition wert ist, wenn sich die Nische entwickelt. Es könnte sein, dass Sicherheitsteams niedriger hängende Früchte ansprechen müssen.
„Es ist wichtig zu beachten, dass Nationalstaaten und Bedrohungsakteure immer nach dem einfachsten Weg in ein System suchen werden, indem sie die billigsten Werkzeuge verwenden, mit denen sie vertraut sind. Mit anderen Worten, der geringste Widerstand mit der größten Wirkung“, sagt er Matthew Eidelberg, Engineering Fellow für Threat Management bei Optiv, das Red-Team-Übungen für Kunden durchgeführt hat, die „die gesamte Angriffsfläche abdecken und fast immer einfachere Wege finden, als die KI zu hacken“.
Für die meisten CISOs von heute ist das eine schwere Aufgabe. Die ordnungsgemäße Durchführung von Red-Team-Übungen gegen KI-Systeme erfordert ein interdisziplinäres Team aus Sicherheits-, KI- und Datenwissenschaftsexperten, einen besseren Einblick in die vom Unternehmen verwendeten KI-Modelle – einschließlich in Software von Drittanbietern, Bedrohungsmodellierung der KI-Bereitstellung und eine Möglichkeit, Sicherheitsverbesserungen basierend auf den Ergebnissen des roten Teams zu dokumentieren und zu planen. Es wird erhebliche Investitionen erfordern, und CISOs müssen den Sexappeal dieses glänzenden neuen Bereichs mit der Fleisch-und-Kartoffel-Realität abwägen, ob rote KI-Teams ihren ROI basierend auf ihrer kurzfristigen Risikolage bereits wert sind eingesetzte KI oder geplante KI-Implementierungen.
Aber genau wie bei früheren neuen Angriffsflächen, die im Laufe der Jahrzehnte entstanden sind, einschließlich Cloud Computing oder der Bereitstellung mobiler Apps, sollte dies definitiv auf dem Radar der CISOs stehen, sagt JR Cunningham, CSO bei Nuspire. Er glaubt, dass kluge Führungskräfte keinen Alles-oder-Nichts-Anlageansatz anstreben sollten, sondern allmählich damit beginnen sollten, ihre Fähigkeit zum Testen ihrer Systeme aufzubauen.
„Ich glaube nicht, dass dies ein Moment ist, in dem Organisationen die Fähigkeit hochdrehen, sobald KI/ML eine bestimmte kritische Masse erreicht, sondern dass dies eine Erweiterung bestehender offensiver Sicherheitsfähigkeiten sein wird, die im Laufe der Zeit immer mehr werden vollständig und fähig», sagt er. „Dennoch wird der erste große öffentliche Angriff auf KI/ML die Aufmerksamkeit auf das Thema lenken, so wie die großen Kreditkartenverletzungen Anfang der 2010er Jahre Investitionen in die Netzwerksegmentierung und den Datenschutz vorangetrieben haben.“
Auch wenn CISOs nicht mit Tests beginnen, können sie zumindest mit einigen inkrementellen Schritten beginnen, beginnend mit der Bedrohungsmodellierung. Dies wird helfen, die Ausfallarten zu verstehen und zu verstehen, was am wahrscheinlichsten kaputt geht oder kaputt geht, sagt Kelley.
„Das Wichtigste ist, die Leute in Ihrem Team über KI und ML aufzuklären, was schief gehen kann, und dann können sie damit beginnen, Bedrohungsmodelle für die Systeme zu erstellen, die Sie einbringen möchten“, sagt sie. „Sie müssen die Sicherheitsrisiken und -ausfälle von KI und ML genauso verstehen, wie sie Anwendungsrisiken und -ausfälle verstehen würden, wenn es sich um Anwendungen zur Bedrohungsmodellierung handeln würde den Anbietern, wie sie KI und ML verwenden.»
Copyright © 2023 IDG Communications, Inc.
Hemos recibido este contenido de ciberseguridad de: CSO Online
Podrás encontrar la noticia original en el enlace que se encuentra a continuación: https://www.csoonline.com/article/3690416/why-red-team-for-ai-should-be-on-cisos-radars.html#tk.rss_news
