BSI AIC4 als Orientierungsrahmen für die KI Transformation und Sicherheitsmaßstab für die öffentliche Verwaltung

Laut einer jüngsten Studie hat sich die Zahl der Organisationen, die KI produktiv einsetzen im letzten Jahr weltweit auf über 50% der befragten Organisationen verdoppelt. In der öffentlichen Verwaltung zahlt der zusätzliche Digitialisierungsschub durch das Onlinezugangsgesetz (OZG) darauf ein, verstärkt durch den Einsatz von KI Dienstleistungen effizienter oder besser anzubieten. Gleichzeitig schaffen es allerdings auch ca. 70% der Organisationen nicht auf Anhieb, den realistischen  und erwarteten Nutzen bei der Einführung von KI direkt zu erzielen. Es scheint also entweder ein Erwartungs-Gap oder Qualitätsproblem zu geben.

Welches dieser beiden Möglichkeiten es auch sein mag, oder vielleicht auch eine Mischung aus Beidem, an der Technologie selbst liegt es sicher nicht. Entscheidend ist der Umgang mit ihr. Im September haben die Regierungsfraktionen in Deutschland einen Lifecycle Ansatz, also Fokussierung auf Entwicklungs- und Betriebsprozesse, für Digital Trust in Künstliche Intelligenz gefordert. Eben ein solcher Ansatz ist entscheidend, um direkte Antworten auf die Fragestellungen zu geben, wie KI praktikabel und effektiv entwickelt und betrieben werden kann. Genau so einen Ansatz setzt das BSI mit dem AI Cloud Services Compliance Criteria Catalogue (AIC4) nun um. Er ist direkt anwendbar auf Fragestellungen rund um verlässliche und vertrauenswürdige KI. In der öffentlichen Verwaltung, in der wir heute schon Anwendungsfälle von KI in automatisierten Dialogsystemen (Chatbots) oder in (teil-)automatisierten Antragsbearbeitungsverfahren sehen, sind diese Fragestellungen auch gleichzeitig Wert- und Sicherheitsmaßstab.

In ihrem Transformations- und Adaptionspfad benötigen Organisationen kurzfristig Antworten auf Fragen der Qualität, Sicherheit und Compliance. Diese Antworten beeinflussen die Prozesse und Lösungen, die sich Organisationen für ihre KI Transformation geben. Eben hier die Transformation zu mobilisieren und dafür erstmals auf ein Referenzwerk zurückgreifen zu können, ist wichtig für Innovation mit KI.

Was der AIC4 ist und was er “leistet”

Wie der Name AI Cloud Services Compliance Criteria Catalogue bereits klar heraus stellt, fokussiert der AIC4 generisch auf einen Lifecycle, also prozess- und kontrollorientierten Rahmen für KI-Services in und aus der Cloud. Damit werden eine Vielzahl von cloudbasierten Anwendungsfälle angesprochen, die bereits in hoher Geschwindigkeit in den Alltag einziehen, sei es in einer Public, Hybrid oder Private Cloud. Darüber hinaus schafft er einen Anwendungskontext für weitere Anwendungsgebiete (dazu im nächsten Abschnitt mehr).

Vorbild für den AIC4 und quasi der große Bruder sind Sicherheitskriterien für das Cloud Computing. Der AIC4 ist sowohl von seinem vorrangigen Zweck, als auch seiner Gestaltung nahe am C5 (Cloud Computing Compliance Criteria Catalogue) des BSI angelehnt. Das ist aus verschiedener Hinsicht sehr konsequent. Allen voran: es wäre wenig sinnvoll gewesen, zugrundeliegende Sicherheitsanforderungen an die Entwicklungs- und Betriebsumgebung redundant aufzuschreiben, die woanders bereits geregelt sind. Im Gegenteil ergänzt der AIC4 die Kriterien an Entwicklung und Betrieb von KI-Lösungen dort, wo es notwendig ist. Auch aus dem Blickwinkel, in einem breiten Nutzungskontext einen Rahmen für Entwicklung und Betrieb von KI zu schaffen, ist diese Verknüpfung zielsicher: Cloud Computing ist die Grundlagentechnologie für KI und treibt die KI-Entwicklung voran, weil es die erforderliche Rechenpower für die Verarbeitung riesiger Datenmengen zur Verfügung stellt. Und bei der Sicherheit von Cloud-Anwendungen haben wir schon viel erreicht – übrigens auch auf internationalem Level. So ist der BSI C5 des Bundesamts für Sicherheit in der Informationstechnik (BSI) erfolgreich etabliert und setzt bereits Maßstäbe weit über Deutschland hinaus.

Wofür der AIC4 genutzt wird und wie Unternehmen davon profitieren

In seinem primären Einsatzzweck als Kriterienkatalog für Prüfung und Attestierung, können Anbieter von Cloud Services, die Vertrauenswürdigkeit ihrer KI-basierten Lösungen demonstrieren, die in ihrer Wertschöpfung Anwendung finden. Die Erfahrung zeigt, dass Organisationen, die solche Dienste nutzen gut beraten sind, auf die entsprechenden Prüfaussagen abzuheben und diese einzufordern. Es ist damit zu rechnen, dass dieser Effekt im Zusammenhang des AIC4 durch die Abwesenheit anderer vergleichbarer Kriterien noch verstärkt wird.

Der zugrunde liegende Prüfungs- und Berichtsstandard ISAE 3000 (Revised), ergänzt durch spezifische Anforderungen des BSI an Prüfung und Berichterstattung, erhöht die Transparenz für Nutzer(-organisationen) enorm. Eben diese Transparenz ist wichtig, um mögliche Bedenken, in jedem Fall aber Interessen aller Parteien zu adressieren.

Zusätzlich werden die Anforderungen an das Risikomanagement und Kontrollen für KI-Anwendungen mit der weiteren Anpassung des regulatorischen Umfelds an KI steigen. Genau das führt zu einem weiteren Vorteil des AIC4: Für Organisationen, die sich mit der KI Transformation beschäftigen, liefern die Kriterien des AIC4 eine konkrete Richtschnur für die Ausgestaltung ihrer Qualitätsmaßnahmen im Lifecycle-Management für KI. Der Zuschnitt auf KI in der Cloud ist für die meisten Anwendungsfälle und Betriebsszenarien sehr zweckmäßig und auch darüber hinaus liefert es mindestens einen Orientierungsrahmen, der zuvor nicht existierte.

Sieben konkrete KI-Kriterienbereiche

Der Schritt für Qualität und Sicherheit bei der Entwicklung und beim Betrieb von KI-Systemen lässt sich auch in der internen Umsetzung von KI vergleichsweise einfach machen, und zwar mit der Adaption an den Lifecycle- und Prozess-Ansatz des AIC4. Dieser setzt wie oben beschrieben bei Entwicklungs- und Betriebsprozessen sowie deren Kontrollen an:

Sicherheit und Robustheit

Die Robustheit von KI-Systemen trägt entscheidend zur Sicherheit des gesamten Systems bei. Im Fokus steht der Schutz vor böswilligen Angriffen von außen und vor Manipulation der zugrundeliegenden Anwendung. Fehlklassifikationen müssen besonders bei sensiblen Anwendungsfällen wie bspw. im Umfeld der Antragsprüfung ausgeschlossen sein, damit das System zum Beispiel nicht ungewollt ein positives Urteil trifft. Proaktiv können bspw. die Inputdaten auf eine zulässige Form eingeschränkt werden oder reaktiv eine Prüfung der Inputdaten vor der Verarbeitung durch das KI-System implementiert sein.

Funktionalität und Performanz

Wichtig ist auch, dass KI-Anbieter kontinuierlich überwachen, ob ihr System auch tatsächlich so leistungsstark funktioniert, wie es erwartet wird. Je nach Aufgabenstellung können dazu unterschiedliche quantitative Messverfahren zum Einsatz kommen. Zudem lassen sich anhand spezifischer, festgelegter Key Performance Indicators (KPIs) Funktionalität und Performanz eines Systems überwachen. Auch Änderungen am System müssen kontinuierlich gemäß definierten Anforderungen, wie bspw. der Genauigkeit von getroffenen Vorhersagen durch das Modell evaluiert werden.

Zuverlässigkeit

Um die Zuverlässigkeit eines KI-Systems sicherzustellen, sind Prozesse für den kontinuierlichen Betrieb des KI-Dienstes in produktiven Einsatzumgebungen sowie für die Untersuchung möglicher Fehler und Ausfälle essentiell. Hierzu müssen angemessene Verfahren für Ressourcenmanagement, Logging, Fehlerbehandlung und Backups implementiert sein. Insbesondere sollten Betreiber eines KI-Systems in der Lage sein, Unregelmäßigkeiten im Betrieb bspw. aus dem Logging zu identifizieren und entsprechende Schnittstellen zur Nachverfolgung und Auflösung aufbauen.

Datenqualität

KI-Systeme arbeiten nur so gut, wie es die ihnen zugrunde liegende Datenqualität erlaubt. Sie arbeiten schlechter, wenn beispielsweise Daten manipuliert, falsch klassifiziert oder unzureichend aufbereitet sind. Datenqualität und -aktualität müssen unbedingt regelmäßig gemessen werden, damit KI-Systeme funktionieren wie gewünscht. Um die Datenqualität zu verbessern, stehen etablierte Methoden zur Verfügung. Je nach Anwendungsfall müssen diese Methoden ggf. angepasst werden, sodass bspw. Duplikate in den Daten entfernt oder ungleiche Verteilungen in den Daten berücksichtigt werden.

Datenmanagement

Daten werden auch als Rohstoff für KI bezeichnet. Daher ist ein strukturierter Rahmen der Datenerfassung aus vertrauenswürdigen Quellen über den gesamten Lifecycle hinweg entscheidend. Dazu sollten datenbezogene Rahmenbedingungen festgelegt werden, die sowohl während der Entwicklung als auch im Betrieb des KI-Dienstes erfüllt sein sollten und bspw. Schutz gegen unautorisierte Zugriffe bieten. Dabei kann selbstverständlich auf vorhandener Data Governance aufgebaut werden, die auf die besonderen Charakteristika eines KI-System erweitert wird.

Erklärbarkeit

KI-Systeme arbeiten mit riesigen Datenmengen und bilden in der Regel algorithmisch komplexe Modelle. Dadurch besteht die Gefahr, dass sie für Anwender schnell zur unverständlichen „Black Box“ werden. Dies ist beispielsweise dann der Fall, wenn unklar ist, wie die (teil-)autonom getroffenen Entscheidungen der KI-Systeme zustande kommen. Ein großes Maß an Erklärbarkeit ist aber essentiell – besonders bei kritischen KI-Anwendungen, etwa in der automatischen Bearbeitung von Anträgen. Zudem erhöhen erklärbare Modelle die Anwendungsbereitschaft von KI generell.

Bias

Tendieren Algorithmen zum Beispiel aufgrund von unausgewogenen Datenbeständen grundsätzlich zugunsten bestimmter Entscheidungen, so hat dies einen spürbaren Einfluss auf die generelle Einsatzfähigkeit. In diesem Fall spricht man von Bias. Grundsätzlich gilt: Bei KI-Systemen geht es immer um die bestmögliche Kombination von Leistungsfähigkeit (Performanz), Biasvermeidung und Erhöhung der Robustheit.Nach unerwünschtem Bias sollte daher kontinuierlich geprüft werden, um sie möglichst früh zu erkennen und zu bereinigen. Sind in den Datenmodellen der KI dennoch solche Ungleichheiten vorhanden, lassen diese sich auch mit Hilfe spezifischer Algorithmen reduzieren oder ganz entfernen

Lifecycle-Prinzip als Grundlage für weitere Entwicklungen

Abschließend möchte ich noch einmal betonen: Algorithmisch getriebene KI-Systeme sind hochkomplex. Parallel zu den sich fortlaufend entwickelnden KI-Systemen brauchen wir ganze Ökosysteme, die Sicherheit, Vertrauenswürdigkeit und Leistungsfähigkeit der Anwendungen dauerhaft nach verlässlichen, nachvollziehbaren Kriterien in einem integralen Ordnungsrahmen überprüfen. Daher ist aus meiner Sicht der AIC4 der Anfang und es wird sicher dazu, insbesondere auch aus der Normungsroadmap KI heraus, weitere ergänzende Kriterien geben. Das ist sehr zu begrüßen.

Ich bin mir sicher, dass der AIC4, in Zukunft sogar noch verstärkt mit diesen weiteren Initiativen, einen entscheidenden Beitrag leisten wird, Qualität für KI Anwendungen zu treiben. Denn klar ist: Diese Technologie wird unsere Gesellschaft und auch Dienstleistungen der öffentlichen Hand in den kommenden Jahren noch stärker verändern als wir es heute noch annehmen. Die Frage ist, wie sie dies auf vertrauenswürdige, sichere Weise tut und wie weit eben dies transparent ist.

Ansprechpartner:

Henrik Reese

Hinterlassen Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.