Die Regulierung der Nutzung von Künstlicher Intelligenz in der Europäischen Union

Verordnungsentwurf der Europäischen Kommission Die Europäische Kommission hat den Entwurf für eine Verordnung für die Regulierung des Einsatzes von künstlicher Intelligenz (KI) in der Europäischen Union vorgelegt (Vorschlag für eine Verordnung des Europäischen Parlamentes und des Rates zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (Gesetz über Künstliche Intelligenz) COM/2021/206 final). Wir fassen hier die wesentlichen Inhalte des Verordnungsentwurfs zusammen.

Zweck der Verordnung

Zweck der Verordnung ist es, das Funktionieren des Binnenmarkts zu verbessern, indem ein einheitlicher Rechtsrahmen für die Entwicklung, Vermarktung und Verwendung künstlicher Intelligenz „im Einklang mit den Werten der Union“ festgelegt wird. Konkret geht es darum, Gesundheit, Sicherheit und Grundrechte der Bürger und Unternehmen zu schützen.

Gegenstand der Verordnung

Der Verordnungsentwurf besteht aus fünf Elementen:

1. harmonisierte Vorschriften für das Inverkehrbringen, die Inbetriebnahme und die Verwendung von Systemen der KI in der Union,
2. Verbote bestimmter Praktiken im Bereich der KI,
3. besondere Anforderungen an Hochrisiko-KI-Systeme und Verpflichtungen für Betreiber solcher Systeme,
4. harmonisierte Transparenzvorschriften für KI-Systeme, die mit natürlichen Personen interagieren sollen, für KI-Systeme zur Emotionserkennung und zur biometrischen Kategorisierung sowie für KI-Systeme, die zum Erzeugen oder Manipulieren von Bild-, Ton- oder Videoinhalten verwendet werden, und
5. Vorschriften für die Marktbeobachtung und Marktüberwachung.

Personeller und räumlicher Anwendungsbereich

Die Verordnung soll für drei Gruppen gelten:

• Anbieter, die KI-Systeme in der Union in Verkehr bringen oder in Betrieb nehmen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind,
• Nutzer von KI-Systemen, die sich in der Union befinden, und
• Anbieter und Nutzer von KI-Systemen, die in einem Drittland niedergelassen oder ansässig sind, wenn das vom System hervorgebrachte Ergebnis in der Union verwendet wird.

Definition eines KI-Systems

Ein „System der künstlichen Intelligenz“ (KI-System) ist nach dem Verordnungsentwurf eine Software, die mit einer oder mehreren der in Anhang I zur Verordnung aufgeführten Techniken und Konzepte entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren.

Anhang I zur VO definiert die folgenden Techniken und Konzepte:

• Konzepte des maschinellen Lernens, mit beaufsichtigtem, unbeaufsichtigtem und bestärkendem Lernen unter Verwendung einer breiten Palette von Methoden, einschließlich des tiefen Lernens (Deep Learning),
• Logik- und wissensgestützte Konzepte, einschließlich Wissensrepräsentation, induktiver (logischer) Programmierung, Wissensgrundlagen, Inferenz- und Deduktionsmaschinen, (symbolischer) Schlussfolgerungs- und Expertensysteme, sowie
• statistische Ansätze, Bayessche Schätz-, Such- und Optimierungsmethoden.

Verbotene Praktiken im Bereich der KI

Die folgenden KI-Praktiken sollen verboten werden:

• KI-Systeme, die Techniken der unterschwelligen Beeinflussung einsetzen, bei denen einer Person ein physischer oder psychischer Schaden zugefügt wird oder zugefügt werden kann,
• KI-Systeme, die eine Schwäche oder Schutzbedürftigkeit einer bestimmten Gruppe von Personen aufgrund ihres Alters oder ihrer körperlichen oder geistigen Behinderung ausnutzen, um das Verhalten in einer Weise zu beeinflussen, die einen physischen oder psychischen Schaden verursacht oder verursachen kann,
• das sog. „Social Scoring“ – verboten sein soll danach der Einsatz von KI-Systemen durch Behörden, mit denen die Vertrauenswürdigkeit von Personen ermittelt wird, wenn dadurch Personen oder Personengruppen in unzulässiger Weise schlechter gestellt oder benachteiligt werden.
• Schließlich soll – von wenigen Ausnahmen abgesehen – auch die Verwendung biometrischer „Echtzeit-Fernidentifizierungssysteme“ in öffentlich zugänglichen Räumen („Gesichtserkennung“) zu Strafverfolgungszwecken unzulässig sein.

Klassifizierung bestimmter KI-Systeme als Hochrisikosysteme

KI-Systeme, die bestimmte Merkmale erfüllen, sollen als Hochrisiko-KI-Systeme eingestuft werden. Dabei werden in Anhang III die jeweiligen Systemmerkmale, die zu einer Einstufung als Hochrisiko-KI System für eine Vielzahl verschiedener Lebensbereiche von biometrischer Erfassung über Strafverfolgung bis hin zur Rechtspflege und demokratischen Prozessen definiert. Es ist zu erwarten, dass diese Liste mit der Zunahme von KI-Anwendungen fortlaufend wachsen wird.

KI Systeme, die als Hochrisiko-KI Systeme definiert werden, müssen gewisse zusätzliche Anforderungen erfüllen:

• Einrichtung, Dokumentation und Aufrechterhaltung eines Risikomanagementsystems,
• Hochrisiko-KI-Systeme, bei denen Modelle mit Daten trainiert werden, müssen mit Trainings-, Validierungs- und Testdatensätzen entwickelt werden, die bestimmten Qualitätskriterien entsprechen,
• Erstellung einer technischen Dokumentation eines Hochrisiko-KI-Systems, bevor dieses System in Verkehr gebracht oder in Betrieb genommen wird,
• Hochrisiko-KI-Systeme müssen mit Funktionsmerkmalen konzipiert und entwickelt werden, die eine automatische Aufzeichnung von Vorgängen und Ereignissen während des Betriebs der Hochrisiko-KI-Systeme ermöglichen („Protokollierung“),
• Erfordernis der „Transparenz und Bereitstellung von Informationen für die Nutzer“,
• menschliche Aufsicht: Hochrisiko-KI-Systeme sollen so konzipiert und entwickelt werden, dass sie während der Dauer der Verwendung des KI-Systems – auch mit geeigneten Werkzeugen einer Mensch-Maschine-Schnittstelle – von Menschen wirksam beaufsichtigt werden können.

Weitere Anforderungen beziehen sich auf „Genauigkeit, Robustheit und Cybersicherheit“.

Pflichten der Anbieter und Nutzer von Hochrisiko-KI-Systemen

Die Verordnung enthält einen umfangreichen Katalog von Pflichten der Anbieter von Hochrisiko-KI-Systemen. Sie müssen sicherstellen, dass ihre Hochrisiko-KI-Systeme die genannten Anforderungen an das KI-System erfüllen, ein Qualitätsmanagement einrichten, eine technische Dokumentation erstellen, die Konformitätsbewertung vorzunehmen, automatisch erzeugte Protokolle aufbewahren, gegebenenfalls Korrekturmaßnahmen durchführen, bestimmte Risiken den Behörden mitteilen und mit diesen generell zusammenarbeiten. Darüber hinaus sieht der Vorschlag auch Pflichten für Produkthersteller, Händler, Einführer und Nutzer vor.

Notifizierung

Der Vorschlag sieht vor, dass jeder Mitgliedstaat für die Benennung oder Schaffung einer Behörde sorgt, die für die Einrichtung und Durchführung der erforderlichen Verfahren zur Bewertung, Benennung und Notifizierung von Konformitätsbewertungsstellen und für deren Überwachung zuständig ist, und beinhaltet Regelungen zum Notifizierungsverfahren.

Ausschuss

Der Vorschlag sieht die Einrichtung eines „Europäischen Ausschusses für künstliche Intelligenz“ vor, der die Kommission berät und unterstützt.

EU-Datenbank für eigenständige Hochrisiko-KI-Systeme

Nach dem Vorschlag errichtet und pflegt die Kommission in Zusammenarbeit mit den Mitgliedstaaten eine EU-Datenbank mit bestimmten Informationen über registrierte Hochrisiko-KI-Systeme.

Fazit

Sachverständige haben auf den Entwurf unterschiedlich reagiert, wie eine öffentliche Anhörung des Ausschusses für Digitales des Deutschen Bundestages im Herbst vergangenen Jahres ergab. Unter anderem wurde kritisiert, dass die Definition, was „künstliche Intelligenz“ sei, zu weit gehe. Dadurch würde auch Software der Verordnung unterstellt, die nichts mit KI zu tun habe, wie etwa Taschenrechner. Die Kommission ist momentan dabei, den Entwurf zu überarbeiten. Es bleibt abzuwarten, ob ihr der Spagat gelingen wird, einerseits die Entwicklung von KI nicht zu behindern, andererseits aber KI so weit wie nötig zu regulieren, um Schäden zu verhindern.

Die englische Fassung finden Sie hier.

Kontaktieren Sie uns

Susanne Zühlke

Partner Berlin
Tel.: +49 30 2636-1707
E-Mail: susanne.zuehlke@pwc.com

Dr. Matthias von Kaler

Senior Manager Berlin
Tel.: +49 30 2636-2471
E-Mail: matthias.von.kaler@pwc.com