Chancen und Risiken Künstlicher Intelligenz

Seitdem der Chatbot ChatGPT im November 2022 veröffentlicht wurde, hat es das breite Thema Künstliche Intelligenz (KI) in die tägliche Berichterstattung geschafft. Doch bereits seit mehreren Jahren arbeiten der nationale und europäische Gesetzgeber an der Regulierung, um die Chancen von KI-Anwendungen zu heben und die Risiken einzudämmen. Der nachfolgende Beitrag gibt einen Überblick über die bestehenden Regulierungsinitiativen.

I. Nationale Regulierungsansätze: KI-Strategie und Normungsroadmap

Die Bundesregierung hat im Jahr 2020 ihre erstmals 2018 vorgelegte KI-Strategie überarbeitet. Die KI-Strategie soll die Erforschung, Entwicklung und Anwendung von KI im internationalen Wettbewerb stärken. Sie sieht u.a. den Ausbau eines Ordnungsrahmens für eine sichere und vertrauenswürdige KI vor. Ein Baustein der KI-Strategie war die Erarbeitung der bereits von DIN und DKE im Jahr 2020 erarbeiteten Normungsroadmap. Die bereits zweite Ausgabe dieser Normungsroadmap („Version 2“) wurde im Dezember 2022 veröffentlicht. Die Roadmap soll eine zeitnahe Erarbeitung technischer Standards erreichen. Der zeitliche Vorsprung soll es ermöglichen, nationale Standards vorzubereiten, um diese zu gegebener Zeit in europäische und internationale Normungsvorhaben einbringen zu können. Die Normungsroadmap ist in neun Schwerpunktthemen gegliedert (Grundlagen, Sicherheit, Prüfung und Zertifizierung, Soziotechnische Systeme, Industrielle Automation, Mobilität, Medizin, Finanzdienstleistungen, Energie und Umwelt) und enthält sechs Handlungsempfehlungen, wozu u.a. die Erarbeitung eines Konformitätsbewertungsverfahrens zählt.

II. Europäische Regulierungsansätze

1. Kommissionsentwurf einer KI-Verordnung

Während die nationale Normungsroadmap vor allem die technischen Rahmenbedingungen von KI-Anwendungen adressiert, wird der rechtliche Rahmen auf europäischer Ebene erarbeitet.Die EU-Kommission hatte bereits im April 2021 den Entwurf einer Verordnung zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz vorgelegt („KI-Verordnung-E“). Der Rat hatte seinen Standpunkt im Winter 2022 verabschiedet, das Parlament im Februar 2023. Kommission, Rat und Parlament treten nun in das sog. Trilog-Verfahren ein und verhandeln den endgültigen Wortlaut der Verordnung.

a) Gegenstand und Anwendungsbereich

Der KI-Verordnung-E hat vor allem die Regulierung der KI zum Gegenstand und folgt insoweit einem risikobasierten Ansatz. Entsprechend diesem Ansatz werden KI-Systeme, die unannehmbare Risiken bergen, verboten und an KI-Systeme, die mit hohen Risiken behaftet sind, strenge Anforderungen gestellt. Sofern die KI-Systeme lediglich geringe Risiken aufweisen, verpflichtet der KI-Verordnung-E indes nur zur Einhaltung von Transparenzpflichten. In persönlicher Hinsicht gilt der KI-Verordnung-E für Anbieter, die KI-Systeme in der Union in Verkehr bringen oder in Betrieb nehmen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen sind, für Nutzer von KI-Systemen, die sich in der Union befinden und für Anbieter und Nutzer von KI-Systemen, die in einem Drittland niedergelassen oder ansässig sind, wenn das vom System hervorgebrachte Ergebnis in der Union verwendet wird.

Für die Eröffnung des Anwendungsbereichs des KI-Verordnung-E kommt es in sachlicher Hinsicht zunächst entscheidend darauf an, ob ein KI-System vorliegt. Unter einem KI-System ist nach Art. 3 Nr. 1 KI-Verordnung‑E eine Software zu verstehen, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Konzepte entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren. Bei den Techniken und Konzepten im Sinne des Anhangs I handelt es sich um Konzepte des maschinellen Lernens (sog. Deep Learning), Logik- und wissensgestützte Konzepte sowie statistische Ansätze, bayessche Schätz-, Such- und Optimierungsmethoden.

Entsprechend dem risikobasierten Ansatz des KI-Verordnung-E verbietet Art. 5 KI-Verordnung-E im Rahmen einer abschließenden Aufstellung alle KI-Systeme, die ein unannehmbares Risiko bergen. Verboten sind u.a. KI-Systeme, die Techniken der unterschwelligen Beeinflussung außerhalb des Bewusstseins einer Person einsetzen und der betroffenen Person oder einer anderen Person einen physischen oder psychischen Schaden zufügen könnten, KI-Systeme, die Schwächen bestimmter schutzbedürftiger Gruppen (Kinder und Personen mit Behinderungen) ausnutzen und diesen Personen einen physischen oder psychischen Schaden zufügen könnten, KI-Systeme, die der Bewertung von sozialen Verhalten, persönlichen Eigenschaften oder Persönlichkeitsmerkmalen durch öffentliche Behörden dienen, sofern es in der Folge dieser Bewertung zu einer zusammenhangslosen, ungerechtfertigten oder unverhältnismäßigen Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder Gruppen kommt (sog. Social Scoring) und der Einsatz von biometrischen Echtzeit-Fernidentifizierungssystemen in öffentlich zugänglichen Räumen für die Zwecke der Strafverfolgung, sofern dieser nicht mit Blick auf die in Art. 5 Abs. 1 lit. d KI-Verordnung-E definierten Ziele (beispielsweise die Suche nach vermissten Kindern oder die Verfolgung besonders schwerer Straftaten) unbedingt erforderlich ist.

In den Art. 6 - 51 KI-Verordnung-E finden sich Regelungen für KI-Systeme, die ein hohes Risiko für die Gesundheit und Sicherheit oder für die Grundrechte natürlicher Personen darstellen. Solche Hochrisiko-KI-Systeme sind auf dem europäischen Markt nur zugelassen, soweit sie bestimmten zwingend vorgeschriebenen Anforderungen genügen und vorab eine Konformitätsbewertung durchgeführt wird. Art. 6 KI-Verordnung bestimmt, wann ein Hochrisiko-KI-System vorliegt. Darüber hinaus werden gem. Art. 6 Abs. 2 KI-Verordnung-E aber auch die KI-Systeme, die ausdrücklich in Anhang III genannt werden, als Hochrisiko-KI-Systeme eingeordnet.

b) Pflichten der Anbieter

Die Anbieter müssen einen umfangreichen Pflichtenkatalog erfüllen. Sie müssen u.a. ein Risikomanagementsystem einrichten, sie müssen die Datenqualität über ein Daten-Governanceverfahren sicherstellen, sie müssen eine technische Dokumentation im Hinblick auf das jeweilige Hochrisiko-KI-System erstellen, sie müssen Vorgänge und Ereignisse während des Betriebs des Hochrisiko-KI-Systems automatisch aufzeichnen, sie haben Transparenz- und Bereitstellungspflichten gegenüber den Nutzern (Art. 13 KI-Verordnung-E) und sie müssen ein Hochrisiko-KI-System so konzipieren, dass eine wirksame Beaufsichtigung durch natürliche Personen möglich ist. Außerdem müssen die Anbieter die CE-Kennzeichnung anbringen (Art. 19 Abs. 1 Satz 2 i. V.m. Art. 49 KI-Verordnung-E). Art. 52 KI-Verordnung-E statuiert mit Blick auf die spezifischen Manipulationsrisiken bestimmter KI-Systeme außerdem Transparenzpflichten. Diese sehen dem Inhalt nach vor, dass die Personen, die mit KI-Systemen interagieren oder deren Emotionen oder Merkmale durch automatisierte Mittel erkannt werden, hierüber grundsätzlich informiert werden müssen.

c) Sonstige Regelungsinstrumente

Der KI-Verordnung-E sieht den Aufbau von Marktüberwachungsbehörden vor. Zur Erfüllung ihrer Aufgaben werden die nationalen Marktüberwachungsbehörden mit denselben Befugnissen wie in der Marktüberwachungsverordnung (VO (EU) 2019/1020) ausgestattet. Die Art. 61, 62 KI-Verordnung-VO regeln in diesem Zusammenhang Beobachtungs- und Meldepflichten, die die Anbieter von KI-Systemen nach dem Inverkehrbringen ihrer Systeme treffen. Sofern es im Zusammenhang mit den KI-Systemen zu schwerwiegenden Vorfällen oder Fehlfunktionen kommt, sind die Anbieter verpflichtet, diese Ereignisse der jeweiligen Marktüberwachungsbehörde zu melden. 

2. Kommissionsentwurf einer Richtlinie über KI-Haftung

Die EU-Kommission hat im September 2022 zudem den Entwurf einer Richtlinie zur Haftung für KI vorgelegt. Die Richtlinie über die KI-Haftung möchte die Bedingungen für die Entwicklung von KI verbessern, indem sie Rechtssicherheit schafft und das Vertrauen in KI stärkt. Inhaltlich knüpft sie an den KI-Verordnung-E an. Der Richtlinienentwurf ergänzt den Entwurf der Produkthaftungsrichtlinie, indem er Haftungsaspekte, welche von der Produkthaftungsrichtlinie nicht abgedeckt sind, in der speziellen Richtlinie zur KI-Haftung regelt.

Die Richtlinie sieht eine Offenlegungspflicht – ähnlich der Offenlegungspflicht nach dem Entwurf der Produkthaftungsrichtlinie – für Anbieter von Hochrisiko-KI-Systemen vor, wonach dieser vom Gericht aufgefordert werden kann, einschlägige Beweismittel offenzulegen. Kommt der Anbieter dieser Aufforderung (unberechtigt) nicht nach, wird vermutet, dass er gegen seine einschlägigen Sorgfaltspflichten verstoßen hat. Außerdem wird die Kausalität zwischen dem Verschulden des Anbieters und dem von einem KI-System hervorgebrachten Ergebnis vermutet, wenn bestimmte Bedingungen erfüllt sind. Die Bedingungen der Vermutung für Hochrisiko-KI-Systeme werden gesondert spezifiziert. Andererseits kann die haftende Person diese Vermutung widerlegen (bspw. durch den Nachweis, dass eine andere Ursache den Schaden verursacht hat).