RdW Wirtschaftsrecht

Legistisch innovativ und technologisch auf neuerem Stand: Das EU-Parlament und die Verhandlungen zum AI Act

Dr. Elisabeth Steindl, Wien

Die Regulierung von Künstlicher Intelligenz (KI) hält weltweit Industrie, Gesellschaft und Politik in Atem. Die Trilog-Verhandlungen zwischen der Europäischen Kommission, dem Rat der EU und dem Europäischen Parlament um die künftige KI-Verordnung ("AI Act") der EU beherrschen auch den Brüsseler Herbst. Deren Ausgang wird nicht nur europäische Player beschäftigen, vielmehr hat es die EU mit der KI-Verordnung einmal mehr darauf angelegt, eine weltweite "flagship legislation" vorzugeben, die konzeptionelle Regulierungspflöcke für KI einschlägt. Der Ausgang der Verhandlungen wird sowohl Technologieanwendung wie auch -entwicklung auf Jahre hinaus prägen. Die Abänderungsvorschläge, mit denen das Europäische Parlament in die Verhandlungen geht, unterscheiden sich dabei mitunter fundamental vom Kommissionsentwurf und der Ratsposition. Technologisch näher am State of the Art und mit teils neuen Rechtsinstrumenten versucht das Parlament, jüngere KI-Entwicklungen legistisch zu fassen, und ist bemüht, abstrakte Bekenntnisse zu einer menschenzentrierten KI mit rechtlich verbindlichem Leben zu füllen. Würden die Vorschläge so angenommen, wären die Folgen für Wirtschaftstreibende allerdings weitreichend und mit beachtlichen Verpflichtungen verbunden.

1. Einleitung

In Brüssel laufen die Trilog-Verhandlungen um das neue Gesetz über Künstliche Intelligenz auf Hochtouren. Verhandlungsgrundlage sind der Entwurf der Kommission vom April 2021 (nachstehend bezeichnet als "KI-VOE"),1 der gemeinsame Standpunkt des Rats der EU vom Dezember 2022 (nachstehend als "KI-VOR" bezeichnet)2 sowie die Abänderungsvorschläge, auf die sich das Parlament im Juni 2023 geeinigt hat (nachstehend als "KI-VOP" bezeichnet).3 Formal beziehen sich sowohl der Standpunkt des Rats als auch die Abänderungsvorschläge des Parlaments auf den ursprünglichen Kommissionsentwurf. Die zeitliche Abfolge macht jedoch augenscheinlich, dass dem Parlament bei der Annahme seiner Vorschläge auch der Standpunkt des Rats bekannt war und es sich, jedenfalls indirekt, auch darauf beziehen konnte.

Wie schon der Rat fasst auch das Parlament die der KI-VO zugrunde liegende Definition von KI enger, als im ursprünglichen Entwurf der Kommission vorgesehen. Das Parlament orientiert sich dabei weitgehend an der Definition der OECD und bezeichnet ein KI-System in Art 3(1) KI-VOP als "ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie operieren kann und das für explizite oder implizite Ziele Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das physische oder virtuelle Umfeld beeinflussen".4

2. Rechtlich bindend: Allgemeine Grundsätze für alle KI-Systeme

Bereits mit dem (neuen) ersten Satz in Art 1 KI-VOP signalisiert das Parlament, welche Prioritäten es in seinen Abänderungsvorschlägen setzt. Ziel der KI-VOP ist demgemäß die Förderung von "menschenzentrierter und vertrauenswürdiger" künstlicher Intelligenz, "ein hohes Maß an Schutz der Gesundheit, der Sicherheit, der Grundrechte, der Demokratie und der Rechtsstaatlichkeit sowie der Umwelt vor schädlichen Auswirkungen" bei gleichzeitiger Förderung von Innovation.5 Ausdrücklich hält das Parlament zudem fest, dass sämtliches Unionsrecht zum Schutz von personenbezogenen Daten und zum Verbraucherschutz wie auch zur Produktsicherheit unberührt bleibt.6 Mit Blick auf die vielfältigen Anwendungen von KI in einer digitalen Arbeitswelt sieht die KI-VOP, anders als die beiden Positionen von Kommission und Rat, nun vor, dass die KI-VOP die Mitgliedstaaten oder die Union nicht daran hindern soll, Rechtsvorschriften einzuführen, die für Arbeitnehmer zum Schutz ihrer Rechte vorteilhafter sind.7

Im neuen Art 4a KI-VOP lenkt das Parlament die Aufmerksamkeit zurück auf jene ethischen Prinzipien, die zwar die Diskussion um eine europäische KI-VO von Anfang begleitet haben,8 sich so verbindlich aber nicht in den beiden anderen Dokumenten wiederfinden. Art 4a(1) KI-VOP erläutert sechs "Allgemeine, für alle KI-Systeme geltende Grundsätze" (also nicht nur für Hochrisiko-KI-Systeme), die alle Betreiber, die KI-Systeme entwickeln oder nutzen, verwirklichen sollen: menschliches Handeln und menschliche Aufsicht, technische Robustheit und Sicherheit, Privatsphäre und Datenqualitätsmanagement, Transparenz, Vielfalt, Diskriminierungsfreiheit und Fairness und Soziales und ökologisches Wohlergehen.9 Die Verankerung im rechtlich bindenden Teil ist ein Versuch, sicherzustellen, dass tragende ethische Prinzipien in der KI-VO nicht bloße Lippenbekenntnisse bleiben, sondern die EU tatsächlich Künstliche Intelligenz fördert, die auf den Menschen ausgerichtet ist, ethisch und vertrauenswürdig ist und die uneingeschränkt mit der Grundrechtecharta und den Werten der Union übereinstimmt.

Das Parlament bringt an dieser Stelle darüber hinaus einen Punkt in den Diskurs, der bisher weder in der KI-VOE noch in der KI-VOR zu finden war: KI-Kompetenz ("AI literacy").10 Die Union und die Mitgliedsländer sollen gem Art 4b KI-VOP Maßnahmen zur Entwicklung eines ausreichenden Niveaus an KI-Kompetenz fördern, sektorübergreifend durch bspw Aus- und Weiterbildungs-, Qualifizierungs- und Umschulungsprogramme und unter Berücksichtigung der unterschiedlichen Bedürfnisse. Für Anbieter und Betreiber von KI-Systemen sieht die KI-VOP vor, dass ihr Personal über ein ausreichendes Niveau an KI-Kompetenz verfügen soll.

3. Ausweitung der Liste der verbotenen KI-Systeme

Art 5 KI-VOE mit seiner Liste der verbotenen KI-Systeme war seit Vorlage des Entwurfs immer wieder Ziel von Kritik11 und bleibt weiterhin heiß diskutiert. Art 5(1)(a) KI-VOE sieht ein Verbot von KI-Systemen vor, die "Techniken der unterschwelligen Beeinflussung außerhalb des Bewusstseins" einsetzen. Die Formulierung "unterschwellig" ("subliminal"), insb auch deren mangelnde Definition und Abgrenzung, wurde wiederholt beanstandet.12 Das Parlament ergänzt nun die unterschwellige Beeinflussung in Art 5(1)(a) KI-VOP um "absichtlich manipulative oder täuschende Techniken".13 Darüber hinaus erweitert das Parlament die Liste substanziell um:

- KI-Systeme zur biometrischen Kategorisierung, die auf "sensitiven oder geschützten Attributen oder Merkmalen oder auf der Grundlage von Rückschlüssen auf diese Attribute oder Merkmale" beruhen (lit ba);
- biometrische Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen unter Streichung der Ausnahmen für Strafverfolgung (lit d);
- KI-Systeme zur Risikobeurteilung und zur Einschätzung, ob Personen (pro futuro) straffällig oder erneut straffällig werden, also KI-Systeme für vorhersagende Polizeiarbeit, basierend auf profiling unter Einbeziehung ihrer Persönlichkeitsmerkmale, Standorte und vergangenem kriminellen Verhalten (lit da);
- KI-Systeme, die Datenbanken zur Gesichtserkennung durch ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern (lit db);
- KI-Systeme zur Emotionserkennung in den Bereichen Strafverfolgung, Grenzmanagement, am Arbeitsplatz und in Bildungseinrichtungen (lit dc) sowie
- nachträgliche biometrische Fernidentifizierung, es sei denn, es gibt dafür eine vorgerichtliche Genehmigung und sie stehen im Zusammenhang mit einer bestimmten schweren Straftat (lit dd).

4. Grundrechte-Folgenabschätzung für Hochrisiko-KI-Systeme, Konkretisierungen für Niedrigrisiko-KI-Systeme

Hochrisiko-KI-Systeme umfassen weiterhin KI-Systeme, die den Harmonisierungsrechtsvorschriften in Annex II unterliegen, sowie jene, die in Annex III aufgelistet sind. Annex III wird vom Parlament präzisiert und teilweise ausgeweitet, insb in den Bereichen Strafverfolgung und Migration. Beachtenswert ist vor allem die Erweiterung von Annex III um KI-Systeme, die bestimmungsgemäß genutzt werden sollen, um "das Ergebnis einer Wahl oder eines Referendums oder das Wahlverhalten natürlicher Personen bei der Ausübung ihres Wahlrechts bei einer Wahl oder einem Referendum zu beeinflussen"14, sowie um KI-Systeme, die bestimmungsgemäß von sehr großen Social-Media-Plattformen iSv Art 33 Gesetz über Digitale Dienste (VO [EU] 2022/2065) verwendet werden sollen, also eine durchschnittliche monatliche Zahl von mindestens 45 Mio aktiven Nutzern in der Union haben‚ "um dem Empfänger der Dienstleistung auf der Plattform verfügbare nutzergenerierte Inhalte zu empfehlen" 15 (sogenannte "recommender systems").

Die Verpflichtungen für Betreiber von Hochrisiko-KI-Systemen sind in Bezug auf Risikomanagement, Daten-Governance und technische Dokumentation bestimmter ausformuliert. Neu kommen im Parlamentsvorschlag Protokollierungsfunktionen hinzu, die während aller Phasen des Lebenszyklus den Energieverbrauch aufzeichnen und den Ressourcenverbrauch sowie die Umweltauswirkungen des Hochrisiko-KI-Systems messen oder berechnen.16

Ähnlich der Ratsposition zieht auch das Parlament ein zusätzliches regulatorisches Auffangnetz für die Klassifizierung als Hochrisiko-KI-System ein. So sieht Art 6 KI-VOP vor, dass KI-Systeme nur dann unter die Bestimmungen für Hochrisiko-Systeme fallen, wenn sie gemäß Selbsteinschätzung der Anbieter auch tatsächlich ein Risiko für Gesundheit und Sicherheit bzw im Falle von Annex III-KI-Systemen zusätzlich für die Grundrechte darstellen.17 Dies führte zu teils heftiger Kritik vonseiten von über 115 Zivilgesellschaftsorganisationen, die ernste Zweifel an der Selbstregulierungsfähigkeit und vor allem -willigkeit der Anbieter (unter anderem Big-Tech-Unternehmen) hegen hinsichtlich der Frage, ob ein KI-System den umfangreichen Verpflichtungen für Hochrisiko-KI-Systeme unterliegen soll oder nicht, und eine Rückkehr zum ursprünglichen Entwurf des Art 6 KI-VOE fordern.18 Auch der eigene juristische Dienst des Europäischen Parlaments äußert Bedenken gegen den vorgeschlagenen Filter.19

Gänzlich neu ist Art 29a KI-VOP. Dieser sieht eine neue Folgenabschätzung im Hinblick auf die Grundrechte für Hochrisiko-KI-Systeme vor, die vor Inbetriebnahme zu erfolgen hat.20 Als Rechtsinstrument ist eine solche Grundrechte-Folgenabschätzung noch jung, Ansätze dazu finden sich auf EU-Ebene aber bereits im Gesetz über Digitale Dienste.21 Erste praktische Erfahrungen finden zurzeit in den Niederlanden22 statt, auch in Dänemark23 gibt es schon erste praktische Anleitungen hierzu.

In der KI-VOP soll diese Folgenabschätzung mindestens folgende Elemente enthalten:

a. eine klare Darstellung des beabsichtigten Verwendungszwecks des Systems;
b. eine klare Darstellung des geplanten geografischen und zeitlichen Anwendungsbereichs des Systems;
c. die Kategorisierung der natürlichen Personen und Gruppen, die von der Verwendung des Systems betroffen sein könnten;
d. die Prüfung und Bestätigung, dass die Verwendung des Systems dem Unionsrecht und den nationalen Rechtsvorschriften sowie den Grundrechten entspricht;
e. die vernünftigerweise vorhersehbaren Auswirkungen der Inbetriebnahme des Hochrisiko-KI-Systems auf die Grundrechte;
f. spezifische Schadensrisiken, die sich auf marginalisierte Personen oder schutzbedürftige Gruppen auswirken könnten;
g. die vernünftigerweise vorhersehbaren negativen Auswirkungen der Nutzung des Systems auf die Umwelt;
h. einen ausführlichen Plan, wie das erkannte Schadensrisiko sowie die negativen Auswirkungen auf die Grundrechte gemindert werden sollen;
i. das Governance-System, das der Betreiber einsetzen wird, einschließlich menschlicher Überwachung, Bearbeitung von Beschwerden und Rechtsbehelfen.24

Nähere Erläuterungen zu dieser Grundrechte-Folgenabschätzung finden sich in ErwGr 58a KI-VOP.25 Die nationale Aufsichtsbehörde sowie Interessenvertreter und Vertreter von Betroffenengruppen sollen bei der Folgenabschätzung in Bezug auf die Grundrechte einbezogen werden, KMUs sind mit Verweis auf die dafür möglicherweise fehlenden Ressourcen von diesen Konsultationen jedoch ausdrücklich ausgenommen.26

Bei Niedrig-Risiko-Systemen gem Art 52 KI-VOP werden vom Parlament die Transparenzpflichten konkretisiert. Sie sollen ua Angaben darüber enthalten, welche Funktionen KI-gestützt sind, ob es eine menschliche Aufsicht gibt bzw wer verantwortlich ist, und sie sollen über die bestehenden Rechte und Verfahren Auskunft geben, die natürlichen Personen zur Verfügung stehen.27 Bezüglich Deepfakes legt das Parlament fest, dass diese in angemessener, zeitnaher, klarer und sichtbarer Weise offengelegt werden müssen (dh, der Inhalt muss gekennzeichnet sein und es muss für den Empfänger deutlich sichtbar sein, dass der Inhalt nicht echt ist) und dass, wann immer möglich, der Name dessen angegeben werden muss, der sie erstellt hat.28 Deepfakes, die "Teil eines offensichtlich kreativen, satirischen, künstlerischen oder fiktionalen Filmwerks, Videospiels, visuellen Werks oder analogen Programms" sind, lösen eine eingeschränkte Transparenzpflicht aus, die sich auf eine Offenlegung beschränkt, die die Darstellung des Werks nicht beeinträchtigt und ggf Urheberrechte offenlegt.29

5. KI-Systeme mit allgemeinem Verwendungszweck, Basismodelle und generative KI

Der Entwurf der KI-VO durch die Kommission geht auf April 2021 zurück. In technologischer Zeitrechnung ist seitdem eine halbe Ewigkeit vergangen, Begriffe wie KI-Systeme mit allgemeinem Verwendungszweck ("general purpose AI"), große Sprachmodelle ("Large Language Models"), generative KI ("generative AI") waren zum damaligen Zeitpunkt zumeist nur Informatiker:innen bekannt, sie waren jedenfalls nicht Gegenstand des öffentlichen politischen Diskurses und finden sich daher auch nicht im ursprünglichen Kommissionentwurf.

Die Markteinführung des KI-basierten Sprachmodells ChatGPT im November 2022 hat einer breiten Öffentlichkeit das Potenzial und das mögliche Ausmaß an Veränderung durch neue Formen von KI vor Augen geführt. Die Annahme des Standpunktes des Rats Anfang Dezember 2022 enthält - anders als der Kommissionsentwurf - bereits erste Ansätze, wie KI-Systeme mit allgemeinem Verwendungszweck reguliert werden können.30 Doch auch hier waren die Verhandlungen bereits zu weit fortgeschritten, um auf zu die neuesten Entwicklungen zu reagieren.

Mit großer Spannung wurde darum erwartet, wie das Parlament in seinem Vorschlag diese Entwicklungen rezipieren würde. Bei seinen Überlegungen ist das Parlament auf einige konzeptionelle Herausforderungen gestoßen.31 Der ursprüngliche Kommissionsentwurf ist nach dem Modell von Produktsicherheitsgesetzen entworfen, die von an sich unveränderlichen Produkten ausgehen (ein Toaster bleibt ein Toaster), und hat sich für einen risikobasierten Ansatz entschieden (das Risiko eines KI-Systems wird ex ante bewertet, daraus erwachsen entsprechende Verpflichtungen). Beides ist für neuere KI-Formen, die für viele Anwendungen geeignet sind und sich fortwährend verändern, als Regulierungsansatz wenig geeignet. Darüber hinaus bestünde beim herkömmlichen Ansatz die Gefahr, dass ausländische Big-Tech-Firmen grundlegende KI-Systeme entwickeln, während europäische Unternehmen sie nur für ihre Bedürfnisse modifizieren, womöglich aber überproportional von Pflichten (und ggf Sanktionen) getroffen würden, die sie ohne die notwendigen Informationen nicht erfüllen könnten.

Das Parlament hat sich für einen mehrstufigen Ansatz entschieden. Drei Schlüsselbegriffe sind darin von Bedeutung: KI mit allgemeinem Verwendungszweck, Basismodelle ("foundation models") und generative KI. Ein KI-System mit allgemeinem Verwendungszweck wird vom Parlament als "KI-System, das in einem breiten Spektrum von Anwendungen eingesetzt und an diese angepasst werden kann, für die es nicht absichtlich und speziell entwickelt wurde"32, definiert. Ein Basismodell ("foundation model") ist gem KI-VOP ein "KI-Systemmodell, das auf einer breiten Datenbasis trainiert wurde, auf eine allgemeine Ausgabe ausgelegt ist und an eine breite Palette unterschiedlicher Aufgaben angepasst werden kann".33 ErwGr 60e KI-VOP erläutert, wie diese beiden miteinander interagieren:

"Basismodelle sind eine neuere Entwicklung, bei der KI-Modelle auf der Grundlage von Algorithmen entwickelt werden, die im Hinblick auf Allgemeinheit und Vielseitigkeit der Ergebnisse optimiert wurden. Diese Modelle werden häufig auf der Grundlage eines breiten Spektrums von Datenquellen und großer Datenmengen trainiert, um eine Fülle nachgelagerter Aufgaben zu erfüllen, darunter auch solche, für die sie nicht speziell entwickelt und trainiert wurden. Das Basismodell kann unimodal oder multimodal sein und durch verschiedene Methoden wie überwachtes Lernen oder bestärkendes Lernen trainiert werden. KI-Systeme mit spezifischer Zweckbestimmung oder KI-Systeme mit allgemeinem Verwendungszweck können eine Implementierung eines Basismodells sein, was bedeutet, dass jedes Basismodell in unzähligen nachgelagerten KI-Systemen oder KI-Systemen mit allgemeinem Verwendungszweck wiederverwendet werden kann. Diese Modelle sind für viele nachgelagerte Anwendungen und Systeme von wachsender Bedeutung."34

Nicht alle Basismodelle sind somit zwingend KI-Systeme mit allgemeinem Verwendungszweck. KI-Systeme mit allgemeinem Verwendungszweck sind insgesamt weiter gefasst als Basismodelle, den grundlegenden Unterschied zwischen KI-Systemen mit allgemeinem Verwendungszweck und Basismodellen sieht das Parlament in der Menge an Trainingsdaten und in der Adaptierbarkeit des KI-Systems für ungeplante Zwecke. Die exakte Trennlinie zwischen den beiden ist hier nicht näher ausgeführt und könnte in weiterer Folge zahlreiche Fragen für die rechtliche Praxis aufwerfen. Es bleibt abzuwarten, ob sich dieser Ansatz in dieser Form in den Trilog-Verhandlungen durchsetzen wird.

Generative KI-Systeme wie ChatGPT, Stable Diffusion ua sind in der KI-VOP nicht legaldefiniert, werden aber in Art 28b(4) KI-VOP beschrieben als eine Sub-Kategorie von Basismodellen, welche "in KI-Systemen verwendet werden, die speziell dazu bestimmt sind, mit unterschiedlichem Grad an Autonomie Inhalte wie komplexe Texte, Bilder, Audio- oder Videodateien zu generieren (‚generative KI‘)".35 Nicht jedes Basismodell ist also ein generatives KI-System.

KI-Systeme mit allgemeinem Verwendungszweck folgen der allgemeinen Systematik der KI-VOP und sind entsprechend dem Risiko einzuordnen, das sie darstellen. Für Basismodelle schlägt das Parlament ein gesondertes Regulierungskonzept vor: Art 28b(1)-(3) KI-VOP regelt die Pflichten von Anbietern von Basismodellen im Allgemeinen, Art 28(4) KI-VOP widmet sich den (zusätzlichen) Pflichten für Anbieter von generativer KI im Besonderen. Unter Berücksichtigung des Standes der Technik muss ein Anbieter von Basismodellen gem Art 28b(2) KI-VOP

- durch Planung, Erprobung und Analyse die "vernünftigerweise vorhersehbaren Risiken für Gesundheit, Sicherheit, Grundrechte, Umwelt sowie Demokratie und Rechtsstaatlichkeit" identifizieren und verringern (lit a);
- nur Datensätze verarbeiten und einbeziehen, die angemessenen Data-Governance-Maßnahmen unterliegen (lit b);
- das Basismodell so konzipieren und entwickeln, dass während seines gesamten Lebenszyklus ein angemessenes Niveau an Vorhersagbarkeit, Korrigierbarkeit und Sicherheit erreicht wird (lit c);
- das Basismodell so entwickeln, dass Energie- und Ressourcenverbrauch möglichst gering sind und dass der Energieverbrauch sowie der Verbrauch anderer Ressourcen und andere Umweltauswirkungen während des gesamten Lebenszyklus gemessen und aufgezeichnet werden können (lit d);
- eine umfassende technische Dokumentation und verständliche Gebrauchsanweisungen erstellen (lit e);
- ein Qualitätsmanagementsystem einrichten (lit f) und
- das Basismodell in einer entsprechenden EU-Datenbank registrieren (lit g).36

Anbieter von generativen KI-Systemen müssen außerdem die Transparenzpflichten von Niedrigrisiko-KI-Systemen gem Art 52(1) KI-VOP beachten, ihr KI-System so gestalten, "dass ein angemessener Schutz gegen die Erzeugung von Inhalten, die gegen das Unionsrecht verstoßen, (...) einschließlich des Rechts auf freie Meinungsäußerung, sichergestellt ist", sowie eine detaillierte Zusammenfassung der Verwendung von urheberrechtlich geschützten Ausbildungsdaten dokumentieren und der Öffentlichkeit zugänglich machen.37 Inter alia bedeutet dies, dass Anbieter, wie oben ausgeführt, KI-generierte Inhalte kennzeichnen müssen.

Mit Blick auf die Wertschöpfungskette ist der Parlamentsvorschlag bemüht, die Verantwortung angemessen zu verteilen. Demzufolge müssen Anbieter relevante Information und Dokumentation zur Verfügung stellen, während Händler, Betreiber38 und Einführer dann in die Pflicht genommen werden, wenn sie das KI-System so modifizieren, dass es als Hochrisiko-System zu qualifizieren ist.39

6. Einführung von Betroffenenrechten

Einer der Kritikpunkte am Entwurf der Kommission war der Mangel an unmittelbaren Betroffenenrechten in der KI-VOE.40 Das Parlament reagiert darauf und nimmt betroffene Personen ("jede natürliche Person oder Personengruppe, die einem KI-System unterliegt oder anderweitig davon betroffen ist")41 in die Legaldefinitionen auf und erweitert den Anwendungsbereich der KI-VO in Art 2 KI-VOP um eben diese.42 Vor allem aber schlägt es die Einführung von unmittelbaren Rechtsmitteln vor. So sieht die KI-VOP für betroffene Personen das Recht auf Beschwerde bei einer nationalen Aufsichtsbehörde,43 das Recht auf einen wirksamen gerichtlichen Rechtsbehelf gegen eine nationale Aufsichtsbehörde44 und das Recht auf Erläuterung der individuellen Entscheidungsfindung45 vor sowie das Recht darauf, dass Betreiber sie darüber informieren, dass ein Hochrisiko-KI-System zur Anwendung gelangt.46

7. Innovationsförderung mit besonderem Augenmerk auf KMU und Start-ups

Innovationsförderung ist dem Parlament erkennbar ein Anliegen. Die vom Anwendungsgebiet der KI-VO bereits im Standpunkt des Rats ausgenommenen Forschungs- und Entwicklungsaktivitäten zu KI-Systemen47 erweitert das Parlament in der KI-VOP sogar noch um Testtätigkeiten (bevor das System auf den Markt gebracht und in Betrieb genommen ist).48 Neu kommt eine Ausnahme für KI-Komponenten hinzu, die unter freien Lizenzen und Open-Source-Lizenzen bereitgestellt werden.49 Kapitel V über die Maßnahmen zur Innovationsförderung ist im Parlamentsvorschlag deutlich ausgeweitet und präzisiert.

Das Parlament erkennt insb die innovationsfördernde Wirkung von KI-Reallaboren an und streicht das bereits in dem neu hinzugefügten Art 1(ea) KI-VOP hervor, indem es "Maßnahmen zur Innovationsförderung mit besonderem Augenmerk auf KMU und Start-ups, einschließlich der Einrichtung von Reallaboren und gezielter Maßnahmen zur Verringerung des Regelungsaufwands für KMU und Start-ups", als ein Ziel der KI-VOP ausweist.50 Über den Vorschlag der KI-VOE und der KI-VOR hinausgehend, fordert das Parlament, dass Mitgliedstaaten verpflichtend mindestens ein Reallabor einrichten. Die in der KI-VOR vorgeschlagene Testung von KI-Reallaboren unter realen Bedingungen findet sich nicht in der KI-VOP. Stattdessen findet sich an dieser Stelle ein neuer Paragraf, der Mitgliedstaaten auffordert, KI-Forschung und -Entwicklung zur Unterstützung sozial und ökologisch vorteilhafter Resultate zu fördern.51

Die Maßnahmen für KMU und Start-up-Unternehmen in Art 55 KI-VOP sind ebenfalls erweitert und präzisiert. Darüber hinaus fügt das Parlament mit Art 29a KI-VOP einen neuen Artikel ein, der missbräuchliche Vertragsklauseln, die einem KMU oder einem Start-up einseitig auferlegt werden, für rechtlich nicht bindend erklärt, und begründet das mit vertraglichen Ungleichgewichten, die besonders Kleinstunternehmen, KMU und Start-ups schaden können.52

8. Sanktionen und ein Europäisches Amt für Künstliche Intelligenz

Wie zuvor schon der Rat, schlägt auch das Parlament bei den Sanktionen einen differenzierteren Zugang bei Sanktionen vor. Im Falle der Missachtung eines Verbots aus Art 5 KI-VOP, also der verbotenen KI-Systeme, hebt das Parlament die Geldbußen von 30 Mio € oder 6 % des weltweiten Jahresumsatzes im Kommissionsentwurf auf 40 Mio € oder 7 % des weltweiten Jahresumsatzes an.53 Gleichzeitig senkt es die Geldbußen bei einem Verstoß gegen Art 10 und Art 13 auf 20 Mio € oder 4 %.54 Bei Verstößen gegen andere Verpflichtungen sieht das Parlament 10 Mio € oder 2 % vor, bei falschen, unvollständigen oder irreführenden Angaben gegenüber nationalen Behörden werden bis zu 5 Mio € oder 1 % fällig.55 Außerdem räumt das Parlament neu die Möglichkeit ein, nicht-monetäre Maßnahmen oder Anordnungen zu verhängen und berücksichtigt diverse erschwerende und mildernde Umstände.56

Die Rolle des ursprünglich vorgesehenen Europäischen Ausschusses für Künstliche Intelligenz wertet das Parlament auf zu einem Europäischen Amt für Künstliche Intelligenz, das eine selbstständige Einrichtung der Union sein und über eine eigene Rechtspersönlichkeit verfügen soll.57 Das Amt soll dem Rat und dem Parlament gegenüber rechenschaftspflichtig sein.58

9. Schlussbemerkung

Das EU-Gesetzgebungsverfahren ist ein sorgsam orchestriertes Zusammenspiel politischer Kräfte. Die am legislativen Prozess beteiligten Institutionen sind dabei unterschiedlichen Primärinteressen verpflichtet. Die vorrangige Aufgabe der Kommission ist es, die Interessen der Union zu wahren, während der Rat die Interessen der Mitgliedsländer vertritt. Das Parlament, das einzige direkt gewählte Organ der Union, hat sein Hauptaugenmerk auf die Interessen der Unionsbürger zu richten. Genau dieser Funktion versucht es mit seinen Abänderungsvorschlägen zur KI-VO nachzukommen. Während der Rat den Kommissionsentwurf verstärkt unternehmerfreundlich interpretiert,59 stellt das Parlament die Unionsbürger ins Zentrum, für die es eine grundrechtskonforme, vertrauenswürdige KI in Europa garantieren möchte. Welche Elemente des Parlamentsvorschlags sich in der endgültigen Fassung der KI-VO wiederfinden werden, ist Gegenstand der laufenden Verhandlungen und normaler Bestandteil von politischen Interessenabwägungen. Das Ende des Trilogs und damit die Einigung auf den ersten europäischen AI Act wird für Ende 2023, spätestens Anfang 2024 erwartet. Danach wird sich zeigen, wie sich die KI-VO in der rechtlichen Praxis bewähren kann.

1

Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (Gesetz über Künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union (COM/2021/206), https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=CELEX:52021PC0206 (29. 10. 2022).


2

Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union - Allgemeine Ausrichtung (6. 12. 2022) (Document ST_15698_2022_INIT), https://eur-lex.europa.eu/legal-content/DE/TXT/PDF/?uri=CONSIL:ST_15698_2022_INIT&from=EN (29. 10. 2022).


3

Abänderungen des Europäischen Parlaments vom 14. Juni 2023 zu dem Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union (COM[2021]0206 - C9-0146/2021 - 2021/0106[COD]), https://www.europarl.europa.eu/doceo/document/TA-9-2023-0236_DE.html (7. 9. 2023).


4

In ErwGr 6 KI-VOP verweist das Parlament explizit darauf, dass die Definition von KI eng mit der Tätigkeit internationaler Organisationen abgestimmt sein soll, um Rechtssicherheit, Harmonisierung und hohe Akzeptanz sicherzustellen.


5

Art 1(1) KI-VOP.


6

Art 2(5)(a) und Art 2(5)(b) KI-VOP.


7

Art 2(5)(c) KI-VOP.


8

Vgl Unabhängige Hochrangige Expertengruppe für Künstliche Intelligenz, Ethik-Leitlinien für eine Vertrauenswürdige KI (2018), https://digital-strategy.ec.europa.eu/en/policies/expert-group-ai (9. 9. 2023).


9

Vgl Art 4a(1) KI-VOP, der die Begriffe auch näher ausführt.


10

Erläuterungen zu KI-Kompetenz siehe auch ErwGr 9b KI-VOP.


11

Vgl M. Veale/F. Zuiderveen Borgesius, Demystifying the Draft EU Artificial Intelligence Act - Analysing the good, the bad, and the unclear elements of the proposed approach, Computer Law Review International Vol 22, Nr 4, 2021, S 97-112, https://doi.org/10.9785/cri-2021-220402.


12

Vgl R. J. Neuwirth, Prohibited artificial intelligence practices in the proposed EU artificial intelligence act (AIA), Computer Law & Security Review Vol 48, April 2023, 105798, https://doi.org/10.1016/j.clsr.2023.105798; Future of Life Institute, Manipulation and the AI Act (2022), https://futureoflife.org/wp-content/uploads/2022/08/FLI-Manipulation_AI_Act.pdf (10. 9. 2023); J. P. Bermúdez et al, What Is a Subliminal Technique? An Ethical Perspective on AI-Driven Influence, 2023 IEEE International Symposium on Ethics in Engineering, Science, and Technology (ETHICS), West Lafayette, IN, USA, 2023, S 1-10, DOI: 10.1109/ETHICS57328.2023.10155039; M. Franklin/Ph. Tomei/R. Gorman, Vague concepts in the EU AI Act will not protect citizens from AI manipulation, OECD.AI Policy Observatory (7 September 2023), https://oecd.ai/en/wonk/eu-ai-act-manipulation-definitions (10. 9. 2023).


13

Art 5(1)(a) KI-VOP.


14

Anhang III Abs 1(8)(aa) KI-VOP.


15

Anhang III Abs 1(8)(ab) KI-VOP.


16

Art 12(2)(a) KI-VOP.


17

Art 6(1) und Art 6(2) KI-VOP.


18

EU legislators must close dangerous loophole in AI Act, https://edri.org/our-work/civil-society-statement-eu-close-loophole-article-6-ai-act-tech-lobby/ (10. 9. 2023).


19

L. Bertuzzi, AI Act: EU Parliament’s legal office gives damning opinion on high-risk classification ‘filters’ Euractiv (19. 10. 2023), https://www.euractiv.com/section/artificial-intelligence/news/ai-act-eu-parliaments-legal-office-gives-damning-opinion-on-high-risk-classification-filters/ (29. 10. 2023).


20

Die Forderung nach Implementierung einer Grundrechte-Folgenabschätzung in der KI-VO fand im September 2023 Unterstützung durch einen Offenen Brief von über 150 angesehenen europäischen (zumeist Rechts-)Professor:innen, https://brusselsprivacyhub.com/2023/09/12/brussels-privacy-hub-and-other-academic-institutions-ask-to-approve-a-fundamental-rights-impact-assessment-in-the-eu-artificial-intelligence-act/ (29. 10. 2023).


21

A. Mantelero, Fundamental rights impact assessments in the DSA. Verfassungsblog (1. 11. 2022), https://verfassungsblog.de/dsa-impact-assessment/ (29. 10. 2023).


22

Dutch Ministry of the Interior and Kingdom Relations, Impact Assessment Fundamental rights and algorithms (März 2022), https://www.nldigitalgovernment.nl/wp-content/uploads/sites/11/2022/05/Impact-Assessment-fundamental-rights-and-algorithms.pdf (29. 10. 2023).



24

Vgl Art 29a KI-VOP.


25

In ErwGr 58a KI-VOP heißt es: "Betreiber können am besten verstehen, wie das Hochrisiko-KI-System konkret eingesetzt wird, weshalb sie dank einer genaueren Kenntnis des Verwendungskontextes sowie der wahrscheinlich betroffenen Personen oder Personengruppen, einschließlich marginalisierter und schutzbedürftiger Gruppen, erhebliche potenzielle Risiken erkennen können, die in der Entwicklungsphase nicht vorausgesehen wurden. In diesem spezifischen Nutzungskontext sollten die Betreiber geeignete Verwaltungsstrukturen ermitteln, wie Regelungen für menschliche Aufsicht, Verfahren für die Bearbeitung von Beschwerden sowie Rechtsbehelfe, weil die Auswahl der Verwaltungsstrukturen für die Minderung der Risiken für Grundrechte in konkreten Anwendungsfällen von entscheidender Bedeutung sein kann. Um auf wirksame Weise sicherzustellen, dass die Grundrechte geschützt werden, sollten Betreiber von Hochrisiko-KI-Systemen daher vor der Inbetriebnahme dieser Systeme eine Folgenabschätzung im Hinblick auf die Grundrechte durchführen. Der Folgenabschätzung sollte ein detaillierter Plan beigefügt werden, in dem die Maßnahmen oder Instrumente beschrieben werden, die zur Minderung der festgestellten Risiken für die Grundrechte beitragen, spätestens ab dem Zeitpunkt der Einführung des Systems. Wenn ein solcher Plan nicht ermittelt werden kann, sollten die Betreiber davon absehen, das System einzuführen."


26

ErwGr 58a KI-VOP.


27

Art 52(1) KI-VOP.


28

Art 52(3) KI-VOP.


29

Art 52(3) und (3a) KI-VOP.


30

Vgl Art 4a-4c KI-VOR.


31

Zu den Schwierigkeiten, die jüngsten KI-Entwicklungen in die Struktur des vorhandenen Kommissionsentwurfs einzuarbeiten, siehe K. Zenner, A law for foundation models: the EU AI Act can improve regulation for fairer competition, OECD.AI Policy Observer (23 July 2023), https://oecd.ai/en/wonk/foundation-models-eu-ai-act-fairer-competition (11. 9. 2023).


32

Art 3(1)(c) KI-VOP.


33

Art 3(1)(c) KI-VOP.


34

ErwGr 60e KI-VOP.


35

Art 28b(4) KI-VOP.


36

Vgl Art 28b(2) KI-VOP.


37

Art 28b(4) KI-VOP.


38

Das Parlament beseitigt mit der Bezeichnung "Betreiber" ("deployer") für natürliche oder juristische Personen, Behörden, Einrichtungen oder sonstige Stellen, die ein KI-System "in eigener Verantwortung verwenden" (vgl Art 3[1][4] KI-VOP), im Übrigen eine davor eher unglückliche Begriffsirritation. Die KI-VOE und die KI-VOR hatten diese zuvor als "Nutzer" ("user") bezeichnet, was regelmäßig zu Verwechslungen mit dem Begriff Endnutzer sorgte.


39

Art 28 KI-VOP. Siehe dazu auch ErwGr 60(g) KI-VOP.


40

Vgl bspw N. A. Smuha/E. Ahmed-Rengers/A. Harkens/W. Li/J. MacLaren/R. Piselli/K. Yeung, How the EU Can Achieve Legally Trustworthy AI: A Response to the European Commission’s Proposal for an Artificial Intelligence Act (5 August 2021). SSRN: https://ssrn.com/abstract=3899991 (10. 9. 2023) oder http://dx.doi.org/10.2139/ssrn.3899991.


41

Art 3(8a) KI-VOP.


42

Art 2(1)(cc) KI-VOP.


43

Art 68a KI-VOP.


44

Art 68b KI-VOP.


45

Art 68c KI-VOP.


46

Art 29(6a) KI-VOP.


47

Vgl Art 2(2)(7) KI-VOR.


48

Art 2(5)(d) KI-VOP.


49

Art 2(5)(d) KI-VOP. Von der Ausnahme ausgenommen sind Hoch- und Niedrigrisiko-KI-Modelle, Basismodelle sowie verbotene KI-Systeme.


50

Zu Reallaboren in der KI-VO, insb zu den Abweichungen zwischen den drei verschiedenen Standpunkten der KI-VO, siehe: Th. Buocz/S. Pfotenhauer/I. Eisenberger, Regulatory sandboxes in the AI Act: reconciling innovation and safety?, Law, Innovation and Technology (2023), DOI: 10.1080/17579961.2023.2245678.


51

Art 54a KI-VOP.


52

Vgl ErwGr 60a-d KI-VOP.


53

Art 71(3) KI-VOP.


54

Art 71(3a) KI-VOP.


55

Art 71(4)-(5) KI-VOP.


56

Art 71(6) KI-VOP.


57

Art 56(1) KI-VOP.


58

Art 56(c) KI-VOP.


59

Vgl E. Steindl/H. Küchli/O. Thurin, KI-Verordnung revisited (Teil 1): Der Rat einigt sich auf einen gemeinsamen Standpunkt, RdW 4/2023. E. Steindl/H. Küchli/O. Thurin, KI-Verordnung revisited (Teil 2): Der Rat zeigt sich vorsichtig innovations- und unternehmerfreundlich, RdW 5/2023.


Artikel-Nr.
RdW digital exklusiv 2023/48

14.11.2023
Autor/in
Elisabeth Steindl

Dr. Elisabeth Steindl forscht am Institut für Innovation und Digitalisierung im Recht sowie an der Forschungsplattform ‚Governance of Digital Practices‘ der Universität Wien zu Fragen des Digitalrechts.