KI-Verordnung Teil 2: Verbotene KI-Praktiken

Verbotene KI-Praktiken gemäß der Verordnung (EU) 2024/1689

Die Verordnung (EU) 2024/1689 definiert spezifische KI-Praktiken, die verboten sind, um den Schutz der Grundrechte, die öffentliche Gesundheit, die Sicherheit und die Demokratie zu gewährleisten. Hier sind die wichtigsten verbotenen Praktiken, die in Artikel 5 der Verordnung festgelegt sind:

Inkrafttreten der Bestimmungen zu verbotenen KI-Praktiken

Die Bestimmungen zu verbotenen KI-Praktiken sind Teil der allgemeinen Bestimmungen und treten ab dem 2. Februar 2025 in Kraft: Die Bestimmungen, die spezifische verbotene Praktiken betreffen, wie in Artikel 5 der Verordnung festgelegt, gelten ab diesem Datum.

Verbotene Praktiken und ihre Gründe

1. Artikel 5 Abs. 1(a): Unterschwellige Beeinflussung und manipulative Techniken

Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen, die Techniken der unterschwelligen Beeinflussung oder absichtlich manipulative oder täuschende Techniken einsetzen, um das Verhalten einer Person oder Gruppe von Personen zu verändern, indem ihre Fähigkeit, eine fundierte Entscheidung zu treffen, deutlich beeinträchtigt wird.
Solche Praktiken untergraben die Autonomie und Entscheidungsfähigkeit von Personen und können erheblichen Schaden verursachen.

Beispiel: Manipulative Werbung

Ein KI-System wird eingesetzt, um personalisierte Werbung zu erstellen, die gezielt unterschwellige Techniken verwendet, um das Kaufverhalten der Nutzer zu beeinflussen. Dies könnte durch die Analyse von Verhaltensmustern und emotionalen Zuständen geschehen, um die Nutzer in einem verletzlichen Moment zum Kauf zu bewegen.

2. Artikel 5 Abs. 1 (b): Ausnutzung von Vulnerabilitäten

Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen, die die Schutzbedürftigkeit von Personen aufgrund ihres Alters, einer Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation ausnutzen.
Solche Systeme könnten das Verhalten vulnerabler Personen in einer Weise verändern, die ihnen erheblichen Schaden zufügt oder zufügen könnte.

Beispiel: Kindergerichtete Apps

Eine App für Kinder verwendet ein KI-System, das die Schutzbedürftigkeit von Kindern ausnutzt, indem es sie dazu bringt, in-app Käufe zu tätigen oder persönliche Daten preiszugeben, die für Marketingzwecke verwendet werden.

3. Artikel 5 Abs. 1 (c): Soziale Bewertung und Scoring

KI-Systeme, die zur sozialen Bewertung oder Scoring von Personen oder Gruppen über einen bestimmten Zeitraum auf der Grundlage ihres Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften oder Merkmale dienen.Diese Systeme können zu Diskriminierung und Benachteiligung führen, die in keinem Verhältnis zu den bewerteten Umständen stehen.

Beispiel: Sozialkreditsystem

• Beschreibung: Ein KI-System wird von einer Regierung oder einem großen Unternehmen eingesetzt, um das Verhalten von Bürgern oder Mitarbeitern zu überwachen und auf Basis ihres Verhaltens oder ihrer persönlichen Merkmale soziale Punkte zu vergeben, die ihren Zugang zu Dienstleistungen oder ihre Beschäftigungsmöglichkeiten beeinflussen.

4. Artikel 5 Abs. 1 (d): Biometrische Echtzeit-Fernidentifizierung:

KI-Systeme, die zur Erstellung oder Erweiterung von Datenbanken zur Gesichtserkennung durch ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder von Videoüberwachungsaufnahmen verwendet werden. Solche Praktiken verstärken das Gefühl der Massenüberwachung und können zu schweren Verstößen gegen die Grundrechte, einschließlich des Rechts auf Privatsphäre, führen.

Beispiel: Gesichtserkennung in öffentlichen Räumen

• Beschreibung: Eine Stadt implementiert ein KI-gestütztes Gesichtserkennungssystem in öffentlichen Räumen, das in Echtzeit die Identität von Personen erfasst und überwacht. Dieses System wird verwendet, um Verbrechen zu verhindern, führt jedoch zu Massenüberwachung.

5. Artikel 5 Abs. 1 (e):  Erkennung von Emotionen in bestimmten Kontexten

KI-Systeme, die den emotionalen Zustand von Personen in Arbeits- oder Bildungskontexten erkennen oder ableiten sollen.Diese Systeme können diskriminierende Ergebnisse hervorbringen und die Rechte und Freiheiten der betroffenen Personen verletzen.

Beispiel: Emotionserkennung in Bewerbungsgesprächen

• Beschreibung: Ein Unternehmen setzt ein KI-System ein, um die Emotionen von Bewerbern während eines Bewerbungsgesprächs zu analysieren und basierend auf den erkannten Emotionen über die Eignung der Bewerber zu entscheiden.
• Grund für Verbot: Diese Systeme können diskriminierende Ergebnisse hervorbringen und die Rechte und Freiheiten der betroffenen Personen verletzen, da emotionale Reaktionen oft subjektiv und kontextabhängig sind.

Sanktionen und Strafen

Die Verordnung (EU) 2024/1689 sieht strenge Sanktionen und Strafen für die Nutzung verbotener KI-Praktiken vor, um die Einhaltung der Vorschriften zu gewährleisten und die Rechte und Freiheiten der betroffenen Personen zu schützen. Im Endeffekt wird hier auf die Sanktionen der DSGVO verwiesen, so daß die Rechtsprechung des EuGH in Bezug auf den materiellen und immateriellen Schaden anwendbar sein wird. Hier sind die wichtigsten rechtlichen Folgen:

1. Geldbußen:
   • Höhe der Geldbußen: Die Verordnung legt fest, dass Verstöße mit erheblichen Geldbußen geahndet werden können. Diese können bis zu 30 Millionen Euro oder 6 % des weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres des Unternehmens betragen, je nachdem, welcher Betrag höher ist.
   • Beispiel: Wenn ein Unternehmen einen Jahresumsatz von 500 Millionen Euro erzielt, könnte die maximale Geldbuße bei einem Verstoß 30 Millionen Euro betragen, da dies 6 % des Umsatzes übersteigt.
2. Verbot der weiteren Nutzung:
   • Konsequenz: Unternehmen, die verbotene KI-Praktiken einsetzen, können dazu verpflichtet werden, die Nutzung der entsprechenden KI-Systeme sofort einzustellen.
   • Durchsetzung: Die Aufsichtsbehörden können die Nutzung solcher Systeme untersagen und Maßnahmen ergreifen, um sicherzustellen, dass die verbotenen Praktiken nicht weiter fortgesetzt werden.
3. Haftung für Schäden:
   • Rechtsgrundlage: Gemäß Artikel 82 der DSGVO haben betroffene Personen das Recht, Schadenersatz zu verlangen, wenn ihnen durch die verbotene Nutzung von KI-Systemen ein Schaden entstanden ist.
   • Konsequenz: Unternehmen können für materielle und immaterielle Schäden haftbar gemacht werden, die durch den Einsatz verbotener KI-Praktiken verursacht wurden.
4. Öffentliche Bekanntmachung der Verstöße:
   • Reputationsschaden: Die Verordnung erlaubt es den Aufsichtsbehörden, die Öffentlichkeit über Verstöße zu informieren, insbesondere wenn dies im öffentlichen Interesse liegt.
   • Beispiel: Eine öffentliche Bekanntmachung über den Einsatz verbotener KI-Praktiken kann den Ruf eines Unternehmens erheblich schädigen und zu einem Vertrauensverlust bei Kunden und Geschäftspartnern führen.

Fazit

Die EU hat mit den verbotenen KI-Praktiken einen Meilenstein der KI-Regulierung in Kraft gesetzt. Damit sind die Leitplanken, in denen eine KI-Nutzung möglich sind schon sehr früh bestimmt. Offensichtlich hat man aus der Situation in der fortschreitenden Cloud-Digitalisierung Anfang der 2010er Jahre gelernt, als die neuen Möglichkeiten bis zur Einführung der DSGVO weitestgehend regulationslos zumindest aber in einem Zustand der Rechtsunsicherheit bestanden.
Die bestehende Rechtsprechung des EuGH wird helfen, Die KI-VO auslegen zu können. Das gilt insbesondere für die Sanktionen und Strafen, die sich an die Sanktionen der DSGVO anlehnen.