KI Verordnung Teil 3: Hochrisiko-KI am Beispiel Radiologie

by | Aug 19, 2024 | News | 0 comments

Hochrisiko-KI-Systeme  sind nach Verordnung (EU) 2024/1689 über künstliche Intelligenz (KI-VO)spezielle Kategorien von KI-Systemen, die aufgrund ihrer Anwendung oder ihrer Auswirkungen auf die Gesundheit, Sicherheit und Grundrechte von Personen als besonders risikobehaftet eingestuft werden. Die EU-Verordnung (EU) 2024/1689 legt fest, welche KI-Systeme als hochriskant gelten und welche Anforderungen an diese Systeme gestellt werden.

Geltungsbeginn

Die Bestimmungen für Hochrisiko-KI-Systeme gemäß der Verordnung (EU) 2024/1689 treten schrittweise in Kraft:

  • Ab dem 2. Februar 2025: Allgemeine Verbote und grundlegende Bestimmungen der Verordnung.
  • Ab dem 2. August 2025: Bestimmungen über notifizierte Stellen und die Leitungsstruktur.
  • Ab dem 2. August 2026: Vollständige Anwendung der Verordnung für Hochrisiko-KI-Systeme .

Kriterien zur Einstufung als Hochrisiko-KI-System

1. Sicherheitsbauteil eines Produkts:

 Ein KI-System, das als Sicherheitsbauteil eines Produkts dient, das unter die Harmonisierungsrechtsvorschriften der EU fällt und einer Konformitätsbewertung durch Dritte unterzogen wird, gilt als hochriskant. Ein typisches Beispiel für ein Hochrisiko-KI-System, das als Sicherheitsbauteil eines Produkts dient, ist ein autonomes Fahrsystem in einem Fahrzeug. Solche Systeme werden entwickelt, um Fahrzeuge ohne oder mit minimaler menschlicher Intervention zu steuern.

2. Anwendungsbereiche:

   – Zusätzlich zu den oben genannten Kriterien gibt es spezifische Anwendungsbereiche, in denen KI-Systeme als hochriskant eingestuft werden. Diese Bereiche umfassen unter anderem:

  •      – Biometrische Identifizierung und Kategorisierung von natürlichen Personen.
  •      – Kritische Infrastrukturen (z.B. Transport).
  •      – Bildung und Berufsbildung (z.B. Bewertung von Prüfungen).
  •      – Personalmanagement und Zugang zu selbstständiger und nicht selbstständiger Erwerbstätigkeit.
  •      – Zugang zu und Nutzung öffentlicher Dienstleistungen und privater wesentlicher Dienstleistungen (z.B. Kreditwürdigkeitsprüfung).
  •      – Strafverfolgung.
  •      – Migration, Asyl und Grenzkontrolle.
  •      – Verwaltung der Justiz und demokratische Prozesse
  • ein System, das aufgrund seiner Anwendung oder Auswirkungen auf die Gesundheit, Sicherheit und Grundrechte als besonders risikobehaftet eingestuft wird

Mögliche Nutzung von risikohaften Systemen

Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit

Folgende KI-Systeme gelten im Bereich der Beschäftigung und des Personalmanagements als kritische Systeme im Sinne der Verordnung: 

KI-Systeme, die bestimmungsgemäß für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, insbesondere um gezielte Stellenanzeigen zu schalten, Bewerbungen zu sichten oder zu filtern und Bewerber zu bewerten;

KI-Systeme, die bestimmungsgemäß für Entscheidungen, die die Bedingungen von Arbeitsverhältnissen, Beförderungen und Kündigungen von Arbeitsvertragsverhältnissen beeinflussen, für die Zuweisung von Aufgaben aufgrund des individuellen Verhaltens oder persönlicher Merkmale oder Eigenschaften oder für die Beobachtung und Bewertung der Leistung und des Verhaltens von Personen in solchen Beschäftigungsverhältnissen verwendet werden soll.

Beispiel für besonders risikobehaftet eingestufte Systeme: KI in der Radiologie

Ein Beispiel hierfür ist der Einsatz von KI in der Radiologie: KI-Systeme in der Radiologie werden verwendet, um medizinische Bilder zu analysieren und Diagnosen zu unterstützen. Solche Systeme können beispielsweise Tumore identifizieren oder die Schwere von Erkrankungen beurteilen.

Da diese Systeme direkte Auswirkungen auf die Diagnose und Behandlung von Patienten haben, tragen sie ein hohes Risiko für die Gesundheit und Sicherheit der Patienten. Wir werden die Anforderungen an dem Beispiel der Einführung einer KI in der Radiologie im Folgenden Abschnitt praktisch erläutern. 

Anforderungen an Hochrisiko-KI-Systeme

Hochrisiko-KI-Systeme müssen bestimmte Anforderungen erfüllen, um sicherzustellen, dass sie sicher und vertrauenswürdig sind:

  1. Anbieter müssen ein Risikomanagementsystem einrichten, anwenden, dokumentieren und aufrechterhalten, das kontinuierlich überprüft und aktualisiert wird. Dieses System umfasst die Ermittlung, Analyse, Abschätzung, Bewertung und Bewältigung der Risiken, die von dem Hochrisiko-KI-System ausgehen.
    Beispiel Radiologie: Die Praxis muss ein kontinuierliches, dokumentiertes Risikomanagementsystem einrichten. Dieses System umfasst die Identifikation, Analyse, Bewertung und Bewältigung von Risiken während des gesamten Lebenszyklus des KI-Systems.
    Regelmäßige Überprüfungen und Updates des KI-Systems sowie die Durchführung von Risikobewertungen vor und nach der Implementierung.
  1. Hochrisiko-KI-Systeme müssen transparente und klare Dokumentationen über ihre Funktionsweise und die verwendeten Daten enthalten. Diese Dokumentationen sollen sicherstellen, dass die Systeme nachvollziehbar und überprüfbar sind.
    Beispiel Radiologie: Es müssen detaillierte Dokumentationen über die Funktionsweise und die verwendeten Daten des KI-Systems erstellt werden. Diese Informationen müssen verständlich und nachvollziehbar sein. Erstellung und Pflege von technischen Handbüchern und Datenblättern, die die Algorithmen und Datenverarbeitungsprozesse des KI-Systems beschreiben.
  1. Anbieter müssen geeignete technische und organisatorische Maßnahmen ergreifen, um sicherzustellen, dass die Systeme die Anforderungen an die Sicherheit und den Schutz der Grundrechte erfüllen. Dies umfasst auch Maßnahmen zur Verhinderung und Minderung von Risiken, die durch die Nutzung der Systeme entstehen können.
    Beispiel Radiologie:  Die Praxis muss sicherstellen, dass geeignete technische und organisatorische Maßnahmen implementiert sind, um die Sicherheit und den Schutz der Patientenrechte zu gewährleisten. Implementierung von Datenschutzmaßnahmen, wie z.B. Zugriffskontrollen und Verschlüsselung, um die Integrität und Vertraulichkeit der Patientendaten zu schützen.
  1. Hochrisiko-KI-Systeme müssen einer Konformitätsbewertung unterzogen werden, um sicherzustellen, dass sie alle gesetzlichen Anforderungen erfüllen. Diese Bewertung kann durch interne Kontrollen oder durch eine notifizierte Stelle erfolgen, je nach den spezifischen Anforderungen des Systems.
    Beispiel Radiologie:  Das KI-System muss einer Konformitätsbewertung unterzogen werden, um sicherzustellen, dass es alle gesetzlichen Anforderungen erfüllt. Nach erfolgreicher Prüfung erhält das System die CE-Kennzeichnung.Durchführung einer internen oder externen Prüfung des KI-Systems durch eine notifizierte Stelle, um die Konformität mit den EU-Vorschriften zu bestätigen.
    Die radiologische Praxis hat darauf zu achten, dass das erworbene System ein solches CE-Kennzeichen trägt. 
  1. Weitere Anforderungen: 
  • Die Praxis muss die Leistung des KI-Systems kontinuierlich überwachen und regelmäßige Berichte erstellen, um die Einhaltung der Vorschriften zu gewährleisten. Einrichtung von Monitoring-Prozessen, um die Genauigkeit und Zuverlässigkeit des KI-Systems zu überprüfen, sowie die Meldung von Zwischenfällen an die zuständigen Behörden.
  • Die Praxis muss sicherstellen, dass das Personal ausreichend geschult ist, um das KI-System effektiv und sicher zu nutzen.
  • Patienten müssen über die Verwendung des KI-Systems informiert und in die Entscheidungsprozesse einbezogen werden.
  • Ein umfassendes Qualitätsmanagementsystem muss implementiert werden, das alle Aspekte des KI-Systems abdeckt, einschließlich Design, Entwicklung, Test und Wartung.

Durch die Einhaltung dieser Anforderungen soll sichergestellt werden, dass Hochrisiko-KI-Systeme sicher und vertrauenswürdig sind und keine unvertretbaren Risiken für die Gesundheit, Sicherheit und Grundrechte von Personen darstellen.

Fazit

Die Einführung von Hochrisiko Systemen und die Anforderungen an das betreiben solcher Systeme können für klein und mittelständische Unternehmen eine enorme Herausforderung darstellen. Gerade im Gesundheitsbereich kommen hier neue Dokumentations-, Transparenz und Management-Anforderungen auf die Betreiber zu, die erheblich sein können. 

Gleiches gilt, wenn neue System im Auswahlprozess bspw. im Personalmanagement eingesetzt wird.