Leitlinie für KI-Beauftragte

Fachliches Rollen- und Kompetenzprofil

Diese Leitlinien beschreiben die fachlichen, organisatorischen und persönlichen Kompetenzen, die für die Wahrnehmung der Funktion eines KI-Beauftragten erforderlich sind.

Der KI-Beauftragte unterstützt die Organisation bei einem rechtskonformen, sicheren und verantwortungsvollen Einsatz von KI.

Seine Kernkompetenz lautet: erkennen – einordnen – koordinieren – dokumentieren – eskalieren.

Die Verantwortung für den KI-Einsatz verbleibt immer bei der Geschäftsleitung.

1. KI-Grundverständnis

1.1. Grundverständnis von KI

Ein KI-Beauftragter benötigt ein belastbares Grundverständnis davon, wie KI-Systeme, KI-Modelle und KI-Agenten funktionieren und deren Unterscheidung.

1.2. Grundanwendungen

Die Bedeutung von Prompts und Eingabekontexten muss verstanden werden, z.B. Halluzinationen, Overprompten, Antwort-Analysen wie der Grund der Antwort.

1.3. Grenzen von KI

Ein KI-Beauftragter soll wissen, dass es Grenzen beim Einsatz von KI gibt, (z.B. verbotene Praktiken, Halluzinationen, Bias, fehlerhafte oder unvollständige Ergebnisse, ungeeignete Trainings- oder Eingabedaten sowie Risiken durch unzureichende menschliche Kontrolle inkl. Wirkung auf die Rechte von Betroffenen).

2. Rechtliches Grundverständnis der KI-Verordnung

2.1. Risikobasierter Ansatz

Ein KI-Beauftragter muss den risikobasierten Ansatz der KI-Verordnung verstehen und KI-Anwendungen regulatorisch einordnen können. Dazu gehören bspw. verbotene Praktiken, Hochrisiko-KI-Systeme, Transparenzpflichten.

2.2. Rollen nach der KI-Verordnung

Der KI-Beauftragte muss unterscheiden können, welcher Akteur die eigene Organisation beim jeweiligen KI-System einnimmt: Anbieter, Betreiber, Einführer, Produkthersteller, Händler. Die Rollenbestimmung ist wesentlich, weil sich daraus unterschiedliche Pflichten ergeben.

2.3. Human Oversight

Der KI-Beauftragte sollte das Konzept der menschlichen Aufsicht verstehen. Er sollte beurteilen können, an welcher Stelle eine menschliche Prüfung erforderlich oder sinnvoll ist und wie diese organisatorisch wirksam ausgestaltet wird. (Human in/on/over the Loop)

2.4. Governance-Grundverständnis

Ein KI-Beauftragter benötigt Kenntnisse über die organisatorischen, rechtlichen und technischen Strukturen zur verantwortungsvollen Steuerung des Einsatzes von KI-Systemen. Dazu gehört, die Bedeutung von Governance, Compliance und Verantwortlichkeit sowie Abgrenzung zwischen Unternehmens-, IT-, Daten- und KI-Governance zu verstehen.

2.5. Fristen und Pflichten

Es sind Kenntnisse über die für die Organisation relevanten Pflichten und Fristen der KI-Verordnung erforderlich.

2.6. Dokumentation und Nachweisführung

Der KI-Beauftragte benötigt Verständnis dafür, welche Entscheidungen, Prüfungen, Verantwortlichkeiten und Maßnahmen dokumentiert werden müssen, damit die KI-Governance nachvollziehbar und auditierbar ist.

2.7. Umsetzung in betriebliche Prozesse

Der KI-Beauftragte sollte in der Lage sein, die Pflichten in die betrieblichen Prozesse übersetzen zu können.

2.8. KI-Kompetenz

Der KI-Beauftragte sollte die Organisation bei der Entwicklung, Umsetzung und Weiterentwicklung eines rollen- und risikobasierten Konzepts zur KI-Kompetenz nach Art. 4 KI-VO unterstützen und dessen Umsetzung koordinieren.

3. KI-Governance

3.1. KI-Lifecycle-Governance

Der KI-Beauftragte sollte die Governance über den gesamten Lebenszyklus der KI – Auswahl/Beschaffung, Entwicklung bzw. Einführung, Freigabe, Nutzung, Änderung, Monitoring und Außerbetriebnahme begleiten.

3.2. KI-Bestandsaufnahme

Ein KI-Beauftragter sollte eine Bestandsanalyse machen, welche KI aktuell im Unternehmen eingesetzt wird.

3.3. KI-Register

Als zentrales Instrument einer wirksamen KI-Governance sollte der KI-Beauftragte ein organisationsinternes KI-Register führen und regelmäßig aktualisieren.

3.4. KI-Richtlinien

Der KI-Beauftragte sollte organisationsinterne Regeln für die Nutzung von KI mitentwickeln.

3.5. Shadow AI

Der KI-Beauftragte sollte Risiken durch nicht freigegebene oder unbekannte KI-Anwendungen erkennen. Hierzu gehören insbesondere unkontrollierte Eingaben von Unternehmensdaten, personenbezogenen Daten oder vertraulichen Informationen in externe KI-Dienste.

3.6. Klassifizierung und regulatorische Einordnung

Der KI-Beauftragte sollte an der Entwicklung und Implementierung eines Verfahrens zur regulatorischen Einordnung von KI-Systemen mitwirken und dessen Anwendung koordinieren. Dazu gehört bspw., ob ein KI-System unter die KI-VO fällt und ob beispielsweise ein verbotenes Verfahren, ein Hochrisiko-KI-System, ein System mit Transparenzpflichten oder ein sonstiges KI-System vorliegt.

3.7. Risikomanagement

Der KI-Beauftragte sollte die Identifikation, Bewertung, Behandlung und Überwachung von KI-Risiken koordinieren und die jeweils zuständigen Fachbereiche einbinden können.

3.8. Incident Management

Zu den Aufgaben gehört der Umgang mit Fehlfunktionen, Fehlentscheidungen, Bias, Sicherheits- und Datenschutzvorfällen sowie Eskalation und Dokumentation.

3.9. Nachvollziehbare Dokumentation

Bewertungen, Freigaben, Maßnahmen und wesentliche Entscheidungen zum KI-Einsatz sollen nachvollziehbar, aktuell und prüffähig dokumentiert werden. Eine belastbare Dokumentation ist Voraussetzung für wirksame Governance und spätere Kontrollen.

3.10. Melde- und Eskalationswege

Für Fehler, Vorfälle und kritische Beobachtungen müssen verständliche Melde- und Eskalationswege bestehen. Der KI-Beauftragte sollte Vorfälle aufnehmen, ihre Bearbeitung koordinieren und erforderliche Folgemaßnahmen nachverfolgen.

3.11. Rollen und Verantwortlichkeiten

Der KI-Beauftragte sollte in der Lage sein, klare Rollen und Verantwortlichkeiten für den Einsatz von KI-Systemen mitzuentwickeln. Dabei ist insbesondere festzulegen, wer für fachliche Nutzung, Freigabe, Risikobewertung, technische Betreuung, Datenschutz, Informationssicherheit, Monitoring und Eskalation zuständig ist. Verantwortlichkeiten und Schnittstellen sollten nachvollziehbar dokumentiert werden

4. Prüfung neuer KI-Anwendungen

4.1. Use-Case-Prüfung

Vor der Einführung einer KI-Anwendung sollte der konkrete Zweck beschrieben und geprüft werden, welche Funktion das System übernimmt, welche Daten verarbeitet werden und welche Auswirkungen sein Einsatz haben kann. Der KI-Beauftragte soll dies mit den entsprechenden Fachbereichen abstimmen.

4.2. Anbieter- und Systemprüfung

Der KI-Beauftragte sollte die Prüfung des Anbieters und des KI-Systems koordinieren. Hierzu gehören je nach Anwendung unter anderem Vertrag, Sicherheit, Hosting, Datenverwendung und die Frage, ob Eingaben oder Ausgaben für Trainingszwecke genutzt werden.

4.3. Freigabe und Neubewertung

Die Freigabe eines KI-Systems sollte nachvollziehbar dokumentiert werden. Für relevante Systeme sollte außerdem festgelegt werden, wann eine erneute Bewertung erforderlich ist, etwa bei wesentlichen Änderungen des Systems, des Einsatzzwecks oder der Rechtslage.

4.4. Einbindung bei Beschaffung neuer KI

Die Beschaffung von KI sollte nicht isoliert erfolgen. Der KI-Beauftragte koordiniert die KI-spezifische Bewertung und bindet abhängig vom Anwendungsfall insbesondere Einkauf, Recht, Datenschutz, Informationssicherheit und den betroffenen Fachbereich ein.

5. Lebenszyklus und laufendes Monitoring

5.1. Lebenszyklus eines KI-Systems

Ein KI-Beauftragter muss KI-Governance über den gesamten Lebenszyklus eines KI-Systems denken. Dieser reicht von Auswahl oder Entwicklung und erstmaliger Bewertung über Einführung und Betrieb bis zu Änderungen, Neubewertung und Außerbetriebnahme.

5.2. Monitoring nach der Einführung

Die Freigabe eines KI-Systems beendet die Governance nicht. Der KI-Beauftragte sollte darauf hinwirken, dass relevante Systeme im laufenden Betrieb beobachtet und Kontrollen auf ihre Wirksamkeit überprüft werden. Dabei ist insbesondere zu berücksichtigen, ob neue Risiken auftreten, sich die Nutzung verändert oder das System andere Ergebnisse liefert als erwartet.

5.3. Änderungsmanagement

Der KI-Beauftragte sollte erkennen können, wann Änderungen eine erneute Prüfung oder Freigabe erforderlich machen können. Beispiele sind ein neues oder wesentlich verändertes Modell, ein geänderter Einsatzzweck, neue Datenquellen, zusätzliche Schnittstellen, neue Nutzergruppen oder eine Erweiterung autonomer Funktionen.

6. Praktische Umsetzung

6.1. Umsetzung im Unternehmen

Ein KI-Beauftragter sollte regulatorische Anforderungen in praktikable Unternehmensprozesse übersetzen können. Er soll Fachbereiche verstehen und begleiten und zwischen Innovation, tatsächlichen Arbeitsabläufen und Compliance vermitteln.

7. Schulung

7.1. KI-Kompetenz und Schulungen

Der KI-Beauftragte sollte an einem angemessenen Schulungskonzept mitwirken und sicherstellen, dass die für den jeweiligen Einsatz erforderliche KI-Kompetenz vorhanden ist. Schulungen sollten sich an Rolle, Vorkenntnissen und Nutzungskontext der Mitarbeitenden orientieren.

8. Datenschutz, Informationssicherheit und Dateneinordnung

8.1. Datenschutzrechtliches Schnittstellenwissen

Ein KI-Beauftragter benötigt Schnittstellenwissen zur Datenschutzgrundverordnung (DSGVO). Er muss erkennen können, ob personenbezogene Daten verarbeitet werden und wann insbesondere Fragen der Rechtsgrundlage, Zweckbindung, Erforderlichkeit, Löschung oder einer Datenschutz-Folgenabschätzung zu klären sind.

8.2. Automatisierte Entscheidungen

Der KI-Beauftragte sollte die besondere Relevanz automatisierter Entscheidungen nach Art. 22 DSGVO kennen und erkennen können, wann eine KI-Anwendung Entscheidungen über Personen vorbereitet, maßgeblich beeinflusst oder automatisiert trifft. In diesen Fällen sind die Anforderungen der DSGVO und der KI-Verordnung jeweils eigenständig zu prüfen und aufeinander abzustimmen.

8.3. Technische und organisatorische Sicherheit

Grundprinzipien von Vertraulichkeit, Integrität, Verfügbarkeit und Belastbarkeit sowie die Bedeutung angemessener TOMs (Technische und Organisatorische Maßnahmen) versteht und weiß, wann Informationssicherheit/Datenschutz hinzuzuziehen sind.

8.4. Bedeutung von Daten

Ein KI-Beauftragter benötigt ein Grundverständnis dafür, welche Bedeutung Trainings-, Eingabe-, Referenz- und Ausgabedaten für die Funktionsweise und Qualität eines KI-Systems haben. Er sollte erkennen können, wann Daten eine wesentliche Ursache für Risiken oder fehlerhafte Ergebnisse sein können.

9. Weitere rechtliche Schnittstellen

9.1. Urheberrecht und Schutz vertraulicher Informationen

Insbesondere beim Einsatz generativer KI sollte der KI-Beauftragte typische Fragestellungen im Zusammenhang mit urheberrechtlich geschützten Inhalten, KI-generierten Outputs, Geschäftsgeheimnissen und sonstigen vertraulichen Informationen erkennen können.

9.2. Weitere Spezialmaterien

Je nach Anwendungsfall können insbesondere Arbeitsrecht, Mitbestimmung, Verbraucherschutz, Wettbewerbsrecht oder branchenspezifische Vorgaben relevant werden. Kernkompetenz des KI-Beauftragten ist es, solche Schnittstellen zu erkennen und erforderliche Expertise einzubeziehen.

10. Stellung, Skills und Kommunikation

10.1. Organisatorische Verankerung

Der KI-Beauftragte sollte einen angemessenen Zugang zur Leitungsebene haben.

10.2. Beratende und koordinierende Funktion

Der KI-Beauftragte ist grundsätzlich beratend, koordinierend und überwachend tätig. Er bündelt Informationen, organisiert Compliance-Prozesse und unterstützt Entscheidungen, ohne die Gesamtverantwortung der Unternehmensleitung zu übernehmen.

10.3. Abgrenzung zu anderen Funktionen

Beim internen KI-Beauftragten ist die Rolle insbesondere vom Datenschutzbeauftragten sowie von Recht, Compliance und Informationssicherheit abzugrenzen. Gleichzeitig ist eine enge Zusammenarbeit mit diesen Funktionen erforderlich.

10.4. Kernkompetenz der Funktion

Die zentrale Kompetenz des KI-Beauftragten besteht darin, relevante Sachverhalte zu erkennen, regulatorisch und organisatorisch einzuordnen, erforderliche Maßnahmen zu koordinieren, Entscheidungen nachvollziehbar zu dokumentieren und Risiken bei Bedarf zu eskalieren.

10.5. Kommunikationsfähigkeit

Ein KI-Beauftragter muss komplexe technische und regulatorische Themen verständlich erklären können. Er übernimmt eine Übersetzungsfunktion zwischen Management, Fachbereichen, Technik, Datenschutz, Informationssicherheit und Recht.

10.6. Erkennen der eigenen Fachgrenzen

Ein KI-Beauftragter muss nicht zugleich Jurist, Datenschutzbeauftragter, Data Scientist und IT-Sicherheitsexperte sein. Er muss jedoch über ausreichendes Schnittstellenwissen verfügen, um zu erkennen, wann eine vertiefte fachliche Prüfung erforderlich ist.

10.7. Regelmäßige Berichterstattung

Der KI-Beauftragte sollte der Leitung regelmäßig über eingesetzte KI-Systeme, wesentliche Risiken, offene Maßnahmen, Vorfälle, Schulungsstand und geplante Schritte berichten.

10.8. Fortlaufende Aktualisierung

Ein KI-Beauftragter muss seine Fachkunde fortlaufend aktualisieren. Dies betrifft insbesondere technische Entwicklungen, neue KI-Anwendungen, Änderungen des regulatorischen Rahmens sowie neue Risiken und anerkannte Governance-Standards.

KONTAKT

Leopoldstraße 31 
80802 München

team@bundesverband.ai

META

Impressum
Datenschutzerklärung
Satzung und Beitragsordnung
Mitgliedschaft