Gedanken

Auditierbare KI: Vertrauen entsteht durch Nachvollziehbarkeit

EU AI Act, BSI, Datengrenzen: Wie auditierbare KI-Prozesse echtes Vertrauen schaffen – und warum Transparenz kein Bonus ist.

Wer heute KI-gestützte Prozesse in der Kundenarbeit einsetzt, muss früher oder später eine unbequeme Frage beantworten: Kann ich zeigen, wie eine Entscheidung zustande gekommen ist? Nicht gegenüber einem Auditor, der in drei Jahren aufschlägt. Sondern jetzt — gegenüber dem Kunden, der ein Ergebnis hinterfragt, dem internen Rechtsbereich, der ein Freigabedokument sehen will, oder dem Einkauf eines Konzerns, der Lieferketten-Compliance prüft. Das Thema Vertrauen in KI-Systeme hat sich von einer abstrakten Zukunftsdiskussion in eine operative Gegenwartsfrage verwandelt. Und die Antwort, die viele geben — „Wir haben alles gut gemeint" — reicht nicht mehr.

Was der EU AI Act tatsächlich verlangt

Der EU AI Act ist seit August 2024 in Kraft. Die Übergangszeiträume laufen gestaffelt aus, und viele Unternehmen befassen sich erst jetzt ernsthaft damit, was das konkret für ihre Prozesse bedeutet. Die entscheidende Weichenstellung im Gesetz ist die Risikoeinstufung: Nicht jede KI-Anwendung fällt unter dieselben Pflichten. Aber die Grenze zwischen „minimal risk" und „high risk" ist weniger eindeutig, als manche Rechtsabteilungen zunächst hoffen.

Für Agenturen und Marketingorganisationen, die KI in der Content-Produktion, im Personalmarketing, in der Zielgruppenanalyse oder in der automatisierten Kommunikation einsetzen, gilt: Sobald Systeme Entscheidungen über Personen treffen oder beeinflussen — Bewerbende, Versicherungsnehmer, Kreditkunden —, liegt high-risk-Territorium näher, als der erste Blick vermuten lässt. Das EU AI Act in der Praxis beschreibt die wesentlichen Handlungsfelder ausführlicher.

Transparenzpflichten, Dokumentation der Trainingsdaten, Logging von Entscheidungsschritten, menschliche Aufsicht bei Hochrisikoanwendungen: Das sind keine abstrakten Compliance-Anforderungen, sondern Designprinzipien, die Einfluss auf die Workflow-Architektur haben. Wer KI-Prozesse nachträglich „compliant" machen will, zahlt deutlich mehr — an Zeit, an Aufwand, an Vertrauen.

BSI-Empfehlungen als Orientierungsrahmen

Neben dem gesetzlichen Rahmen bietet das Bundesamt für Sicherheit in der Informationstechnik (BSI) mit seinen KI-Grundschutz-Profilen einen praktischen Orientierungsrahmen, der in der Beratungspraxis häufig unterschätzt wird. Die BSI-Empfehlungen adressieren konkret: sichere Datenverarbeitung, Robustheit von Modellen, Umgang mit adversarialen Eingaben, Protokollierungspflichten.

Das ist kein akademisches Dokument. Es ist ein Werkzeugkasten für IT-Sicherheitsverantwortliche und Betriebsleiter, der genau beschreibt, welche technischen und organisatorischen Maßnahmen erwartet werden, wenn KI-Systeme in Produktivumgebungen eingesetzt werden. Für Organisationen, die in regulierten Branchen arbeiten — oder für solche, die Kunden in regulierten Branchen bedienen — ist die Orientierung an BSI-Standards kein Komfort, sondern eine Marktzugangsbedingung.

Datengrenzen: Was darf wohin fließen

Eine der am häufigsten unterschätzten Dimensionen in der täglichen KI-Arbeit ist der Datenfluss. Welche Kundendaten dürfen in welches Modell? Welche Verarbeitungsprozesse finden auf europäischen Servern statt? Was passiert, wenn ein Prompt sensible Informationen enthält — und dieser Prompt an einen US-amerikanischen Cloud-Dienst gesendet wird?

Die DSGVO hat diese Fragen nicht erfunden, aber KI-Infrastruktur hat sie komplexer gemacht. Ein Textmodell, das auf eigenen Servern läuft, stellt andere Anforderungen als ein API-Aufruf an ein externes Large Language Model. Wer mit Mandanten aus dem Gesundheitswesen, dem Finanzbereich oder der öffentlichen Verwaltung arbeitet, wird diese Grenzziehungen nicht dem Bauchgefühl überlassen können.

Praktisch bedeutet das: Daten-Klassifizierungssysteme sind keine IT-Pflichtübung, sondern operative Infrastruktur. Welche Inhalte sind intern zu verarbeiten? Welche können extern prozessiert werden, sofern Auftragsverarbeitungsverträge vorliegen? Welche dürfen grundsätzlich nicht in generative Systeme eingegeben werden? Diese Fragen müssen beantwortet und schriftlich fixiert sein — bevor der erste Auftrag angenommen wird, nicht danach.

Auditierbarkeit als Designprinzip

Vertrauen entsteht nicht durch Beteuerungen, sondern durch Nachvollziehbarkeit. Das klingt banal, hat aber weitreichende Konsequenzen für die Art, wie KI-gestützte Prozesse gebaut werden.

Ein auditierbarer Prozess hat klar definierte Eingaben, dokumentierte Verarbeitungsschritte und nachvollziehbare Entscheidungspunkte. Menschliche Eingriffe — Freigaben, Korrekturen, Verwerfungen — sind protokolliert. Das Ergebnis kann nicht nur geliefert, sondern erklärt werden. Wer dieses Prinzip ernst nimmt, merkt schnell, dass viele der in der Praxis eingesetzten KI-Workflows dieser Anforderung nicht standhalten: Sie sind schnell gebaut, nicht für Erklärbarkeit optimiert, und der menschliche Beitrag ist implizit statt explizit.

Qualitätsgates in KI-Workflows beschreibt, an welchen Punkten menschliches Urteil strukturell eingebunden sein muss — nicht als nachträgliche Kontrolle, sondern als systematischer Bestandteil der Delivery. Das Konzept des Human in the Loop geht einen Schritt weiter und fragt, wer konkret Verantwortung trägt: nicht als abstrakte Haftungsfrage, sondern als operative Rollenbeschreibung.

Wer Auditierbarkeit als Designprinzip versteht, baut Workflows anders. Er definiert Checkpoints nicht am Ende, sondern in der Mitte. Er dokumentiert nicht für den Auditor, sondern für die eigene Qualitätssicherung. Und er stellt sicher, dass Freigaben nicht zwischen zwei Slack-Nachrichten stattfinden, sondern in einem System, das diese Freigabe auch festhält.

Transparenz gegenüber Kunden: Inhalt vor Mechanismus

Ein letzter Aspekt, der in der Governance-Diskussion oft zu kurz kommt: Transparenz gegenüber Kunden bedeutet nicht, jeden Prompt zu offenbaren. Es bedeutet, ehrlich zu sein über das, was KI-Systeme leisten — und was sie nicht leisten.

Kunden, die nicht wissen, dass KI an ihrer Kampagne beteiligt war, sind keine unwissend Beschenkten. Sie sind schlecht informierte Entscheidungsträger. Wer in Pitches und Briefings verschleiert, dass Produktionsprozesse KI-gestützt sind, spart sich kurzfristig eine unbequeme Konversation. Mittelfristig zahlt er mit Vertrauensverlust, wenn die Wahrheit herauskommt — und sie kommt heraus.

Die OECD beschreibt in ihren KI-Prinzipien Transparenz und Erklärbarkeit als zentrale Voraussetzungen für verantwortungsvolle KI. Das ist kein Idealismus. Es ist eine Beschreibung der Markterwartung, die in regulierten Umfeldern bereits heute durchgesetzt wird und in den nächsten Jahren branchenweit Standard wird.

Wer Transparenz jetzt als Qualitätsmerkmal positioniert — nicht als Einschränkung, sondern als Ausdruck professioneller Reife —, besetzt einen Differenzierungsraum, der in gesättigten Märkten selten bleibt. KI-Compliance als Wettbewerbsvorteil beschreibt diesen Zusammenhang aus strategischer Perspektive. Die operative Konsequenz ist dieselbe: Governance ist kein Bremsklotz. Sie ist das Fundament, auf dem belastbare Kundenbeziehungen gebaut werden.

Ich freue mich auf den Austausch.

Über digitale Transformation, Führung, KI in der Praxis oder die Zukunft der Kommunikation. Schreiben Sie mir oder vernetzen Sie sich mit mir auf LinkedIn.

E-Mail: ben@kuenkler.de