{"id":16,"date":"2026-06-22T13:47:26","date_gmt":"2026-06-22T11:47:26","guid":{"rendered":"https:\/\/zeryon-systems.com\/blog\/?p=16"},"modified":"2026-06-22T13:47:27","modified_gmt":"2026-06-22T11:47:27","slug":"nicht-die-ki-versagt-es-fehlt-die-nachweisbarkeit","status":"publish","type":"post","link":"https:\/\/zeryon-systems.com\/blog\/2026\/06\/22\/nicht-die-ki-versagt-es-fehlt-die-nachweisbarkeit\/","title":{"rendered":"Nicht die KI versagt \u2014 es fehlt die Nachweisbarkeit"},"content":{"rendered":"\n

Nicht die KI versagt \u2014 es fehlt die Nachweisbarkeit<\/h1>\n\n\n\n

Die spektakul\u00e4ren KI-Pannen stehen nicht nur im Silicon Valley. Im DACH-Raum und in Europa gibt es eigene \u2014 und hier ist der Ma\u00dfstab nicht der verlorene B\u00f6rsenwert, sondern Recht: DSGVO und EU AI Act. F\u00fcnf dokumentierte F\u00e4lle und das Muster dahinter.<\/strong><\/p>\n\n\n\n

\"Nicht<\/figure>\n\n\n\n

Es gibt ein wiederkehrendes Muster in den teuersten KI-Projekten. Es ist nicht \u201edie KI ist noch nicht so weit“, und es ist auch kein b\u00f6ser Wille. Das Muster ist subtiler \u2014 und folgenreicher: Systeme gehen in Betrieb, die niemand pr\u00fcfen, nachvollziehen oder im Ernstfall verteidigen kann. Hype kommt vor Evidenz. Aktivit\u00e4t kommt vor Belegbarkeit.<\/p>\n\n\n\n

Im deutschsprachigen Raum kommt eine Besonderheit hinzu: Hier entscheidet am Ende oft nicht der Markt, sondern ein Gericht oder eine Aufsichtsbeh\u00f6rde. Genau das macht die folgenden F\u00e4lle f\u00fcr jedes Unternehmen relevant, das KI einsetzt.<\/p>\n\n\n\n

Wenn ein System Menschen automatisch sortiert<\/h2>\n\n\n\n

\u00d6sterreich \u2014 der AMS-Algorithmus.<\/strong> Ab Ende 2019 stufte das \u201eArbeitsmarktchancen-Assistenz-System“ (AMAS) Arbeitssuchende nach ihren Vermittlungschancen ein. Das Problem steckte im Modell: Frauen bekamen Punktabzug, M\u00fctter noch einmal mehr; Menschen mit Behinderung und mit Migrationshintergrund wurden strukturell schlechter bewertet \u2014 und damit potenziell von F\u00f6rderungen ausgeschlossen. Im August 2020 stoppte die \u00f6sterreichische Datenschutzbeh\u00f6rde<\/strong> das System: keine ausreichende Rechtsgrundlage, keine echte Einspruchsm\u00f6glichkeit f\u00fcr Betroffene. Es folgten Jahre juristischen Tauziehens. Ein KI-System, das Menschen kategorisiert, ohne dass jemand die Einstufung erkl\u00e4ren oder anfechten kann \u2014 das h\u00e4lt rechtlich nicht.<\/p>\n\n\n\n

Deutschland \u2014 die Dialekterkennung des BAMF.<\/strong> Das Bundesamt f\u00fcr Migration und Fl\u00fcchtlinge setzt seit Jahren eine Software ein, die aus der Aussprache von Asylsuchenden auf deren Herkunft schlie\u00dfen soll. Fachleute kritisieren sie seit Langem: eine Fehlerquote um die 20 Prozent<\/strong>, ein intransparenter Algorithmus, keine ernsthafte wissenschaftliche Begleitung \u2014 und das bei mittlerweile Zehntausenden Betroffenen, f\u00fcr die solche \u201eHinweise“ \u00fcber den Ausgang ihres Verfahrens mitentscheiden. Sprache h\u00e4lt sich nicht an L\u00e4ndergrenzen; ein Modell, das so tut, produziert Fehler mit gravierenden Folgen.<\/p>\n\n\n\n

Zur Einordnung, ein St\u00fcck weiter westlich:<\/strong> In den Niederlanden stufte ein Algorithmus der Steuerbeh\u00f6rde Familien mit doppelter Staatsb\u00fcrgerschaft und niedrigem Einkommen pauschal als Betrugsrisiko ein. Zehntausende Familien<\/strong> mussten \u00fcber Jahre zu Unrecht Kindergeld zur\u00fcckzahlen, viele verloren Job oder Wohnung. Die Aff\u00e4re brachte 2021 die gesamte Regierung Rutte zu Fall<\/strong>. Kein technischer Defekt \u2014 ein Modell, das niemand auf Diskriminierung gepr\u00fcft und niemand verantwortet hatte.<\/p>\n\n\n\n

Wenn Unternehmen sich auf undurchschaubare Scores verlassen<\/h2>\n\n\n\n

Das ist nicht nur ein Thema des Staates. Das SCHUFA-Urteil des EuGH<\/strong> (7. Dezember 2023, Rechtssache C-634\/21) hat f\u00fcr die Privatwirtschaft einen Pflock eingeschlagen: Wenn ein automatisch erstellter Score ma\u00dfgeblich<\/em> dar\u00fcber entscheidet, ob jemand einen Vertrag, einen Kredit oder eine Wohnung bekommt, dann gilt schon die Erstellung dieses Scores als \u201eautomatisierte Entscheidung“ nach Art. 22 DSGVO<\/strong> \u2014 und ist ohne besondere Rechtsgrundlage grunds\u00e4tzlich unzul\u00e4ssig. Die Tragweite: Diese Auslegung trifft potenziell jede KI, die Bewertungen erzeugt, auf deren Basis Dritte entscheiden \u2014 von der Bonit\u00e4t bis zur Vorsortierung von Bewerbungen. Wer einen Score nicht erkl\u00e4ren kann, hat ein rechtliches Problem, kein technisches.<\/p>\n\n\n\n

Wie wenig solche Bewertungen oft taugen, zeigte ein Test des Bayerischen Rundfunks<\/strong> an der KI-Bewerbungsanalyse des Anbieters Retorio<\/strong>. Die Software leitet aus Bewerbungsvideos Pers\u00f6nlichkeitsprofile (Big Five) ab. Die Datenjournalisten lie\u00dfen dieselbe Schauspielerin denselben Text vortragen \u2014 einmal mit Brille, einmal mit Kopftuch, einmal mit B\u00fccherregal im Hintergrund. Das Ergebnis: Die KI \u00e4nderte ihre Pers\u00f6nlichkeitsbewertung allein aufgrund dieser visuellen Merkmale<\/strong>, nicht aufgrund des tats\u00e4chlichen Verhaltens. Eine \u201eEignungsdiagnostik“, die auf eine Brille reagiert, ist keine Diagnostik. Sie ist ein Risiko \u2014 fachlich und rechtlich.<\/p>\n\n\n\n

In Europa ist Nachvollziehbarkeit kein Nice-to-have<\/h2>\n\n\n\n

Genau hier liegt der Unterschied zum US-Markt: In der EU ist Erkl\u00e4rbarkeit gesetzlich verankert<\/strong>. Art. 22 DSGVO gibt Betroffenen ein Recht auf menschliches Eingreifen und auf eine nachvollziehbare Begr\u00fcndung. Der EU AI Act<\/strong> verlangt f\u00fcr Hochrisiko-Systeme Risikomanagement, Datenqualit\u00e4t, Protokollierung und menschliche Aufsicht. Und selbst die Schweiz<\/strong>, lange ohne eigenes Regelwerk, hat mit dem Bundesratsentscheid vom 12. Februar 2025<\/strong> den Weg zur KI-Regulierung eingeschlagen \u2014 auch, weil das geltende Antidiskriminierungsrecht algorithmische Diskriminierung durch private Unternehmen kaum erfasst.<\/p>\n\n\n\n

F\u00fcr Unternehmen hei\u00dft das: Eine KI-Entscheidung, die man nicht erkl\u00e4ren und belegen kann, ist im DACH-Raum nicht nur ein Reputationsrisiko \u2014 sie ist potenziell schlicht unzul\u00e4ssig.<\/p>\n\n\n\n

Das gemeinsame Muster<\/h2>\n\n\n\n

Legen Sie diese F\u00e4lle nebeneinander, und Sie sehen nicht \u201eschlechte KI“. Sie sehen denselben blinden Fleck:<\/p>\n\n\n\n