Warum wir eine staatliche Überprüfung und Qualitätssicherung von Algorithmen brauchen

Künstliche Intelligenz – für manche der Inbegriff des Fortschritts, für andere dystopischer Albtraum. Doch wer dabei hauptsächlich an menschenähnliche Roboter denkt, sollte sich bewusst machen, dass „Künstliche Intelligenz“ viel mehr ist als das, und schon heute in unsere intimsten Lebensbereiche vorgedrungen ist. Immer mehr Entscheidungen werden auf Basis von Algorithmen und Modellen getroffen, anstatt von Menschen. Schufa-Score, Bewerbungsfilter und Risikoschätzungen von Versicherungen sind nur einige Beispiele. Was haben diese Algorithmen gemeinsam? Sie treffen Entscheidungen, die für Individuen weitreichende Konsequenzen haben können, sie betreffen viele Menschen – und sie sind geheim.

Wenn Algorithmen Entscheidungen treffen

Das kann schwerwiegende Folgen haben, wie sich am Beispiel des Schufa-Scores leicht erkennen lässt. Immer wieder kommt es zu Fehlern, doch für Betroffene ist es unheimlich schwer, sich zur Wehr zu setzen. Wie ist ein Algorithmus entstanden, warum trifft er eine bestimmte Entscheidung, und wie kann ich Fehler berichtigen – all das ist kaum zu beantworten, wenn Algorithmen von Geschäftsgeheimnissen geschützt sind.

Die meisten Algorithmen werden heutzutage nicht mehr regelbasiert programmiert, sondern erlernen Regeln auf Basis von Daten selbst – das nennt man Machine Learning. Nicht immer ist später nachzuvollziehen, welche Daten dabei besonders stark berücksichtigt wurden oder wie eine Entscheidung zustande kam – auch nicht für die Programmierer*innen selbst. Bei einer Entscheidung auf Basis von fehlerhaften Daten ist das ein Problem. Noch schlimmer ist es, wenn Ungleichgewichte und Tendenzen in den Ausgangsdaten in den Algorithmus gelangen, und somit manche Menschen durch das Modell strukturell benachteiligt werden.

Umso wichtiger ist es, schon bei der Sammlung der Daten und bei der Erstellung der Modelle auf Vermeidung von Ungleichheiten zu achten. Der große Unterschied zwischen menschlicher und maschineller Voreingenommenheit liegt darin, dass eine von einer Maschine getroffene Entscheidung von uns Menschen als neutral und objektiv empfunden wird. Doch dabei wird allzu oft vergessen, woher die entsprechenden Daten stammen, wie sie gesammelt und verwertet wurden, und wie aussagekräftig die resultierenden Modelle wirklich sind.

Beispielsweise ist in Branchen, in denen auch heute noch ein unausgeglichenes Geschlechterverhältnis herrscht, wie beispielsweise in vielen Ingenieursberufen, auch die verfügbare Datenbasis nicht ausgeglichen. Wird ein Algorithmus mit diesen Daten ohne Anpassung trainiert, werden menschliche Vorurteile und Ungerechtigkeiten in den – vermeintlich neutralen – Algorithmus übernommen, und somit zementiert anstatt eliminiert. Der Algorithmus lernt „Männer passen besser in diesen Job als Frauen“. Es gibt Möglichkeiten, dies schon im Vorfeld auszugleichen oder im Nachhinein zu überprüfen. Doch wenn ein Algorithmus nicht öffentlich zugänglich ist, haben Bewerber*innen oder Verbraucherschützer*innen keine Möglichkeit, die Qualität der eingesetzten Modelle zu testen.

Hinzu kommt, dass die Ergebnisse der eingesetzten Machine Learning Modelle oft weniger treffsicher sind, als es zunächst scheint. Aussagen wie „Unsere KI findet den passenden Bewerber mit 90% Genauigkeit“ klingen zunächst beeindruckend. Doch sind 90% wirklich gut genug für einen Algorithmus, der wichtige Entscheidungen über die Zukunftschancen von Menschen trifft? 10% der Menschen werden so zu Unrecht von vorneherein aussortiert. Menschen mit ungewöhnlichen Lebensläufen, die aus der Masse hervorstechen und ein Unternehmen vielfältiger – und somit nach aktuellen Studien erfolgreicher – machen können, entsprechen nicht dem Durchschnitt, und werden von Algorithmen nicht als typische*r und ideale*r Mitarbeiter*in erkannt.

Steht immer ein Mensch dahinter?

Häufig wird als Gegenargument angeführt, dass über wirklich wichtige Entscheidungen letztendlich noch immer ein Mensch entscheidet. Doch welche Auswahl wird solchen Entscheider*innen vorgelegt? Wo Personaler*innen heute die Entscheidung treffen können, auch einen oder zwei unkonventionelle Kandidat*innen zum Gespräch zu laden, werden diese in Zukunft vielleicht schon in der ersten Runde aussortiert.

Für die Unternehmen kann das also einen Verlust von Diversität bedeuten – für betroffene Individuen kann es noch viel schlimmere Folgen haben. Auch heute kommt es vor, dass beispielsweise Menschen mit Migrationshintergrund bei Bewerbungen benachteiligt werden, auch strukturell. Doch was, wenn diese in Zukunft nicht nur schlechtere, sondern gar keine Chancen mehr haben, weil ein weit verbreiteter Algorithmus sie überall aussortiert? Die Folgen maschineller Voreingenommenheit sind noch gravierender als die gesellschaftlicher, denn eine Maschine kann sich nicht positiv überraschen lassen.

Und wenn man sich ansieht, wie Algorithmen in allen Lebensbereichen immer mehr Anwendung finden, ist ein Szenario, in dem nur noch Menschen, die in jeder Hinsicht Durchschnitt sind, einen Job, eine private Krankenversicherung, einen Kredit und eine Wohnung bekommen, gar nicht so weit entfernt. Alles natürlich „neutral“ und auf Basis von Daten entschieden.

Der weit verbreitete Einsatz von Algorithmen in allen Bereichen unseres Lebens wird kommen, und ist zum Teil sogar schon Realität. Doch das heißt nicht unbedingt, dass die Zukunft für alle, die nicht schon heute von der Gesellschaft bevorzugt werden, düster aussieht. Denn das Argument, dass Algorithmen frei von Vorurteilen sind, ist nicht komplett falsch, vorausgesetzt man achtet bei der Auswahl der Daten und der Programmierung der Software auf ethische Richtlinien.

Genau hier könnte eine Kontrolle von Algorithmen ansetzen. Eine staatliche Prüfstelle könnte – analog zu Sicherheitsprüfungen in anderen Bereichen, wie Lebensmittel oder Elektrogeräte – klare Anti-Diskriminierungs-Richtlinien, Maßnahmen und Tests konzipieren, und deren Einhaltung bei allen Algorithmen, die über Individuen entscheiden, überprüfen. Das berechtigte Interesse von Unternehmen, ihre Geschäftsgeheimnisse zu wahren, würde so gewahrt, während Verbraucher*innen auf die Fairness der eingesetzten Modelle vertrauen können. Dass eine solche Prüfstelle ein Eingriff in den Markt ist und einen großen Aufwand bedeuten würde, ist klar. Doch die Politik sollte vor einer solchen Maßnahme nicht zurückschrecken, wenn unsere Anti-Diskriminierungsgesetze auch in Zukunft noch Bedeutung haben sollen.