Weapons of Math Destruction: Cathy O’Neil führt in die kritische Forschung über Algorithmen ein

Cathy O’Neils Buch hat Lücken, ist aber ein guter, leicht verständlicher Einstieg in die kritische Forschung über Algorithmen. Sie regt dazu an, weiter darüber nachzudenken, wo und auf welchem Wege sich zutiefst konservative Theorien in unsere Gesellschaft einschreiben.

In den letzten Jahren wird zunehmend diskutiert, wie Algorithmen mehr und mehr zur Gestaltung des gesellschaftlichen Zusammenlebens verwendet werden. Diese Debatte wurde – nebst zahlreichen bekannt gewordenen Skandalen – durch die Mathematikerin Cathy O’Neil und ihr Buch »Weapons of Math Destruction« angestoßen. In diesem beschreibt sie, wie der Gebrauch von Algorithmen soziale Ungleichheit und Diskriminierung vorantreibt.

Durch ihr früheres Berufsleben als Analystin beim Hedgefonds D. E. Shaw und bei der Analysefirma RiskMetrics kann O’Neil – im Gegensatz zu anderen Autor*innen – zu diesem Thema als Insiderin schreiben und muss ihre Expertise nicht durch unnötigen Fachjargon beweisen.

Die autobiografischen Episoden gehören zu den interessantesten Stellen im Buch. Etwa wenn O’Neil beschreibt, wie Modelle zur Risikobewertung von Hypothekenpapieren eingesetzt wurden, um die Ausfallrisiken von Subprime-Krediten, die als der Auslöser der Finanzkrise in den USA gelten, zu verschleiern. Dabei wird klar, dass die Funktion von Algorithmen weniger darin besteht, akkurate Vorhersagen zu machen. Sie dienen vielmehr dazu, das zu erzeugen, was der Soziologe Niklas Luhmann »Legitimation durch Verfahren« nannte: Banken können sowohl den Kauf als auch den Verkauf von dubiosen Finanzpapieren nach einem Crash damit rechtfertigen, dass diese zuvor vom Algorithmus ein gutes Kreditrating bekommen haben.

O’Neil beschreibt zahlreiche Fälle in den USA, bei denen Algorithmen verwendet werden, sowie die Konsequenzen, die damit einhergehen. Diese reichen von Software zur Planung von Arbeitsschichten über die Vorhersage von Verbrechen bis zu Hochschulrankings und dem automatisierten Filtern von Bewerbungen in großen Firmen.

Die Macht von Algorithmen beruht dabei stark auf einer vermeintlichen Objektivität, die die feministische Wissenschaftstheoretikerin Donna Haraway treffend als »Gottestrick« bezeichnet hat: Nur wenige Expert*innen sind überhaupt dazu in der Lage, die durch Algorithmen getroffenen Urteile nachzuvollziehen, geschweige denn sie in Frage zu stellen. So werden ihre Urteile in weiten Teilen von Politik und Gesellschaft als objektiv hingenommen.

Bei vielen dieser Modelle ist die Größe, die optimiert oder vorhergesagt werden soll, nicht direkt messbar, weshalb sie mittels anderer Variablen indirekt geschätzt werden muss. In der Praxis ziehen viele Algorithmen deshalb Eigenschaften von Personen heran, die zwar lose mit der Zielgröße zusammenhängen, aber gleichzeitig auch mit vielen anderen Faktoren. Postleitzahlen werden etwa hinzugezogen, um allerlei Dinge vorherzusagen – von Kreditwürdigkeit bis hin zur Rückfallwahrscheinlichkeit von Verbrecher*innen. Da viele Städte in den USA stark nach sozioökonomischem Status und ethnischer Zugehörigkeit segregiert sind, sorgt dies jedoch dafür, dass arme und nicht weiße Personen auf Basis von algorithmischen Prognosen härter bestraft werden und schwieriger Zugang zu Waren oder Krediten erhalten.

Hinzu kommt das Problem der selbsterfüllenden Prophezeiungen: Aus der Kriminologie ist bekannt, dass, sobald die Polizei ihre Präsenz in einem Stadtviertel verstärkt, es allein dadurch schon zu mehr Anzeigen in diesem Viertel kommt. So entsteht schnell der Anschein, dass Verbrechensvorhersage-Software funktioniert, denn die Zahl der Verbrechen wird lediglich indirekt und vor allem durch die Anzahl erstatteter Anzeigen gemessen.

Die Beispiele aus O’Neils Buch zeigen, wie gefährlich es sein kann, wenn Menschen dem »Gottestrick« auf den Leim gehen und Ergebnisse und Design eines Algorithmus nicht hinterfragen, entweder weil sie ihn für objektiv halten oder weil sie sich dazu nicht im Stande fühlen. Gleichzeitig betont sie immer wieder, dass es sich bei Algorithmen immer um formalisierte Entscheidungsregeln handelt, die wie alle Entscheidungen einer Begründung bedürfen und hinterfragt werden können.

Aus Sicht von Leser*innen, die besonders an Ökonomie interessiert sind, hätte das Buch davon profitieren können, stärker auf die Verbreitung von Algorithmen in der Preisbildung einzugehen. Perfekte Preisdiskriminierung, also die Möglichkeit, jeder einzelnen Kundin den maximalen Preis in Rechnung zu stellen, den sie gerade noch bereit ist zu bezahlen, existierte in der VWL lange nur als theoretisches Konzept. Denn es schien bisher technisch unmöglich, die Zahlungsbereitschaft aller Kundinnen zu messen. Doch Computer machen eine solche dynamische Preissetzung immer einfacher und Unternehmen wie Uber und Google investieren seit Längerem Geld in die Erforschung solcher Systeme.

Noch stecken diese Versuche in den Kinderschuhen, aber Fälle wie Uber zeigen, was in Zukunft möglich sein könnte: Die App wurde zwischenzeitlich aus Apples App-Store entfernt, weil der Verdacht bestand, dass sie Kund*innen höhere Preise berechnete, wenn deren Handyakku fast leer war.

Trotz dieser Lücke ist O’Neils Buch ein guter, leicht verständlicher Einstieg in die kritische Algorithmenforschung. Sie regt dazu an, weiter darüber nachzudenken, wo und auf welchem Wege sich zutiefst konservative Theorien in unsere Gesellschaft einschreiben und zeigt die Gefahren auf, denen wir uns aussetzen, wenn wir diesen Prozess nicht kritisch verfolgen und in ihn intervenieren.

Cathy O’Neil: Weapons of Math Destruction. How Big Data Increases Inequality and Threatens Democracy. Crown, New York City 2016. 

Angriff der Algorithmen. Wie sie Wahlen manipulieren, Berufschancen zerstören und unsere Gesundheit gefährden. Hanser, München 2017.