Understanding our own flaws and weaknesses – as well as those of the machine – is the key to remaining in control.
Dieses Buch sammelt den aktuellen Stand der algorithmischen Technik und Forschung. An unzähligen Beispielen aus verschiedenen Bereichen erklärt die Autorin, wie Algorithmen funktionieren, wo sie gute Resultate liefern können, woran sie in der Vergangenheit gescheitert sind und woran sie in der Zukunft vermutlich auch noch scheitern werden. Eines der wichtigsten Themen ist jedoch das Verhältnis zwischen Mensch und Computer. Die Ergebnisse, die uns ein Computer (und der dahinterstehende Algorithmus) liefert, werden von Menschen kaum hinterfragt. Zitiert werden dazu etwa Forschungsergebnisse, die zeigen, wie durch gezielte Anordnung von Suchmaschinenergebnissen Wahlentscheidungen beeinflusst werden konnten.
It’s just this bias we all have for computerized results – we don’t question them.
Die erste Supermarkt-Kundenkarte hat Tesco erfunden. Damals wurde nicht gesammelt, WAS die Kunden einkaufen, sondern nur wann sie einkaufen und wieviel Geld sie dabei ausgeben. Allein daraus konnte Tesco schon so viele Schlüsse ziehen, dass sie mit gezielter Werbung ihre Kunden dazu verleiten konnten, noch mehr Geld auszugeben. Kein Wunder, dass heutzutage keine Einzelhandelskette mehr ohne Kundenkarte auskommen will.
Look carefully enough at someone’s shopping habits and they’ll often reveal all kinds of detail about who they are as a person.
Auch das Surfverhalten von Personen wird von unzähligen Trackern überwacht und aufgezeichnet (um dem entgegenzuwirken empfehlen sich Ad- und Tracking-Blocker wie zum Beispiel Ghostery). Die Autorin erklärt an einem sehr anschaulichen Beispiel, dass Surfverhalten und Browser Histories sehr einfach de-anonymisiert werden können. Es reicht eine einzige Webseite mit einem Login in einer Browser History, um die gesamte History einer Person zuordnen zu können.
That was the deal that we made. Free technology in return for our data and the ability to use it to influence and profit from you.
Ausführlich erklärt wird auch eine Studie, in der Forscher*innen aus einer Kombination von (freiwilligen) Persönlichkeitstests auf Facebook und der Auswertung von Likes ein Modell entwickelt haben, indem sie aus den Facebook-Likes auf die Persönlichkeit einer Person schließen können. Eine ausreichend große initiale Menge von Personen (Stichprobe), die ihre Daten freiwillig hergeben, genügt, um daraus Regeln abzuleiten und Schlüsse auf andere Personen, die ihre Daten nicht in dieser Form freigegeben haben, ziehen zu können.
The entire history and practice of modern medicine is built on the finding of patterns in data.
Im medizinischen Bereich werden Algorithmen schon seit Längerem genutzt, um etwa Zellbiopsien auf krankhafte Veränderungen zu untersuchen. Die Debatte um selbstfahrende Autos und wie diese entscheiden (sollen), wenn es darum geht, welche Menschenleben gerettet werden sollen, wurde in den Medien vergleichsweise ausführlich geführt. Und auch im Bereich der Verbrechensprävention werden Algorithmen eingesetzt. Die ursprüngliche Idee bestand darin, Verbrechen auf Karten zu vermerken und dadurch Orte zu finden, an denen sich Verbrechen häufen. Dort können dann durch stärkere Polizeipräsenz entweder Verbrechen verhindert werden oder durch schnelle Reaktion die Täter gefasst werden. Im Podcast Reply All wurde darüber auch in einer Doppelfolge berichtet.
How good is good enough? Once you’ve built a flawed algorithm that can calculate something, should you let it?
Bei all diesen Anwendungsbereichen stellt sich jedoch die Frage: wie gut kann und muss ein Algorithmus sein, um bessere Entscheidungen zu treffen, als Menschen sie treffen würden? Wieviel Fehler ist akzeptabel? Was sind die Konsequenzen? Wie viele unnötige Mastektomien werden gemacht, weil ein Algorithmus Krebszellen diagnostiziert hat, die eigentlich gesund waren? Welche Folgen ergeben sich daraus, dass Menschen sich auf den Autopilot ihres Fahrzeugs verlassen? Wie viele unschuldige Leben sind es wert, dass mehr Schuldige gefasst werden?
What about innocent until proven guilty?
Alle diese Fragen werden aktuell zu wenig bedacht, es wird geforscht und umgesetzt, was technisch möglich ist und womit sich Geld verdienen lässt. Die Entscheidung, welche Daten wir preisgeben, kann nicht allein den Konsumenten überlassen werden. So lange Algorithmen als Betriebsgeheimnis gelten und nicht nachvollzogen werden kann, wie Algorithmen tatsächlich Daten verarbeiten und Entscheidungen treffen, ist eine informierte Entscheidung von Einzelpersonen gar nicht möglich. Wir brauchen gesetzliche Regulierungen und Kontrollmechanismen, die den Missbrauch von Daten verhindern (und damit meine ich nicht etwas so Lästiges und Ineffektives wie Cookie-Warnungen). Vor allem aber brauchen wir das Bewusstsein, dass Computer und Algorithmen nicht allmächtig sind, dass sie fehlerhaft sind und dass ihre Entscheidungen daher auch fehlerhaft sein können.
But how do you decide on that trade-off between privacy and protection, fairness and safety? […] Is that a price we’re willing to pay to reduce crime?