Przykładem niech będzie program w amerykańskim wymiarze sprawiedliwości. Na podstawie ankiety wypełnianej przez aresztowanych określa prawdopodobieństwo recydywy. Wynik analizy trafia do sądu, który kierując się nim, decyduje o przedłużeniu aresztu. Okazało się, że algorytm gorzej traktował czarnych, nawet jeśli popełnili takie same przestępstwa, a wcześniej nie byli karani. Znaczenie miała bowiem karalność członków rodziny czy mieszkanie w gorszej dzielnicy.
Z kolei system rekrutacyjny brytyjskiej uczelni medycznej dyskryminował kobiety oraz kandydatów z Indii i Pakistanu. Opierał się bowiem na danych historycznych, przypisujących im mniejsze predyspozycje do zawodu.
Znaczenie logarytmów rośnie. Decydują o udzieleniu pomocy bezrobotnym czy kredytu w banku. Często kryteria ich działania nie są jasne, a możliwości odwołania od wyniku ograniczone. Nawet jeśli komputer nie podejmuje ostatecznej decyzji, to jego wskazania są traktowane jako obiektywne i wiarygodne, mocno wpływając na stosunek prawdziwych decydentów do sprawy czy osoby.
W USA trwa już dyskusja o objęciu algorytmów kontrolą państwową na podobnej zasadzie jak np. nadzór budowlany. Miałaby ona wydawać licencje na algorytmy, monitorować. Stworzenie specjalnego urzędu zaproponował także niedawno minister sprawiedliwości Niemiec. Z kolei nowe unijne rozporządzenie o ochronie danych osobowych (RODO) ogranicza profilowanie automatyczne, czyli opieranie decyzji tylko na wskazaniach komputera.
– RODO skupia się jednak na rezultacie, a nie samej prawidłowości działania algorytmów – mówi Paweł Litwiński z Instytutu Allerhanda. – To poszkodowany musi wykazać, że niekorzystną dla niego decyzję podjęto tylko na podstawie automatycznego przetwarzania danych – dodaje.
