Algorytmy automatycznie przetwarzające dane i podejmujące decyzje, oparte na technologii sztucznej inteligencji (AI), stają się powoli rzeczywistością także w Polsce. Jednym z ostatnich zastosowań jest określanie zdolności kredytowej (scoring) w oparciu o dane z oficjalnych rejestrów lub historii rachunku bankowego (co stało się możliwe w wyniku wdrożenia dyrektywy PSD2). Warto zatem zwrócić uwagę, iż (oprócz innych wymagań prawnych) twórcy takich algorytmów powinni zwracać uwagę na ryzyko dyskryminacji w wyniku działania algorytmu.
Algorytm mnie nie lubi!
Jakkolwiek doświadczenia z działaniem systemów sztucznej inteligencji są na razie raczej ograniczone, to ujawnił się już jeden z problemów prawnych związanych z systemami automatycznie przetwarzającymi dane i podejmującymi decyzje – otóż, okazuje się, że rezultaty działania tych systemów mogą wskazywać na dyskryminację „zaszytą" w algorytmie. To zaś pociąga za sobą możliwość wystąpienia ważnych skutków prawnych, w szczególności roszczeń osób dyskryminowanych.
Czytaj także: Ostatnie słowo i tak będą mieli ludzie - prawnicy o sztucznej inteligencji w przedsiębiorstwach
Praktyka kilku ostatnich lat pokazuje szereg przypadków, gdy mechanizm działania AI dyskryminował niektóre osoby (np. z powodu ich rasy, pochodzenia, płci) – na przykład:
a) w lutym 2018 r. naukowiec z MIT ogłosił, że trzy z ostatnich systemów AI rozpoznających płeć na podstawie zdjęć miały 99-procentową skuteczność w rozpoznawaniu płci – ale tylko w odniesieniu do białych mężczyzn; w przypadku, na przykład, ciemnoskórych kobiet skuteczność spadała do 35 procent, gdyż prawdopodobne system AI był rozwijany głównie w oparciu o zdjęcia białych mężczyzn;
b) algorytm PredPol jest używany w kilku stanach USA do przewidywania, kiedy i gdzie może dojść do przestępstwa – w oparciu o dane statystyczne (chodziło o uniknięcie wysyłania częściej patroli policyjnych do regionów, gdzie faktycznie nie popełnia się najczęściej przestępstw, ale co do których panują uprzedzenia, że rzekomo w tych regionach musi być duża przestępczość, gdyż, na przykład, mieszka tam wiele osób czarnoskórych); jednakże symulacja w 2016 r., przeprowadzona przez NGO w oparciu o przestępstwa narkotykowe w Oakland wykazała, że algorytm nakazywał relatywnie najczęściej wysyłanie patroli policyjnych do regionów zamieszkanych przez mniejszości rasowe, podczas gdy przestępstwa takie częściej popełniano w innych regionach; prawdopodobnie algorytm nie był uczony w oparciu o statystyki faktycznie popełnionych przestępstw, ale w oparciu o raporty policyjne z patroli;
c) badania z 2015 r. wykazały, że system reklam Google częściej wyświetlał ogłoszenia o wysoko płatnych stanowiskach pracy, na które można aplikować, mężczyznom niż kobietom, a wyniki wyszukiwania grafik do zapytania „CEO" pokazywały prawie trzykrotnie mniej zdjęć kobiet, niż wynikałoby to z faktycznej proporcji kobiet wśród CEO w USA, co, zdaniem badaczy, może utwierdzać użytkowników internetu w uprzedzeniu, że kobiety nie nadają się do sprawowania kierowniczych ról;
d) w październiku 2017 r. izraelska policja aresztowała Palestyńczyka, który umieścił na Facebook swoje zdjęcie na tle buldożera z podpisem, który z kolei automatyczny system tłumaczenia używany przez Facebooka błędnie przetłumaczył na „zaatakujmy ich" (tymczasem oryginalny podpis w języku arabskim oznaczał „dzień dobry", ale był bardzo podobny właśnie do słowa „zaatakujmy ich") – wyglądało zatem na to, iż algorytm Facebooka, skonfrontowany z dwoma możliwymi wariantami tłumaczenia, doszedł do wniosku, iż w przypadku Palestyńczyka z buldożerem w tle jest bardziej prawdopodobne, że szykuje się on do ataku.
Te proste przykłady pokazują, jak dużym problemem może być kwestia mechanizmów dyskryminujących w przypadku systemów AI – taki sam problem może zaistnieć na przykład w przypadku systemów wspierających diagnozę pacjentów, oceniających preferencje żywieniowe lub polityczne.
Unikalna oferta
Tylko 5,90 zł/miesiąc
W naszym kraju za chwilę z pewnością rozpowszechnią się systemy analizujące dane i wspierające decyzje w odniesieniu do zdolności kredytowej osób ubiegających się o pożyczkę lub kredyt w banku (scoring). Wejście w życie przepisów implementujących dyrektywę PSD2 otworzyło bankowe bazy danych dla podmiotów trzecich. Wystarczy zgoda osoby ubiegającej się o pożyczkę, żeby potencjalny pożyczkobiorca sprawdził, jak kształtowały się obroty ewentualnego pożyczkobiorcy na kontach w innych bankach (czy, na przykład, nie było tam zajęć komorniczych) albo w biurach informacji kredytowej. Przetwarzanie tak dużych ilości danych z pewnością będzie bardziej wydajne w przypadku przetwarzania ich przez systemy AI. Należy się zatem spodziewać, że niebawem wiele firm z tego typu usług będzie korzystać – warto zatem, by były świadome zagrożeń, jakie tkwią w takim rozwiązaniu.
AI dyskryminuje – i co z tego?
Konsekwencje prawne uznania, iż algorytm został zbudowany lub funkcjonuje w oparciu o dyskryminujące rozwiązania, mogą być dwojakie:
a) osoby dotknięte decyzjami lub rozstrzygnięciami sądowymi, opartymi na efektach działania „dyskryminującego" systemu AI, mogą podważać takie decyzje lub rozstrzygnięcia;
Jakkolwiek w Polsce to dopiero pieśń odległej przyszłości, to warto zwrócić uwagę na sprawę Loomis v. Wisconsin, w której Eric Loomis, skazany na sześć lat więzienia, podważał wyrok skazujący, gdyż sąd w swoim uzasadnieniu oparł się na wynikach działania programu oceniającego ryzyko recydywy (system COMPAS), a które wskazywały w oparciu o historyczne dane statystyczne, iż osoby o takiej samej rasie, płci, pochodzeniu i dotychczasowym życiorysie często dopuszczają się recydywy. Skarżący twierdził, że sąd, między innymi, dopuścił się dyskryminacji w oparciu o płeć i rasę skazanego. Zaskarżenie tym razem okazało się nieskuteczne, ale problem prawny, jaki sygnalizuje ta właśnie sprawa, pozostaje nierozstrzygnięty. Należy się zatem liczyć, iż w przyszłości tego typu zarzuty będą się powtarzały i przynajmniej w niektórych przypadkach sądy mogą uznać, iż wadliwy algorytm skutkuje wadliwością decyzji lub rozstrzygnięcia sądowego opartego na rezultatach działania takiego wadliwego algorytmu.
b) osoby dotknięte „dyskryminującym" działaniem systemu AI mogą wysuwać roszczenia odszkodowawcze, w tym (w ramach polskiego systemu prawnego) oparte na zarzucie naruszenia dóbr osobistych bądź przepisów o zakazie dyskryminacji (np. w ramach prawa pracy).
Tego rodzaju roszczenia już pojawiają się w sądach Europy Zachodniej i USA, stąd należy się spodziewać, że w przyszłości usłyszymy o imponujących odszkodowaniach dla poszkodowanych. Przy czym warto pamiętać, że roszczenia takie to nie tylko problem firmy, która stworzyła „wadliwy" algorytm, ale także firmy posługującej się nim (np. banku zlecającego usługi scoringu). Polski system prawny (podobne jak większość systemów prawnych w Europie) przyjmuje w takim wypadku odpowiedzialność nie tylko bezpośredniego naruszyciela, ale także podmiotu, który był mu pomocny w naruszeniu lub świadomie z naruszenia skorzystał. Oczywiście dopiero praktyka orzecznicza pokaże, jak sądy rozwiążą problem, do kogo powinny być adresowane roszczenia związane z wadliwym działaniem algorytmu AI, ale w tym zakresie należy się liczyć z ryzykiem szeroko zakreślonego kręgu potencjalnie zobowiązanych do zapłaty odszkodowania.
Jak uczyć bez przesądów?
Sygnalizowane wyżej ryzyko prawne wymaga działań zapobiegawczych już na etapie projektowania i budowania algorytmu AI, jak również obserwacji, czy z biegiem czasu nie ujawniają się nowe, wcześniej ukryte, dyskryminujące rezultaty działania systemu. W rezultacie, zazwyczaj już na etapie projektowania algorytmu powinno się przeanalizować możliwe warianty i efekty działania algorytmu – także w zakresie najpoważniejszych kryteriów dyskryminujących.
Wskazane jest opracowanie kompleksowej strategii projektowania algorytmów w przypadku tworzenia powtarzających się algorytmów do obsługi takich samych lub podobnych procesów bądź różnych procesów w ramach tej samej branży. Z praktyki wiemy, iż wyzwania prawne i etyczne są często wspólne lub zbliżone nawet dla różnych procesów w tej samej branży – z tego powodu warto odwołać się również do branżowych standardów dla algorytmów AI, jakie zaczynają się pojawiać w Europie (np. Partnership on AI, IEEE).
Na zakończenie warto pamiętać, iż kwestia dyskryminacji jest tylko jednym z istotnych zagadnień prawnych, z jakimi muszą się liczyć podmioty tworzące lub posługujące się algorytmami opartymi na AI – innym bardzo istotnym zagadnieniem w tym wypadku jest zapewnienie zgodności z RODO, które jako pierwszy europejski akt prawny bezpośrednio i wyraźne adresuje kwestię automatycznego przetwarzania danych osobowych i podejmowania w oparciu o wyniki przetwarzania automatycznej decyzji.
Przemysław Wierzbicki, adwokat, co-founder Nowy Wymiar Prawa, uczestnik HUMAINT Winter School on AI 2019 „Human behaviour and Machine INTelligence" organizowanej przez Joint Research Center Komisji Europejskiej
