fbTrack
REKLAMA
REKLAMA

Plus Minus

Katarzyna Szymielewicz: Poznajmy dane, na których trenują algorytmy

Nie mamy już czasu na pytania egzystencjalne. Jesteśmy zbyt zajęci tym, co kupić, jak na to zarobić. I to jest efekt, na który pracują cyfrowe tryby stymulujące nasze działania
Reporter
Mierzymy się z upadkiem niezależnych mediów, z uzależnieniem ludzi od informacyjnych bodźców, z zanikiem krytycznego myślenia i coraz lepiej kamuflowaną manipulacją, która zniekształca debatę publiczną w kluczowych dla demokracji momentach. Wobec tych zagrożeń musimy odejść od liberalnego założenia, że jednostka sama sobie poradzi - mówi Katarzyna Szymielewicz, prawniczka, szefowa fundacji Panoptykon.

Plus Minus: Będziemy mieli nieograniczony dostęp do wiedzy, a ludzie wreszcie będą równi, przestaniemy się spierać o bzdury, zniknie rasizm, szowinizm itd. Pamięta to pani?

Ten optymizm towarzyszył naszemu myśleniu o sieci we wczesnej fazie jej rozwoju – mniej więcej tak długo, jak długo to nie był projekt masowy ani tym bardziej komercyjny. Myślę o latach 90. i wczesnych dwutysięcznych, bo później globalne firmy internetowe już ugruntowały swoją pozycję, przekształcając to, co było internetem, w system kontrolowanych, pozamykanych ogrodów. Wygrał model biznesowy, w którym użytkownik płaci danymi za dostęp do podstawowych usług, a więc nieuchronnie z klienta zmienia się w cel – marketingu i manipulacji.

Stało się to, przed czym pani fundacja przestrzegała.

Na dziesięciolecie Panoptykonu zrobiłam rachunek sumienia i wróciłam do tego, co czytaliśmy i mówiliśmy w 2009 r. Już wtedy polemizowaliśmy z opowieścią o internecie jako „przestrzeni wolności i demokracji". Czerpaliśmy z takich autorów jak Evgeny Morozov i zarażaliśmy polskie kręgi intelektualne krytycznym podejściem do technologii, która w swojej skomercjalizowanej wersji wcale nie służy ludziom. To były czasy tzw. wojny z terroryzmem, narodziny współczesnej polityki strachu. Zrozumieliśmy, że będą w to grać nie tylko Amerykanie – że państwo polskie również prowadzi tajne więzienia i politykę stanu wyjątkowego, mimo że obiektywnie nie ma do tego powodów.

Widząc ten niebezpieczny zwrot, postanowiliśmy rzucić więcej światła na mechanizmy działania władzy, która do kontrolowania ludzi wykorzystuje silne narracje i negatywne społeczne emocje. W 2009 r. interesowała nas też działalność służb specjalnych – próbowaliśmy obywatelskimi metodami zajrzeć za tę zasłonę z napisem „tajne", zakwestionować praktyki, które wydawały nam się szczególnie niebezpieczne. Na przykład masowe zbieranie danych o niewinnych ludziach.

Internet dokonał tu prawdziwej rewolucji.

To prawda, fakty ujawnione przez Edwarda Snowdena pokazały, jak szczelny jest system nadzoru, któremu podlegamy w skali globalnej. Z jednej strony mamy przyjaźnie wyglądające firmy internetowe, które oferują ludziom pozornie darmowe usługi, a z drugiej – opresyjne państwo, które wykorzystuje politykę strachu, wyklucza wybrane kategorie ludzi spod ochrony prawnej, trzyma ich w więzieniach, które nie powinny istnieć, czy zabija za pomocą dronów, argumentując to wszystko ochroną społeczeństwa przed nieujawnionym wrogiem. Te dwie siły – na pozór tak odległe, o różnych twarzach – w rzeczywistości współpracują. Z gigantycznych komercyjnych baz korzysta opresyjne państwo, wykorzystując je do masowej inwigilacji. Być może to jest cena, jaką korporacje internetowe musiały zapłacić za możliwość funkcjonowania na taką skalę i w sprzyjających ramach prawnych.

Jakie to ramy?

Po obu stronach Atlantyku w stosunku do tzw. pośredników internetowych przyjęto zasadę zwolnienia z odpowiedzialności za treści, które wrzucają użytkownicy. Za tą zasadą stało – początkowo słuszne – założenie, że zwolnione z odpowiedzialności prawnej firmy nie będą specjalnie ingerować w to, co robią użytkownicy; że w ten sposób zapewnimy ludziom nieograniczoną przestrzeń do wymiany poglądów, dostęp do informacji i tych wszystkich wspaniałych funkcji, których nie gwarantowały tradycyjne media. Ten paradygmat jednak nie wytrzymał próby czasu – okazało się, że nawet nie ponosząc odpowiedzialności za treść, firmy internetowe chcą ingerować w to, co robią użytkownicy. Chcą we własnym interesie moderować treści, decydować o tym, co będzie popularne, a co zniknie, prowokować użytkowników do interakcji, uzależniać ich od swoich usług. Najbardziej namacalnym przejawem tej władzy jest algorytm, który decyduje o tym, co ostatecznie zobaczymy na ekranie. Zasady działania komercyjnych algorytmów w ogóle nie podlegają społecznej kontroli. Twórcy tych rozwiązań nie ukrywają, że chcą mieć władzę nad informacją i na tej władzy zarabiać.

My z tą władzą oswajamy się bardzo powoli.

Jako społeczeństwo zanurzone w sieci obudziliśmy się rzeczywiście dość późno. Przez pierwszą dekadę funkcjonowania globalnych firm internetowych widzieliśmy w nich neutralnych pośredników, wygodny podajnik treści, który jest nam bardzo potrzebny i w związku z tym nie powinien być objęty żadnymi prawnymi obowiązkami – nawet podstawowym obowiązkiem przejrzystości, jeśli chodzi o politykę moderowania treści.

Bo to miała być wolnościowa alternatywa dla starych mediów, które odgórnie narzucały treści, same wskazywały autorytety, ekspertów, kreowały narracje pasujące do własnej linii redakcyjnej. Tymczasem w internecie miała panować pełna wolność – lud wreszcie zyskał głos.

I rzeczywiście w świecie platform internetowych każdy może tworzyć treści. W świecie jednokierunkowych mediów mogliśmy co najwyżej wysłać list do redakcji, z małą szansą na publikację. Teraz wystarczy kliknąć, i już jest. Łatwe w obsłudze, przyjazne interfejsy spowodowały, że uwierzyliśmy w media społecznościowe. W to, że dadzą nam nieograniczony dostęp do informacji i pole do własnej ekspresji. Ale to złudzenie. W rzeczywistości przepływ informacji w tych mediach nadal jest kontrolowany, tylko nie przez lokalną redakcję, ale przez pozbawiony twarzy, algorytmiczny filtr, który działa w interesie globalnej korporacji. Ta korporacja często nie mówi naszym językiem, nie rozumie naszego kontekstu kulturowego i politycznego. Owszem, bardzo łatwo jest „wrzucić coś do sieci". Za to coraz trudniej jest dotrzeć z tym przekazem do adresata.

Czyli?

Nie mamy kontroli nad tym, kto i w jakim kontekście zobaczy treść, którą wrzuciliśmy do sieci. Może być tak, że nasz przekaz zostanie zablokowany jako niezgodny z polityką serwisu, z którego akurat korzystamy. W tej sytuacji przynajmniej dostaniemy informację zwrotną. Gorzej, jeśli algorytm uzna nasz komunikat za nieatrakcyjny, nieciekawy, nieangażujący. Wówczas schowa go gdzieś daleko w ogonie strumienia aktualności, a my nawet się o tym nie dowiemy. Równie trudno odtworzyć czynniki, które decydują o popularności innych komunikatów. Czy zadecydowało słowo kluczowe, które akurat było „na fali", reakcje innych ludzi, a może wiarygodność źródła? Dobrze opłacani specjaliści od marketingu nieustannie próbują rozpracować zasadę działania algorytmów Google'a czy Facebooka, ale nawet im się to nie udaje. To swoisty wyścig zbrojeń, w którym przeciętny użytkownik nie ma szans.

Z tego samego powodu nie mamy kontroli nad swoją informacyjną dietą. Owszem, nadal sami decydujemy, w co kliknąć i czemu dać wiarę. Ale przecież w poprzednim kroku jakiś algorytm ten strumień aktualności lub wyników wyszukiwania dla nas formatuje – odfiltrowuje „mniej istotne" informacje i sugeruje taki obraz świata, jaki „pasuje" do naszego profilu.

Czyli zrobiliśmy kółko: nie podobało nam się odgórne narzucanie treści w starych mediach, to w internecie mamy teraz w zasadzie to samo.

Myślę, że jednak coś ważnego straciliśmy i zaszliśmy w niebezpieczne miejsce. W świecie starych mediów obowiązywał jednak pluralizm i podstawowa przejrzystość. Oczywiście, podawały nam mniej informacji, ale czy w tym przypadku mniej na pewno znaczy gorzej? Jaką wartość mają terabajty danych, których nigdy nawet nie zobaczymy na swoim ekranie? Nasz mózg nie jest w stanie przyswoić większych dawek informacji, więc i tak jesteśmy skazani na jakiś filtr, na jakiegoś kuratora. Ktoś musi te treści dla nas selekcjonować. W świecie internetowych platform głównym kryterium selekcji jest zaangażowanie: pokazujmy użytkownikom takie treści, które z większym prawdopodobieństwem wywołają reakcję. Niekoniecznie wartościowe, niekoniecznie prawdziwe. Zwykle zgodne z ich wyrobionymi poglądami.

Z tym pluralizmem starych mediów też różnie bywało.

Nie mam na myśli pluralizmu w ramach jednej gazety, jednego medium. Redakcja zwykle trzyma pewną linię ale – na szczęście – zazwyczaj też tego nie ukrywa. Wystarczy przeczytać ze zrozumieniem słowo wstępne od naczelnego. Dzięki tej bazowej przejrzystości czytelnik może zdecydować, czy ufa tej redakcji i czy chce patrzeć na świat jej oczami. Może też sięgnąć po więcej niż jedno źródło, skonfrontować się z inną narracją. Na tym polegał pluralizm w świecie starych mediów. Ale jestem daleka od idealizowania tych instytucji, bo były zamknięte, odcięte od swoich czytelników, mało elastyczne. Dzięki internetowi pole do debaty publicznej na ich łamach znacznie się poszerzyło. Mamy możliwość komentowania i oceniania tekstów. Widzimy, co myślą inni czytający. Mogę sobie wyobrazić model, w którym redakcja odsiewa merytoryczne komentarze od tych nienawistnych i nic niewnoszących, a najciekawsze redaguje i publikuje jako równoprawną odpowiedź. To by był sposób na budowanie pluralizmu. Ale nic takiego nie ma prawa wydarzyć się w mediach, które ledwo dyszą i nie dostrzegają innych źródeł finansowania niż reklama.

Trudno przekonać ludzi, że warto płacić za dostęp do „Guardiana" czy „Rzeczpospolitej", gdy na Facebooku dostajemy informacje za darmo.

Nie dostajemy za darmo – płacimy za nie bardzo wysoką cenę. To największy przekręt komercyjnego internetu. Usłyszeliśmy tylko tyle, że nie będzie trzeba sięgać po portfel. Świetna wiadomość. Ale na czym w takim razie polega ta transakcja? Co takiego zyskują ci, którzy finansują mój „darmowy" internet, że tak chętnie to robią? Na czym polega moja strata? Tych mechanizmów nikt nam nie tłumaczył, nawet małą czcionką na dole strony. Domyślaliśmy się, że chodzi o lepsze dopasowanie reklamy. Skoro wczoraj szukałam butów w sieci, przez kolejny tydzień będą mi je pokazywać. Ta transakcja jeszcze nie wydawała się kontrowersyjna.

Szczególnie że w zamian dostawaliśmy świetne narzędzie komunikacji i rozrywki.

Odpowiednio spreparowanej rozrywki i ściśle kontrolowanej komunikacji. Przeciętny użytkownik nigdy nie doświadczał internetu, który istnieje poza komercyjnym filtrem. Zawsze dostawał już przesiane informacje. Długo mogło mu się jednak wydawać, że to usługa uszyta na miarę, za którą w dodatku nie musi płacić. Dopiero z czasem okazało się, że to wcale nie usługa, tylko narzędzie kontroli. Facebook, Google, Amazon – każda firma, która pośredniczy w naszych interakcjach z cyfrowym otoczeniem – jest w stanie bez przerwy nas obserwować. I dokładnie to robi, aby odtworzyć nasze pragnienia, potrzeby, słabości i schematy działania. To tak, jakbyśmy brali udział w ciągłym eksperymencie psychologicznym na gigantyczną skalę. Treści, które własnoręcznie wprowadzamy do systemu – to, co ujawniamy w postach, mailach, pytaniach zadawanych w wyszukiwarce – to tylko zalążek naszego cyfrowego profilu, jego pierwsza warstwa. Jeszcze ciekawsze wnioski pochodzą z obserwacji tego, jak się zachowujemy, co nas motywuje, jakim impulsom ulegamy, w jaki sposób korzystamy ze swojego urządzenia. Nagłe drżenie ręki może powiedzieć więcej niż dodany w wiadomości wykrzyknik. Ta wiedza jest najcenniejsza, bo przekłada się na możliwość wpływu.

Wpływu na co?

Na to, kim jesteśmy, jak działamy, co myślimy. To właśnie za ten wpływ prawdziwi klienci internetowych platform – najczęściej reklamodawcy – płacą realne pieniądze. Skuteczność technik wpływania na nasze zachowanie widać w liczbach – w rosnących od lat przychodach i cenach akcji, które na dłuższą metę nie spadają, mimo nakładanych na te firmy kar i kolejnych afer z ich udziałem. W lipcu tego roku Federalna Komisja Handlu USA skończyła dochodzenie w sprawie rozprzestrzeniania dezinformacji w amerykańskiej kampanii wyborczej przez Facebooka. Wymierzyła rekordową karę w wysokości 5 mld dol. Ten ruch musiał uspokoić inwestorów, bo tego samego dnia ceny akcji Facebooka poszły w górę. Dla prawdziwych klientów tej firmy wzburzenie regulatora to sygnał, że dobrze zainwestowali pieniądze. Że Facebook naprawdę potrafi wpływać na decyzje wyborców. W tym układzie my – użytkownicy – jesteśmy czymś na kształt cyfrowej biomasy. Zasobem, który jest obserwowany i rozgrywany.

Z systemu, w którym mieliśmy być obywatelami dyskutującymi o ważnych problemach, jak obiecywała nam liberalna demokracja, trafiliśmy do świata udawanej wolności, w której staliśmy się konsumpcyjną biomasą?

Niestety. Otacza nas miraż: wszystkie te kolorowe interfejsy i osobiste urządzenia, które obiecują wygodę i doświadczenie „szyte na miarę", które dają nam złudzenie wyboru. To szczelna fasada, za którą kryją się znane od wieków relacje władzy. Każda władza potrzebuje narracji, która upudruje jej mechanizmy. Mechanizm kontroli udający usługę albo przebrany w politykę bezpieczeństwa będzie o wiele skuteczniejszy niż przymus, przed którym instynktownie się bronimy. Człowiek, który wierzy w swoją wolność wyboru, to idealny konsument w świecie urządzanym przez prywatne korporacje. Dużo konsumuje, dużo pracuje, nie podaje w wątpliwość mechanizmów, które go napędzają...

...ani sensu swojego życia.

Tak, nie mamy już czasu na stawianie pytań egzystencjalnych. Jesteśmy zbyt zajęci tym, co kupić, jak na to zarobić, lub skąd wziąć pożyczkę na lepszych warunkach. I to jest właśnie ten efekt, na który pracują cyfrowe tryby kontrolujące i stymulujące nasze działania. To się nie dzieje w interesie jednej firmy, ale w interesie całego systemu nadzorczego kapitalizmu. W tym systemie nie mamy być świadomymi obywatelami, a jedynie aktywnymi konsumentami. Przy czym jeszcze możemy podejmować niezależne decyzje, jeszcze możemy odłożyć smartfon albo krytycznie spojrzeć na podpowiedzi w wyszukiwarce. Ale czy będziemy potrafili to zrobić, kiedy do gry wkroczy na przykład bezpośrednia obserwacja i stymulacja naszego mózgu? Być może za kilka lat modne staną się małe zabawki śledzące aktywność naszej kory mózgowej. Nie mam wątpliwości, że jeśli taka technologia się pojawi, będziemy sami je wpinać w kapelusz albo zakładać na wzór Google Glass (okularów rozszerzonej rzeczywistości – red.).

Po co?

Jako ludzie jesteśmy ciekawi nowego i chętnie wchodzimy we wszelkie eksperymenty, które obiecują ulepszenie, poszerzenie, przyspieszenie... Nawet jeśli ceną jest rezygnacja z autonomii, przekształcenie w coś na kształt zdalnie sterownego cyborga. Coraz mniej zależy od nas, usługi Google'a i cały trend wprowadzania cyfrowych asystentów zmierza do tego, byśmy już nie musieli wybierać. Żebyśmy po prostu zaufali, że system nakarmiony naszymi danymi i nauczony na milionach czy miliardach przypadków tego, jak działa człowiek, podejmie za nas najlepszą decyzję. W ten sposób oddamy ten ostatni bastion wyboru, jakim była możliwość kliknięcia w opcję X albo Y w wynikach wyszukiwania czy strumieniu aktualności. Rolą przewodnika-asystenta będzie wyprzedzać nasze pytania, sugerować odpowiedź, zanim zapytamy o drogę, zaczniemy szukać nowych butów czy zastanawiać się, do jakiej szkoły posłać dziecko. Dobrze wytrenowany algorytm będzie w stanie przewidzieć nasze potrzeby i od początku je kształtować.

I co teraz? Prof. Andrzej Zybertowicz, socjolog i doradca prezydenta Andrzeja Dudy, mówi wprost: nie uciekniemy z tego systemu sami, musi wkroczyć państwo, narzucić tu jakiś miękki autorytaryzm, jakieś nowe ramy, do których wszyscy będziemy musieli się dostosować, bo jak nie, to skończy się to futurystyczną dyktaturą niczym z powieści science fiction.

Zgadzam się, że sami z tego nie wyjdziemy. Wzmacnianie praw i budowanie świadomości każdego z nas z osobna to konieczność. Ale też błąd, jeśli miałaby to być jedyna taktyka. Na przykład dzięki rozporządzeniu o ochronie danych osobowych (RODO) mamy możliwość zweryfikować, co dana firma o nas wie. Możemy zażądać ujawnienia pełnego profilu zbudowanego z tysięcy cyfrowych śladów. Ale nadal nie możemy takiej firmie odebrać wiedzy, jaką zdobyła, obserwując przez lata nasze życie w sieci. Nawet jeśli po latach batalii prawnych udałoby mi się wymusić na Facebooku usunięcie wszelkich danych na mój temat, on dalej będzie obserwował miliony innych użytkowników. Dzięki zdobytej w ten sposób wiedzy będzie rozumiał również moje zachowanie i pośrednio wpływał na moje życie.

Czyli lepsza edukacja i szerzenie świadomości zagrożeń nie rozwiążą tego problemu.

Ale na pewno muszą być częścią całej układanki. Inny konieczny element – i tu się zgadzam z prof. Zybertowiczem – to przemyślana, polityczna interwencja podmiotu, który reprezentuje nasze zbiorowe interesy. Nie wiem tylko, czy na pewno państwa o charakterze narodowym...

...bo wy liberałowie z dystansem podchodzicie do tego państwa.

Łatka „liberałów" zupełnie do nas nie pasuje, bo w Panoptykonie wierzymy w to, że prawa i godność człowieka trzeba chronić nawet wtedy, jeśli on sam tego głośno się nie domaga. W sferze technologii jesteśmy na progu podobnego kryzysu, jakiego w ostry sposób doświadczamy w sferze ekologii. Tu też odkrywamy globalne zjawiska, które są bardzo szkodliwe społecznie. Mierzymy się z upadkiem niezależnych mediów, z uzależnieniem ludzi od informacyjnych bodźców, z zanikiem krytycznego myślenia i coraz lepiej kamuflowaną manipulacją, która zniekształca debatę publiczną w kluczowych dla demokracji momentach. To pochodne modelu biznesowego wylansowanego przez internetowe platformy. Wobec tych zagrożeń musimy odejść od liberalnego założenia, że jednostka – wyposażona w nowe narzędzia – sama sobie poradzi, i pójść w stronę systemowych rozwiązań. Takich, jakie kiedyś wprowadziliśmy po to, by chronić ludzi przed niezdrowym jedzeniem, niebezpiecznymi produktami czy zanieczyszczeniem.

Takie protekcjonalne cele realizować może wyłącznie władza polityczna, niezależnie od tego, czy to będzie państwo, czy jakaś międzynarodowa lub ponadpaństwowa instytucja, ale w Narody Zjednoczone to chyba nikt już nie wierzy...

Raczej myślę o duopolu Stanów Zjednoczonych i Unii Europejskiej. Myślę, że na Zachodzie jesteśmy w stanie sobie z tym wyzwaniem poradzić. Przynajmniej od pięciu lat w kręgach ludzi zajmujących się regulacją technologii dojrzewa inne spojrzenie na internetowe korporacje. Przestajemy je traktować jak neutralnych pośredników, dostrzegamy naturę ich władzy i społeczne konsekwencje testowania jej na ludziach przez ostatnie dwie dekady. Coraz bardziej „do pomyślenia" stają się strukturalne zmiany na rynku usług internetowych, na przykład wymuszenie interoperacyjności (współpracy na poziomie technicznym – red.) lub rozbicie firm, które kontrolują pewien rynek, a jednocześnie świadczą na nim własne usługi. Co więcej, mam wrażenie, że niektóre z dominujących firm internetowych same dojrzewają do takich zmian. Nawet Facebook.

Jego założyciel Mark Zuckerberg stwierdził niedawno, że sami nie są w stanie niczego zmienić, ale dodał, że zawsze można im pewne zmiany odgórnie nakazać.

Zuckerberg kokieteryjnie zaprasza regulatorów, żeby zdjęli z niego odpowiedzialność za „sprzątanie" największej sieci społecznościowej i wreszcie narzucili twarde reguły. Jeszcze kilka lat dostawaliśmy inną narrację: Facebook jako globalna społeczność, w której władzę sprawuje mądry i sprawiedliwy cesarz. To on miał ustalać, co jest dozwolone, wsłuchując się w kakofonię głosów swoich poddanych. Ta fantazja nie wytrzymała jednak zderzenia z rzeczywistością. Facebook jest dziś przyparty do ściany zarzutami o to, że rozgrywa polityczne batalie, pozwala na promowanie ludobójstwa (np. w Birmie), arbitralnie usuwa treści niezgodne z jego linią światopoglądową, wystawia prywatność swoich użytkowników na żer manipulujących ich emocjami reklamodawców. To realna presja, pod którą Zuckerberg wydaje się manewrować w kierunku rozbicia Facebooka na niezależne usługi i porzucenia tej nadbudowy, która tylko udaje globalną społeczność.

Co to znaczy?

Rozstajemy się z mitem globalnego internetu, który wszędzie działa wedle podobnych reguł. Ta wizja nigdy się nie zrealizowała i tym bardziej nie zrealizuje się w sieci kontrolowanej przez prywatne korporacje. Kryzys zaufania, którego doświadczamy w przestrzeni cyfrowej, ma swoje korzenie w modelu biznesowym dominujących firm. Jeśli naprawdę chcemy przywrócić użytkownikom podmiotowość, otworzyć ten rynek na konkurencję i zahamować erozję mediów, musimy model przekształcić. Na przykład wymusić na dominujących firmach dzielenie się danymi, na których trenują swoje algorytmy, po to, by ta cała wiedza o ludziach mogła służyć celom społecznym. W ubiegłej dekadzie Komisja Europejska doprowadziła do tego, że Microsoft musiał dopuścić konkurencję do tworzenia programów na system operacyjny Windows. Na podobnej zasadzie Facebook z zamkniętego ogrodu mógłby stać się otwartą platformą, w ramach której inaczej myślące firmy mogłyby oferować konkurencyjne usługi. W poszukiwaniu takich rozwiązań nie ogranicza nas technologia, tylko polityczna wyobraźnia. Dlatego się cieszę, że w tej kadencji Komisja Europejska ma zamiar na poważnie zmierzyć się z platformami internetowymi. Idzie nowe. 

Katarzyna Szymielewicz jest prawniczką, działaczką społeczną oraz publicystką, współzałożycielką i szefową Fundacji Panoptykon, organizacji pozarządowej, której celem jest ochrona podstawowych wolności wobec zagrożeń związanych z rozwojem współczesnych technik nadzoru nad społeczeństwem

Źródło: Plus Minus
REKLAMA
REKLAMA
REKLAMA
REKLAMA
NAJNOWSZE Z RP.PL
REKLAMA
REKLAMA