Szreder: Za dużo sondaży

Zbliżyliśmy się do granicy, po której przekroczeniu nie ma już nauki, jest za to szybko i tanio wykonane badanie. I mało wiarygodne – zauważa statystyk.

Aktualizacja: 25.11.2016 16:29 Publikacja: 24.11.2016 18:44

Szreder: Za dużo sondaży

Foto: Archiwum

Zaledwie parę dni po kolejnej spektakularnej porażce sondaży – i to w tak doświadczonej demokracji jak amerykańska, w kraju pioniera badań sondażowych Georga Gallupa – wielu z nas chętnie zerka na kolejne słupki poparcia politycznego, nie tylko w USA. Sondaże zdają się mieć niewyczerpaną siłę uwodzenia. Niekiedy lekceważone lub wyśmiewane, pozostają tym źródłem informacji, po które politycy i wyborcy sięgają najchętniej. Także w mediach każdy nowy sondaż przykuwa uwagę i prowokuje do analiz.

A przecież ostatnie lata przyniosły fiasko sondażowych przewidywań wyników referendum w sprawie opuszczenia Unii Europejskiej przez Wielką Brytanię (Brexit) oraz wyborów prezydenckich w USA. To także znaczące błędy w ocenie szans wyborczych Partii Konserwatywnej i Partii Pracy w wyborach parlamentarnych w Anglii w 2015 roku oraz pierwsze po ponad 60 latach błędne przewidywanie przez Instytut Gallupa zwycięzcy wyborów parlamentarnych 2012 r. w USA (wygrać miał Mitt Romney, którego pokonał Barack Obama przewagą prawie 4 pkt proc.).

Te dwie ostatnie porażki zostały potraktowane na tyle poważnie, że doczekały się wnikliwych badań przez specjalnie do tego celu powołane zespoły ekspertów w USA i w Anglii.

Polskie doświadczenia, m.in. z ostatnich wyborów prezydenckich, zdają się tylko potwierdzać kryzys w branży sondażowej. Coś, co przez z górą 70 lat funkcjonowało dobrze, zaczyna zawodzić. Dlaczego? Biorąc pod uwagę, że o jakości badania sondażowego decydują zarówno techniki statystyczne doboru próby i sposobów pomiaru opinii respondentów, jak i bliższa socjologii i psychologii społecznej sztuka zadawania pytań, warto od nich rozpocząć poszukiwanie odpowiedzi.

Mimo że już dawno oswoiliśmy się z internetem i telefonią komórkową, to jeśli chodzi o reprezentatywność prób uzyskiwanych za ich pomocą, to obie te technologie stanowią dla statystyków wyzwanie. Skuteczna w przeszłości technika losowania numerów telefonów stacjonarnych (stosowana w pewnym zakresie do dzisiaj) nie daje się w prosty sposób przenieść na telefony komórkowe. Po pierwsze dlatego, że w niektórych krajach ankietowanie respondentów przez losowo wygenerowane numery telefonów komórkowych jest zabronione. A po drugie, jak stwierdzili eksperci badający porażkę sondaży Gallupa sprzed czterech lat, struktura demograficzna i społeczna osób, które identyfikuje się za pomocą telefonów komórkowych, jest inna aniżeli osób i gospodarstw domowych, które posiadają telefon stacjonarny.

Internet: problemy i nadzieje

Dotarcie do respondenta za pomocą internetu – bardzo rozpowszechnione w Wielkiej Brytanii – stwarza z kolei inne problemy, chociaż rysuje także obiecujące perspektywy. Ograniczeniem jest niepełny dostęp wyborców do komputera i sieci, a w niektórych grupach wiekowych – często przejawiających dużą skłonność do uczestniczenia w wyborach – niechęć do posługiwania się komputerem. Nadzieją natomiast jest, potwierdzona w Anglii i w USA, większa zgodność z wynikami wyborczymi prognoz opartych na ankietach online w porównaniu z ankietami telefonicznymi.

British Polling Council – organizacja zrzeszająca firmy badawcze – wspomniała w swoim komentarzu po referendum wiosną tego roku o dwóch sondażach, w których za i przeciw pozostaniu Wielkiej Brytanii w UE uzyskano wyniki 53:47 w telefonicznym sondażu (1043 respondentów) oraz 44:56 w badaniu online (1468 respondentów). Jednym z powodów takich rozbieżności może być pokusa do niedeklarowania przez część respondentów swojego przyszłego wyboru i zakreślenie wygodnej kategorii „nie wiem" w ankiecie internetowej. Z kolei w ankiecie telefonicznej, a tym bardziej w wywiadzie w cztery oczy (face-to-face), czując presję ankietera na udzielenie konkretnej odpowiedzi, respondent nierzadko wskazuje tę, co do której nie ma wcale przekonania.

Innym ważnym czynnikiem była trudność w oszacowaniu frekwencji wyborczej. Po raz kolejny zawiodły techniki szacowania, którzy z badanych respondentów rzeczywiście wezmą udział w wyborach. Brytyjski raport potwierdzał, że coraz gorzej sprawdza się stosowana z powodzeniem w przeszłości, technika przypisywania subiektywnych prawdopodobieństw respondentom, że wezmą oni udział w akcie wyborczym, na podstawie zestawu dodatkowych pytań.

W pewnym stopniu na zwycięstwo Donalda Trampa wpłynęła wyższa od ocenionej w sondażach frekwencja wyborcza białych, słabiej wykształconych Amerykanów w kilku wahających się stanach.

To, co najsilniej łączyło dwie kampanie, w których reputacja sondaży szczególnie dotkliwie ucierpiała, to była odczuwalna presja mediów i grup opiniotwórczych (establishmentu) na określony wybór: tak – za pozostaniem Wielkiej Brytanii w UE, oraz nie – dla wyboru na urząd prezydenta Donalda Trumpa. Jakiś rodzaj poprawności politycznej nie pozwala tym, którzy opinie takie tworzyli i propagowali, przyznać, że w takiej atmosferze przedwyborczej część osób czuła się wysoce niekomfortowo. Trudno więc było oczekiwać od nich, aby gdy znaleźli się wśród respondentów badania sondażowego, deklarowali chęć głosowania na kogoś, kto w powszechnym odczuciu miał utożsamiać prawie wyłącznie negatywne cechy.

Stadne zachowania

Zjawisko ukrywania przez respondentów zachowań lub poglądów uznawanych za naganne lub niepopularne jest znane od dawna. W badaniach statystycznych istnieją wręcz mechanizmy korygowania takich deklaracji, np. zaniżonych przez respondentów wydatków na alkohol w ich gospodarstwach domowych, zawyżonej liczby przeczytanych książek lub wizyt w instytucjach kultury itp. Im silniejsze emocje powstają wokół tematyki badania, tym większe prawdopodobieństwo błędów. A w konsekwencji konieczność korygowania zebranych w sondażu opinii, co zawsze jest zadaniem trudnym i ryzykownym.

Ostatnim ogniwem w łańcuchu przyczyn nieudanych sondaży mogą być media zamawiające i publikujące wyniki badań. Część z nich – jak stwierdzono w raporcie brytyjskich ekspertów – przejawia obawy przed podaniem wyników odbiegających od trendu na rynku, innymi słowy dąży do pozostania w stadzie – ang. herding. Jest to zjawisko wynikające z obaw mediów o własną reputację, która mogłaby zostać nadszarpnięta, gdyby sondaż różniący się od większości innych okazał się nieprecyzyjny. W rezultacie utrwala się istniejąca na rynku tendencja, np. przewagi jednego z kandydatów, z równoczesnym zmniejszaniem się rozproszenia wyników sondaży.

Seria sondażowych porażek wiąże się też z szybkim rozwojem technologii informacyjnych. A to powoduje, że niemal w każdym miejscu i na każdy temat realizowane są sondaże.

Doszliśmy już chyba do granicy uproszczeń w realizacji badania, które ze swej natury powinno być naukowym badaniem socjologicznym. Nie ma już sztuki zadawania pytań, bo prawie każdy czuje, że intuicyjnie ją opanował. Nie ma też dylematów z doborem próby, bo za pomocą internetu lub telefonów komórkowych łatwo dotrzeć do respondentów, którzy zgodzą się na udział w krótkim sondażu. A w przekonaniu wielu, ewentualny brak reprezentatywności zrekompensuje odpowiednio liczniejsza próba. Zbliżyliśmy się do granicy, po przekroczeniu której nie ma już nauki, i nie ma sztuki, jest za to szybko i tanio wykonane badanie, mało wiarygodne i słabej jakości.

Autor jest profesorem w Katedrze Statystyki na Uniwersytecie Gdańskim

Zaledwie parę dni po kolejnej spektakularnej porażce sondaży – i to w tak doświadczonej demokracji jak amerykańska, w kraju pioniera badań sondażowych Georga Gallupa – wielu z nas chętnie zerka na kolejne słupki poparcia politycznego, nie tylko w USA. Sondaże zdają się mieć niewyczerpaną siłę uwodzenia. Niekiedy lekceważone lub wyśmiewane, pozostają tym źródłem informacji, po które politycy i wyborcy sięgają najchętniej. Także w mediach każdy nowy sondaż przykuwa uwagę i prowokuje do analiz.

Pozostało 93% artykułu
2 / 3
artykułów
Czytaj dalej. Kup teraz
Opinie polityczno - społeczne
Jędrzej Bielecki: Czy Polska będzie hamulcowym akcesji Ukrainy do Unii Europejskiej?
Opinie polityczno - społeczne
Stefan Szczepłek: Jak odleciał Michał Probierz, którego skromność nie uwiera
Opinie polityczno - społeczne
Udana ściema Donalda Tuska. Wyborcy nie chcą realizacji 100 konkretów
Opinie polityczno - społeczne
Michał Szułdrzyński: Przeszukanie u Zbigniewa Ziobry i liderów Suwerennej Polski. Koniec bezkarności
Opinie polityczno - społeczne
Aleksander Hall: Jak odbudować naszą wspólnotę