Szreder: Stadna pułapka

Obawa przed ujawnieniem sondażowych wyników, które odbiegają od ogólnego trendu cechującego rezultaty badań, może istotnie zaburzać prawdziwy rozkład preferencji wyborczych – pisze statystyk.

Publikacja: 12.05.2016 19:59

Szreder: Stadna pułapka

Foto: materiały prasowe

Czy ze spokojem mogą politycy i zwolennicy Prawa i Sprawiedliwości przyglądać się wynikom sondaży, które od czasu jesiennych wyborów dają im wyraźną przewagę w pomiarze preferencji politycznych wyborców? Na ile precyzyjne są te pomiary, i w jakim stopniu odzwierciedlają one rzeczywiste nastroje społeczne? Dłuższy obecnie okres przed kolejnymi wyborami mógłby służyć do głębszej refleksji i dyskusji na temat jakości sondaży, tym bardziej że problem błędnych lub nieprecyzyjnych sondaży jest powszechniejszy i dotyczy nie tylko naszego kraju. Przed kilkoma dniami – 31 marca br. ogłoszono w Wielkiej Brytanii długo oczekiwany raport na temat przyczyn sondażowych niepowodzeń w prognozowaniu wyniku wyborów parlamentarnych, które odbyły się tam 7 maja 2015 r. Przypomnijmy, że dziewięć najważniejszych instytutów badawczych, każdy opierając się na własnej, sprawdzonej w przeszłości metodologii, wskazywał na wynik wyborów bliski remisowi – po 33 proc. poparcia dla Partii Konserwatywnej i Partii Pracy. W rzeczywistości wybory wygrała Partia Konserwatywna z przewagą aż 6,6 pkt. proc. Była to największa od ponad 20 lat porażka sondaży na Wyspach. Warto przyjrzeć się najważniejszym wnioskom i rekomendacjom ze wspomnianego raportu, gdyż większość z nich ma charakter uniwersalny, nie związany bezpośrednio ze specyfiką brytyjską.

Za najważniejszą przyczynę błędów w szacunkach poparcia dla obu czołowych partii, komisja pod przewodnictwem prof. Patricka Sturgisa uznała niereprezentatywność prób badawczych (ang. unrepresentative samples). A więc nie to, co dla wielu jest kuszącym i prostym wyjaśnieniem: nieszczerość respondentów powodowanych dążeniem do politycznej poprawności, nierzetelność badaczy podlegających presji którejś z partii, czy zbyt małe liczebnie próby. Jeśli chodzi o ten ostatni czynnik, to znana firma YouGov w swoim ostatnim sondażu opartym na próbie ponad 10 tys. respondentów uzyskała wyniki gorsze od kilku innych firm, m.in. znanych u nas Ipsos-Mori i TNS UK, które pomiarem objęły typową wielkość próby ok. 1100 osób. Autorzy raportu zwrócili natomiast uwagę na inną kwestię, która prawdopodobnie dotyczy także polskich doświadczeń, mianowicie skłonność do publikowania wyników jedynie tych sondaży, które są zgodne z ogólnym trendem (chęć dołączenia do stada, ang. herding). Takie wrażenie odnosiło się przed pierwszą turą wyborów prezydenckich w Polsce w maju 2015 r., kiedy prawie wszystkie pracownie sondażowe wskazywały jako faworyta urzędującego wówczas prezydenta Bronisława Komorowskiego.

Niereprezentatywne próby

W Polsce przyzwyczajeni jesteśmy do tego, że większość badań sondażowych prowadzonych jest na próbach losowych. W Wielkiej Brytanii natomiast uzyskiwano przez wiele lat trafniejsze prognozy wyników wyborczych dobierając próby respondentów metodą kwotową. Wybór kwotowy polega na ścisłej kontroli struktury próby ze względu na najważniejsze jej charakterystyki i zapewnieniu, że jest ona zgodna ze strukturą populacji. Sam dobór respondentów nie jest zaś losowy. Dobre rozpoznanie charakterystyk, które decydują o postawach wyborców, zapewnia reprezentatywność próby, albowiem rozkłady tych charakterystyk są identyczne w populacji i w próbie. Jednak to co udawało się przez wiele lat, niezależnie od tego, czy było to losowanie prób (w Polsce), czy dobór kwotowy prób (w Wielkiej Brytanii), przestało działać. Techniki, które dawniej pozwalały uzyskiwać reprezentatywne próby obecnie zawodzą. Powodów tego może być kilka.

Po pierwsze, zmienia się zestaw zmiennych, które były silnie skorelowane z preferencjami politycznymi wyborców, np. niektóre zmienne demograficzne, co pozwalało na konstruowanie reprezentatywnych prób. Obecnie, wśród osób w podobnym wieku, o tym samym poziomie wykształcenia i o zbliżonych dochodach występują większe niż w przeszłości różnice w postawach politycznych. Dodatkowo, coraz częściej zawodzi mechanizm określania tego, którzy respondenci w próbie pójdą rzeczywiście głosować w dniu wyborów. Technika przypisywania każdemu ankietowanemu wyborcy subiektywnego prawdopodobieństwa że weźmie udział w wyborach (ang. likely voter technique) nie sprawdziła się już w sondażach przed wyborami prezydenckimi w USA w 2012 r. Samoocena przez respondentów prawdopodobieństwa głosowania zawiodła z kolei w Anglii w ubiegłym roku. Autorzy omawianego raportu słusznie postulują poszukiwanie lepiej naukowo uzasadnionych i skuteczniejszych metod oceny, w jakich proporcjach reprezentanci poszczególnych elektoratów stawią się przy urnach wyborczych.

Podobne wyzwanie stoi przed badaczami w odniesieniu do respondentów, którzy nie wiedzą na kogo oddadzą głos lub odmawiają odpowiedzi. Także w tym przypadku zawodzą stosowane wcześniej mechanizmy. Do osób niezdecydowanych potrzebne są inne techniki alokacji od powszechnie używanych, takich jak proporcjonalny ich podział pomiędzy partie, zgodnie z preferencjami pozostałych respondentów, albo podział na podstawie odpowiedzi udzielonych na dodatkowe pytania. Z kolei do osób odmawiających odpowiedzi wypracować należy skuteczniejsze techniki imputacji. Odmowy stają się współcześnie coraz częstsze, a co za tym idzie powodują przyrost ogólnego błędu badania. Realizatorzy sondaży powinni mieć wystarczająco dużo czasu, aby odsetek odmów zmniejszyć, zwłaszcza wśród tych respondentów, z którymi kontakt jest trudny. Okazuje się bowiem, że stopień trudności w kontaktach z wyborcami może być związany z ich przynależnością do określonego elektoratu. W Brytyjskim Sondażu Społecznym (British Social Attitudes), w którym stosuje się wywiad bezpośredni, okazało się, że wśród respondentów, których zastano w domu za pierwszym razem przeważali zwolennicy Partii Pracy, a wśród tych, z którymi wywiad udało się przeprowadzić dopiero przy trzecim lub dalszym podejściu, aż jedenastopunktową przewagę mieli sympatycy Partii Konserwatywnej. Widać więc, jakie zgubne skutki miałoby zaniechanie prób kontaktu z respondentem początkowo trudno dostępnym.

Nierozstrzygnięta pozostaje wciąż kwestia wpływu sposobu ankietowania na reprezentatywność próby. W Polsce dyskusje te dotyczą najczęściej dylematu – ankietowanie telefoniczne, czy wywiad bezpośredni (w cztery oczy)? Raport brytyjski natomiast koncentruje się na porównaniu wywiadów telefonicznego z internetowym. Sześć spośród dziewięciu ośrodków badawczych przed wyborami 2015 r. stosowało pomiar internetowy, a trzy telefoniczny. Autorzy raportu stwierdzili nieco lepsze wyniki uzyskane w wywiadach telefonicznych, ale przyznali jednocześnie, że różnice te były niewielkie, a ich źródło trudne do wyjaśnienia.

Być w zgodzie z innymi

Obawa przed ujawnieniem wyników znacznie odbiegających od innych sondaży jest zjawiskiem słabo dotychczas poznanym. Może ona towarzyszyć zarówno realizatorom badań, jak i zamawiającym te badania (mediom). Ośrodki badawcze mogą swoje dążenie do bycia w zgodzie z innymi osiągnąć na kilka sposobów. Najczęstszym jest stosowanie takich mechanizmów ważenia danych w próbie, czyli innymi słowy, dostosowywania struktury próby do określonego zestawu charakterystyk populacji, aby rezultaty sondażu zbliżyć do innych sondaży. Kolejnym sposobem jest zwiększanie pierwotnie ustalonej wielkości próby do momentu, kiedy wyniki sondażu zbliżą się do oczekiwanych (do trendu na rynku). Najprostszym zaś sposobem jest nieujawnianie przez realizatorów lub przez media sondaży, które znacznie odbiegają od pozostałych. Autorzy raportu analizującego przyczyny masowej porażki sondaży w Wielkiej Brytanii stwierdzili, że dążenie do „bycia w stadzie” („herding”) mogło się przyczynić do nadspodziewanie małego zróżnicowania wyników sondaży przed wyborami parlamentarnymi w maju 2015 roku. W naszym kraju problem ten nie jest jeszcze zbadany. Gdyby jednak zjawisko to występowało, to w zupełnie innym świetle stawia ono często wypowiadany – moim zdaniem fałszywy – postulat, aby nie przywiązywać wagi do pojedynczego sondażu, lecz obserwować tendencję wyników wielu sondaży. Tendencja ta, jak się okazuje, może być celowo utrwalana przez ośrodki badawcze lub przez media lękające się oddalenia od stada. Liderzy partii będących w czołówce sondaży nie mogą więc spać spokojnie.

Autor jest profesorem w Katedrze Statystyki na Uniwersytecie Gdańskim

Czy ze spokojem mogą politycy i zwolennicy Prawa i Sprawiedliwości przyglądać się wynikom sondaży, które od czasu jesiennych wyborów dają im wyraźną przewagę w pomiarze preferencji politycznych wyborców? Na ile precyzyjne są te pomiary, i w jakim stopniu odzwierciedlają one rzeczywiste nastroje społeczne? Dłuższy obecnie okres przed kolejnymi wyborami mógłby służyć do głębszej refleksji i dyskusji na temat jakości sondaży, tym bardziej że problem błędnych lub nieprecyzyjnych sondaży jest powszechniejszy i dotyczy nie tylko naszego kraju. Przed kilkoma dniami – 31 marca br. ogłoszono w Wielkiej Brytanii długo oczekiwany raport na temat przyczyn sondażowych niepowodzeń w prognozowaniu wyniku wyborów parlamentarnych, które odbyły się tam 7 maja 2015 r. Przypomnijmy, że dziewięć najważniejszych instytutów badawczych, każdy opierając się na własnej, sprawdzonej w przeszłości metodologii, wskazywał na wynik wyborów bliski remisowi – po 33 proc. poparcia dla Partii Konserwatywnej i Partii Pracy. W rzeczywistości wybory wygrała Partia Konserwatywna z przewagą aż 6,6 pkt. proc. Była to największa od ponad 20 lat porażka sondaży na Wyspach. Warto przyjrzeć się najważniejszym wnioskom i rekomendacjom ze wspomnianego raportu, gdyż większość z nich ma charakter uniwersalny, nie związany bezpośrednio ze specyfiką brytyjską.

Pozostało 84% artykułu
2 / 3
artykułów
Czytaj dalej. Kup teraz
Opinie polityczno - społeczne
Jędrzej Bielecki: Czy Polska będzie hamulcowym akcesji Ukrainy do Unii Europejskiej?
Opinie polityczno - społeczne
Stefan Szczepłek: Jak odleciał Michał Probierz, którego skromność nie uwiera
Opinie polityczno - społeczne
Udana ściema Donalda Tuska. Wyborcy nie chcą realizacji 100 konkretów
Opinie polityczno - społeczne
Michał Szułdrzyński: Przeszukanie u Zbigniewa Ziobry i liderów Suwerennej Polski. Koniec bezkarności
Opinie polityczno - społeczne
Aleksander Hall: Jak odbudować naszą wspólnotę