Skąd się biorą różnice w sondażach

Czy wynik konkretnej partii może wzrosnąć o kilkanaście procent, jeśli wskaże ją jedna osoba więcej niż w poprzednim miesiącu? Takie sytuacje się zdarzają i wywołują burzę medialną.

Pojawiają się oskarżenia o złą wolę i manipulację. Ale problem leży często gdzie indziej. Wyniki sondaży mogą się różnić w zależności od dnia tygodnia, w którym są robione. Wiele zależy też od metodologii. Gdy pracownie odrzucają odpowiedzi osób, które nie idą na wybory lub nie mają swojego faworyta, próba badania się zmniejsza, łatwiej więc o wahnięcia w wynikach. A liczba zniechęconych do polityki wciąż rośnie, co wykazują kolejne sondaże.

Zmiana faworyta?

W ostatnim czasie sensację wywołał sondaż TNS Polska przeprowadzony pod koniec października dla „Wiadomości" TVP. Od wielu miesięcy w większości sondaży liderem jest Prawo i Sprawiedliwość. Wspomniane badanie dla TVP zapowiadało rewolucję: poparcie dla PO poszybowało o 11 pkt proc. w górę, do poziomu 41 proc., dzięki czemu partia Donalda Tuska objęła prowadzenie. PiS spadł na drugie miejsce z wynikiem 32 proc. poparcia (spadek o 7 punktów proc.).

Jednak kolejnego dnia badanie Millward Brown dla „Faktów" TVN pokazało odwrotną tendencję. To PiS zyskał 5 punktów proc., umacniając się na prowadzeniu, a PO mimo wzrostu poparcia o 2 punkty proc. wciąż jest za partią Jarosława Kaczyńskiego.

– Rzeczywistość nauk społecznych jest podatna na szereg czynników. Na znaczną różnicę wyników wpływa metodologia, czyli np. sposób zadania pytania – tłumaczy dr Rafał Chwedoruk z Uniwersytetu Warszawskiego.

By lepiej zrozumieć zaskakujące wyniki, warto przyjrzeć się metodologii badań. A jak było w tym przypadku? Odpowiedź daje dokładna analiza sposobu przeprowadzenia obu badań.

TNS Polska zrealizował badanie na losowo wybranej próbie 1000 osób. Respondenci byli pytani, na kogo zagłosowaliby, gdyby wybory odbyły się w najbliższą niedzielę. Nie mieli listy, musieli odpowiedzieć spontanicznie. – Największa część z nich – 42 proc., czyli 420 osób – odpowiedziała: „nie wiem", kolejne 220 osób z przepytanego tysiąca (22 proc.) odpowiedziało – nie będę głosować. Nie wykluczało udziału w wyborach i miało sprecyzowane preferencje wyborcze 36 proc. osób z zapytanego 1000 – mówi „Rz" Urszula Krassowska z TNS Polska.

Oznacza to, że rezultaty badania nie odnosiły się do całej próby, ale obrazowały odpowiedzi 360 osób. – Taka jest natura losowości. W mniejszej próbie jest większy błąd. Deklarowany przez większość pracowni mieści się w 3 proc. Ale to można odnieść do całej próby. Przy mniejszej liczbie odpowiadających na pytanie może być on nawet dwa razy większy – zaznacza prof. Mirosław Szreder z Uniwersytetu Gdańskiego.

Armia zniechęconych

Część mediów zarzuciła pracowni i TVP manipulację, która ma pomóc partii rządzącej. Jednak ta sama metodologia była stosowana również we wcześniejszych badaniach telefonicznych dla „Wiadomości", w których prowadził PiS.

– W analogicznym badaniu przeprowadzonym we wrześniu (także za pomocą pytania otwartego) wyniki były następujące: z zapytanych 1000 osób 200 odpowiedziało, że nie będzie głosować, 310 stwierdziło, że nie wie, na kogo głosować. Nie wykluczało udziału w wyborach i miało sprecyzowane preferencje wyborcze  49 proc. osób z zapytanego tysiąca – wskazuje Krassowska.

A zatem sondażowa niespodzianka wzięła się ze znacznego spadku (z 490 do 360) liczby osób określanych jako zdecydowane. W prosty sposób w przybliżeniu można obliczyć, że na 30-proc. poparcie dla PO złożyły się deklaracje 147 respondentów. Kiedy deklarowana frekwencja się zmniejszyła i równocześnie mniej osób wskazało na PiS, poparcie dla PO wzrosło o 11 punktów proc. W liczbach bezwzględnych zwiększyło się jednak nieznacznie. W przybliżeniu można obliczyć, że 41 proc. spośród 360 osób zdecydowanych to 148 badanych. Czyli nawet tylko jedna osoba więcej niż we wrześniu mogła zapewnić Platformie tak duży wzrost miesiąc do miesiąca.

Prof. Szreder wskazuje, że rośnie liczba osób zniechęconych do polityki. – Znajduje to swoje odzwierciedlenie w wynikach sondaży i wielkości ich błędu. Moim zdaniem metodologia będzie musiała ulec zmianie. Proszę sobie wyobrazić sytuację, że spośród tysiąca osób aż 950 zadeklaruje, że nie pójdzie na wybory albo nie wie, na kogo głosować. Czy to znaczy, że z tak małej próby można wyciągnąć jakieś wnioski? – powątpiewa ekspert.

Wiele metod

Porównania utrudnia nie tylko metodologia, ale również czas przeprowadzania badań. Opublikowany w niedzielę sondaż TNS Polska był przeprowadzany w dniach, gdy głównym tematem w mediach była katastrofa smoleńska i konferencja naukowa na jej temat. Naukowcom wytykano m.in. posługiwanie się prymitywnymi metodami (porównania mechanizmu zniszczeń w samolocie do zgniatania puszki po napoju itp.). Sondaż Millward Brown dla TVN odbywał się kilka dni później, ale debata publiczna była zdominowana przez zupełnie inny temat – konflikt w PO wokół wyborów partyjnych na Dolnym Śląsku.

Ten sondaż również był telefoniczny, a próba była losowa i analogiczna do tej w badaniu TNS (1001 osób). Jednak Millward Brown pytanie o preferencje partyjne zadaje wszystkim, którzy deklarują pójście na wybory. Te osoby, które nie są w stanie wskazać swojego faworyta, mają odczytywaną przez ankietera listę wszystkich partii. Dopiero brak odpowiedzi na to pytanie jest informacją dla pracowni, że danego respondenta należy zaliczyć do niezdecydowanych.

Zdaniem prezesa firmy badawczej ARC Rynek i Opinia Łukasza Mazurkiewicza, który zasiada w zarządzie Organizacji Firm Badania Opinii i Rynku, zrzeszającej głównych graczy w tej branży, panuje błędne przekonanie, że z sondażami jest podobnie jak z pomiarem temperatury. – Pięć termometrów w jednym miejscu powinno dawać taki sam wynik. Z sondażami jest inaczej. Metodologia pomiaru wpływa na wyniki. Ale to normalne, bo wszystkie firmy wypracowały swój know-how i tym właśnie konkurują. To życie weryfikuje podawane przez nich wyniki – przekonuje.

Okazuje się, że wyniki sondaży mogą się różnić nawet w obrębie jednej pracowni. Porównanie dwóch różnych badań TNS Polska, na przestrzeni ostatnich miesięcy pokazuje, że różnica poparcia dla dwóch głównych partii była w październiku znacznie większa niż w poprzednich okresach. Poparcie dla PO od lipca do września zarówno w badaniu OMNIBUS (wywiady bezpośrednie), jak i CATI (telefoniczne) było zbliżone, a różnica dochodziła do maksymalnie 2 punktów proc. Nieco większe wahania dotyczyły wskazań na PiS. W lipcu i wrześniu różnica nie przekraczała 3 punktów proc. Jedynie w sierpniu w badaniu CATI na PiS wskazało 6 proc. więcej respondentów niż w OMNIBUS.

Ten stan rzeczy został mocno zachwiany w październiku. Różnica między badaniem OMNIBUS i CATI w przypadku PO wynosiła 10 punktów proc., a w przypadku CATI 5 punktów procentowych.