Czy sondaże na wybory 2011 będą dokładniejsze?

Czy w tegorocznej kampanii wyborczej instytuty badawcze lepiej poradzą sobie niż w trakcie wyborów prezydenckich? – zastanawia się statystyk

Aktualizacja: 07.06.2011 11:07 Publikacja: 07.06.2011 00:57

Mirosław Szreder

Mirosław Szreder

Foto: Archiwum

Red

Mija już prawie rok od dnia, kiedy wszyscy poczuliśmy się zawiedzeni niedokładnością sondaży w wyborach prezydenckich. Instytuty badawcze zostały poddane ostrej krytyce przez większość zainteresowanych środowisk, w tym media, które sondaże najczęściej zamawiają.

Paweł Lisicki w dzień po pierwszej turze wyborów pisał: „Od tej pory przestaję ufać badaczom. Chyba że zrobią coś, żeby mi utraconą wiarę przywrócić" („Ja jako ofiara sondaży", „Rz", 22.06.2010).  Stało się jasne, że wiarygodność mogła sondażom przywrócić jedynie krytyczna ocena ubiegłorocznych badań, wskazanie błędów oraz sposobów ich uniknięcia w przyszłości. Takiego zadania podjęła się komisja ekspertów powołana z inicjatywy organizacji zrzeszającej najważniejsze instytuty badawcze w naszym kraju (OFBOR). Raport swój ogłosiła z trzymiesięcznym opóźnieniem w stosunku do deklarowanego terminu – pod koniec stycznia tego roku.

Poważne wątpliwości

Publikację raportu odnotowały główne dzienniki. Jednak przez kolejne trzy miesiące w mediach niewiele uwagi poświęcono treści raportu, mimo że jest on dostępny na stronach internetowych OFBOR. Warto więc zadać pytanie, czy raport ten spełnił swoje zadanie? Czy wnioski z niego wynikające pozwalają ufać, że w tegorocznej kampanii wyborczej instytuty badawcze lepiej poradzą sobie z pomiarem naszych preferencji wyborczych? Odpowiedź na te pytania nie jest jednoznaczna.

Z całą pewnością pozytywnie ocenić trzeba sam fakt przygotowania raportu. Może to być pierwszy krok do poważnej dyskusji na temat metod badawczych stosowanych przez sondażownie w naszym kraju. Pozytywnie oceniam postulat, aby w sondażach łączyć różne zbiory informacji o badanej populacji wyborców oraz sięgać do bardziej zaawansowanych technik statystycznych, co pozwala zmniejszyć ogólny błąd badania. Ale są też poważne wątpliwości, które nasuwa lektura tego raportu.

Czy było lepiej, niż się wydawało?

Po pierwsze, źle się stało, że powołanie komisji było inicjatywą organizacji zrzeszającej tych, których pracę komisja miała ocenić (pisałem już o tym w artykule „Naprawianie sondaży" w „Rz" z 12.11.2010 r.). Powoduje to naturalną skłonność członków komisji do łagodnego, mało krytycznego oceniania. Byłoby inaczej, gdyby komisję taką powołało grono klientów (mediów), tak jak się to dzieje na innych rynkach.

Są niestety w raporcie fragmenty, które wyraźnie wskazują, iż autorzy skłonni są raczej bronić, niż krytykować instytuty badawcze. Najbardziej rażącym przykładem tego jest interpretacja miary rozbieżności pomiędzy wynikami sondaży a wynikami wyborów. Miara ta informuje, ile procent wyborców trzeba by przemieścić w sondażowym szacunku, aby uzyskać dokładnie taki wynik, jak w wyborach.

W odniesieniu do sondażu z 8 maja 2010 r., w którym błędy szacunku poparcia Bronisława Komorowskiego, Jarosława Kaczyńskiego i Grzegorza Napieralskiego wyniosły odpowiednio: 8,5 proc., 5,5 proc. i 7,7 proc., stwierdza się w raporcie – biorąc pod uwagę wszystkich dziesięciu kandydatów – że „średnia rozbieżność przypadająca na jednego kandydata wynosi 1,4 punktu procentowego". Podobne rozumowanie odniesione do dnia wyborów prowadzi autorów do wniosku, że „przewidywana na tej podstawie rozbieżność 20 czerwca wyniosłaby 5,9 procent, co przy dziesięciu kandydatach nie stanowiłoby dużej różnicy".

Innymi słowy, zawarta jest tu sugestia, że gdyby kontynuowane były badania sondażowe analizowanych pięciu instytutów do dnia wyborów, to średnia rozbieżność przypadająca na kandydata wyniosłaby niecałe 0,6 proc. Doprawdy mało to wiarygodne.

Mówiąc najdelikatniej, autorzy demonstrują tu niepoprawne użycie miar statystycznych i wyciągają na tej podstawie wnioski, które mają czytelnika przekonać, że rzeczywistość była znacznie lepsza, niż to obserwowaliśmy w dniu wyborów. Inny tego przykład można znaleźć w raporcie, gdy rozważana jest kwestia błędów badania telefonicznego MB SMG/KRC wykonanego dla TVN w dniu wyborów.

Trend nie wystarczy

Słabością raportu jest przyjęcie tylko jednego modelu opisu zmian poparcia poszczególnych kandydatów w czasie. Autorzy, niezależnie od tego, czy ma to uzasadnienie, czy nie, stosują liniowy model trendu. Są więc w raporcie modele, które zmienność poparcia wyjaśniają w 60 proc. lub 40 proc., co uznać można za satysfakcjonujące, ale są też takie, których stopień wyjaśnienia sięga zaledwie 2 – 3 proc. Co gorsza, prezentuje się, tyle że już bez podania wyników (!), liniowe funkcje trendu w sytuacjach, w których wyraźnie widać, że trend ten nie występuje.

Nie jest to, jakby się mogło wydawać, wyłącznie problem natury statystycznej. Otóż autorzy raportu, podobnie jak niektórzy inni badacze, chcieliby w zmianach poparcia dla poszczególnych polityków widzieć jedynie pewien trend, najlepiej liniowy. Abstrahują zaś od wielu innych rodzajów wahań (krótkookresowych), jakie w tego typu danych się ujawniają, często bez wyraźnej tendencji rozwojowej.

Nie lekceważyć odmów

Zbyt mały nacisk, moim zdaniem, kładzie się w raporcie na konsekwencje braków odpowiedzi, czyli odmów respondentów wylosowanych do próby. Jeżeli w co najmniej kilku sondażach ubiegłorocznej kampanii prezydenckiej odmawiało odpowiedzi ponad 80 proc. badanych, a były też takie, w  których odmów było 93 proc., to nie czas na uspokajające stwierdzenie, że „nie zaważyło to w znaczącym stopniu na trafności wyników". Może raczej zaważyło na nietrafności wyników? Tak czy owak jest to zjawisko niepokojące z punktu widzenia możliwości wnioskowania o populacji wyborców na podstawie tak silnie zdeformowanej próby.

Autorzy raportu wskazują, że odpowiedzialne za tę sytuację są: „presja czasu (klienta) i konieczność dotrzymania terminów" (moim zdaniem to ten sam czynnik). Pytanie pozostaje jednak, czy znajdzie się adresat tej uwagi? Pierwsze miesiące tego roku wskazują bowiem, że instytuty badawcze z tą samą co wcześniej częstotliwością (a może i częściej) oraz w tak samo krótkich jak przed rokiem terminach realizują swoje badania.

Do czego może to prowadzić? Moim zdaniem – do jeszcze większych błędów sondaży niż w ubiegłym roku. A zdaniem autorów raportu: „nie sprzyja to budowaniu zaufania do wiarygodności wyników" (s. 68). Taki właśnie, jak to ostatnie sformułowanie, a więc mało przekonujący i mało wyrazisty jest cały raport. Brakuje w nim wskazania błędów popełnionych przez ośrodki badawcze przed rokiem. Jest jednak nieśmiałym krokiem na drodze do poprawy wizerunku sondaży. Krokiem niewystarczającym.

Autor jest profesorem w Katedrze Statystyki Uniwersytetu Gdańskiego

Mija już prawie rok od dnia, kiedy wszyscy poczuliśmy się zawiedzeni niedokładnością sondaży w wyborach prezydenckich. Instytuty badawcze zostały poddane ostrej krytyce przez większość zainteresowanych środowisk, w tym media, które sondaże najczęściej zamawiają.

Paweł Lisicki w dzień po pierwszej turze wyborów pisał: „Od tej pory przestaję ufać badaczom. Chyba że zrobią coś, żeby mi utraconą wiarę przywrócić" („Ja jako ofiara sondaży", „Rz", 22.06.2010).  Stało się jasne, że wiarygodność mogła sondażom przywrócić jedynie krytyczna ocena ubiegłorocznych badań, wskazanie błędów oraz sposobów ich uniknięcia w przyszłości. Takiego zadania podjęła się komisja ekspertów powołana z inicjatywy organizacji zrzeszającej najważniejsze instytuty badawcze w naszym kraju (OFBOR). Raport swój ogłosiła z trzymiesięcznym opóźnieniem w stosunku do deklarowanego terminu – pod koniec stycznia tego roku.

Pozostało 87% artykułu
Opinie polityczno - społeczne
Jerzy Surdykowski: W sprawie immunitetu Kaczyńskiego rację ma Hołownia, a nie Tusk
https://track.adform.net/adfserve/?bn=77855207;1x1inv=1;srctype=3;gdpr=${gdpr};gdpr_consent=${gdpr_consent_50};ord=[timestamp]
Opinie polityczno - społeczne
Marek A. Cichocki: Demokracja w czasie wojny. Jak rumuński sąd podważa wiarygodność Zachodu
Opinie polityczno - społeczne
Franciszek Rzońca: Polska polityka wymaga poważnych zmian. Jak uratować demokrację nad Wisłą?
Opinie polityczno - społeczne
Marek Kutarba: Czy Elon Musk stanie się amerykańskim Antonim Macierewiczem?
Materiał Promocyjny
Jak budować współpracę między samorządem, biznesem i nauką?
Opinie polityczno - społeczne
Polska prezydencja w Unii bez Kościoła?