Czy sondaże na wybory 2011 będą dokładniejsze?

Mija już prawie rok od dnia, kiedy wszyscy poczuliśmy się zawiedzeni niedokładnością sondaży w wyborach prezydenckich. Instytuty badawcze zostały poddane ostrej krytyce przez większość zainteresowanych środowisk, w tym media, które sondaże najczęściej zamawiają.

Paweł Lisicki w dzień po pierwszej turze wyborów pisał: „Od tej pory przestaję ufać badaczom. Chyba że zrobią coś, żeby mi utraconą wiarę przywrócić" („Ja jako ofiara sondaży", „Rz", 22.06.2010).  Stało się jasne, że wiarygodność mogła sondażom przywrócić jedynie krytyczna ocena ubiegłorocznych badań, wskazanie błędów oraz sposobów ich uniknięcia w przyszłości. Takiego zadania podjęła się komisja ekspertów powołana z inicjatywy organizacji zrzeszającej najważniejsze instytuty badawcze w naszym kraju (OFBOR). Raport swój ogłosiła z trzymiesięcznym opóźnieniem w stosunku do deklarowanego terminu – pod koniec stycznia tego roku.

Poważne wątpliwości

Publikację raportu odnotowały główne dzienniki. Jednak przez kolejne trzy miesiące w mediach niewiele uwagi poświęcono treści raportu, mimo że jest on dostępny na stronach internetowych OFBOR. Warto więc zadać pytanie, czy raport ten spełnił swoje zadanie? Czy wnioski z niego wynikające pozwalają ufać, że w tegorocznej kampanii wyborczej instytuty badawcze lepiej poradzą sobie z pomiarem naszych preferencji wyborczych? Odpowiedź na te pytania nie jest jednoznaczna.

Z całą pewnością pozytywnie ocenić trzeba sam fakt przygotowania raportu. Może to być pierwszy krok do poważnej dyskusji na temat metod badawczych stosowanych przez sondażownie w naszym kraju. Pozytywnie oceniam postulat, aby w sondażach łączyć różne zbiory informacji o badanej populacji wyborców oraz sięgać do bardziej zaawansowanych technik statystycznych, co pozwala zmniejszyć ogólny błąd badania. Ale są też poważne wątpliwości, które nasuwa lektura tego raportu.

Czy było lepiej, niż się wydawało?

Po pierwsze, źle się stało, że powołanie komisji było inicjatywą organizacji zrzeszającej tych, których pracę komisja miała ocenić (pisałem już o tym w artykule „Naprawianie sondaży" w „Rz" z 12.11.2010 r.). Powoduje to naturalną skłonność członków komisji do łagodnego, mało krytycznego oceniania. Byłoby inaczej, gdyby komisję taką powołało grono klientów (mediów), tak jak się to dzieje na innych rynkach.

Są niestety w raporcie fragmenty, które wyraźnie wskazują, iż autorzy skłonni są raczej bronić, niż krytykować instytuty badawcze. Najbardziej rażącym przykładem tego jest interpretacja miary rozbieżności pomiędzy wynikami sondaży a wynikami wyborów. Miara ta informuje, ile procent wyborców trzeba by przemieścić w sondażowym szacunku, aby uzyskać dokładnie taki wynik, jak w wyborach.

W odniesieniu do sondażu z 8 maja 2010 r., w którym błędy szacunku poparcia Bronisława Komorowskiego, Jarosława Kaczyńskiego i Grzegorza Napieralskiego wyniosły odpowiednio: 8,5 proc., 5,5 proc. i 7,7 proc., stwierdza się w raporcie – biorąc pod uwagę wszystkich dziesięciu kandydatów – że „średnia rozbieżność przypadająca na jednego kandydata wynosi 1,4 punktu procentowego". Podobne rozumowanie odniesione do dnia wyborów prowadzi autorów do wniosku, że „przewidywana na tej podstawie rozbieżność 20 czerwca wyniosłaby 5,9 procent, co przy dziesięciu kandydatach nie stanowiłoby dużej różnicy".

Innymi słowy, zawarta jest tu sugestia, że gdyby kontynuowane były badania sondażowe analizowanych pięciu instytutów do dnia wyborów, to średnia rozbieżność przypadająca na kandydata wyniosłaby niecałe 0,6 proc. Doprawdy mało to wiarygodne.

Mówiąc najdelikatniej, autorzy demonstrują tu niepoprawne użycie miar statystycznych i wyciągają na tej podstawie wnioski, które mają czytelnika przekonać, że rzeczywistość była znacznie lepsza, niż to obserwowaliśmy w dniu wyborów. Inny tego przykład można znaleźć w raporcie, gdy rozważana jest kwestia błędów badania telefonicznego MB SMG/KRC wykonanego dla TVN w dniu wyborów.

Trend nie wystarczy

Słabością raportu jest przyjęcie tylko jednego modelu opisu zmian poparcia poszczególnych kandydatów w czasie. Autorzy, niezależnie od tego, czy ma to uzasadnienie, czy nie, stosują liniowy model trendu. Są więc w raporcie modele, które zmienność poparcia wyjaśniają w 60 proc. lub 40 proc., co uznać można za satysfakcjonujące, ale są też takie, których stopień wyjaśnienia sięga zaledwie 2 – 3 proc. Co gorsza, prezentuje się, tyle że już bez podania wyników (!), liniowe funkcje trendu w sytuacjach, w których wyraźnie widać, że trend ten nie występuje.

Nie jest to, jakby się mogło wydawać, wyłącznie problem natury statystycznej. Otóż autorzy raportu, podobnie jak niektórzy inni badacze, chcieliby w zmianach poparcia dla poszczególnych polityków widzieć jedynie pewien trend, najlepiej liniowy. Abstrahują zaś od wielu innych rodzajów wahań (krótkookresowych), jakie w tego typu danych się ujawniają, często bez wyraźnej tendencji rozwojowej.