Kryzys sondażowy

Nie po raz pierwszy przedwyborcze sondaże okazały się dalekie od późniejszych rozstrzygnięć wyborczych. Żaden sondaż wykonany przez profesjonalny ośrodek badawczy nie wskazywał, że pierwszą turę wyborów prezydenckich może wygrać Andrzej Duda. Niemal wszystkie sugerowały kilkunastoprocentową przewagę Bronisława Komorowskiego.

Wielu zadaje więc sobie teraz pytanie, czy takie błędy to tylko nasza polska przypadłość, czy też sondażownie innych krajów doświadczają podobnych wpadek? Wszystko wskazuje na to, że mamy do czynienia zarówno z rodzącym się kryzysem metody badawczej, jak i z utrwalaniem się zaniedbań w realizacji sondaży przez główne ośrodki w naszym kraju.

Gallup też się pomylił

Nie dla pocieszenia, lecz dla zrozumienia źródeł błędów zauważmy, że porażka sondaży w wyborach parlamentarnych sprzed kilku dni w Wielkiej Brytanii (najpoważniejsza w tym kraju od 1992 r.) nie jest jedynie incydentem w pracy ośrodków badania opinii publicznej. Jeszcze bardziej spektakularna okazała się chybiona prognoza Instytutu Gallupa z ostatnich wyborów prezydenckich w USA w 2012 r., które miał wygrać republikanin Mitt Romney, wyprzedzając o jeden punkt procentowy demokratę Baracka Obamę. Tymczasem zwycięzcą, jak wiadomo, okazał się Barack Obama z wynikiem o 3,9 pkt proc. lepszym od swego republikańskiego rywala. W ten sposób przerwane zostało pasmo prawie 65 lat trafnych prognoz wyborczych Instytutu Gallupa w Stanach Zjednoczonych.

Odpowiedzi na pytanie, dlaczego przez dziesiątki lat dość niezawodne narzędzie pomiaru postaw politycznych wyborców, jakim jest sondaż, dziś okazuje się nieskuteczne, stawiają sobie nie tylko politycy, ale także socjologowie i statystycy.

Już dzień po ogłoszeniu wyników wyborów w Wielkiej Brytanii organizacja zrzeszająca tamtejsze ośrodki badawcze British Polling Council oznajmiła, że przeprowadzi niezależne dochodzenie mające wyjaśnić źródła rozbieżności między większością sondaży a wynikiem wyborów z 7 maja tego roku. Średnie niedoszacowanie Partii Konserwatywnej wyniosło 4,2 proc., a przeszacowanie Partii Pracy 2,4 proc. Analogiczne badanie zostało przeprowadzone także w USA przez zespół ekspertów powołanych przez Instytut Gallupa i ogłoszone pół roku po listopadowych wyborach z 2012 r.

Komórka fałszuje próbę

Część przyczyn, które zidentyfikowali eksperci Instytutu Gallupa, dotyczy wspólnych dla wielu krajów – w tym Polski – elementów metodyki i praktyki badań sondażowych. O jakości sondażu decyduje w dużym stopniu reprezentatywność próby badawczej, która standardowo stanowi zaledwie ułamek procentu całej populacji wyborców.

Pojawiające się obecnie trudności z dotarciem do reprezentatywnej próby mają dwojaki charakter. Po pierwsze, nie jest już wystarczające losowe generowanie numerów telefonów (ang. random digit dialing), co przez wiele lat było powszechną praktyką ośrodków badawczych w wielu krajach. Telefony komórkowe nie identyfikują bowiem w sposób jednoznaczny gospodarstwa domowego ani też pełnoletniej osoby. Posiadaczom kilku telefonów komórkowych dają zaś większą szansę dostania się do próby. W USA okazało się ponadto, że posiadacze telefonów komórkowych są – jak wskazuje raport Instytutu Gallupa – grupą osób wiekowo młodszych, o większej przewadze sympatii dla jednej z dwóch czołowych partii (Partii Demokratycznej).

Po drugie, używane dotychczas cechy demograficzne wyborców jako wagi do uzyskania profilu próby zgodnego z profilem populacji zaczynają wskazywać na coraz mniejszą korelację z preferencjami politycznymi. Na przykład, o ile przez wiele lat istotne było kontrolowanie struktury próby ze względu na płeć, wiek, stan cywilny, bo cechy te w określonym stopniu determinowały polityczne postawy osób, o tyle obecnie wpływ tych cech maleje. Poszukiwać więc trzeba innych cech skorelowanych z politycznymi preferencjami wyborców, i to takich, co do których istnieje dostępna informacja o strukturze populacji według tych cech.

Rodzaj zabawy

Realizacja badań może jednak rodzić większe błędy. I nie chodzi jedynie o rozmijanie się intencji niektórych respondentów w próbie z późniejszym głosowaniem, czego jednym z powodów może być chęć sprostania tzw. poprawności politycznej.

Większy kłopot mają ośrodki badawcze z określeniem tej części ankietowanych respondentów, którzy ostatecznie wezmą udział w głosowaniu. Zauważmy, że w pierwszej turze wyborów prezydenckich do urn poszła mniej niż połowa uprawnionych. Przez wiele lat dobrze się sprawdzał, m.in. w Stanach Zjednoczonych, mechanizm subiektywnego przypisywania prawdopodobieństw poszczególnym respondentom, że pójdą na wybory. Kilka dodatkowych pytań zwykle wystarczało do określenia takich prawdopodobieństw. Ale współcześnie i ten mechanizm zawodzi, co przyznaje Instytut Gallupa we wspomnianym raporcie sprzed dwóch lat.

Najgorsza jest jednak sytuacja tych ośrodków, które nie stosują ani mechanizmów ważenia jednostek w próbie, ani technik przewidywania, którzy z ankietowanych respondentów wezmą rzeczywiście udział w wyborach. Rezygnują z tych czynności, bo brakuje na to czasu. Wiele wskazuje na to, że taka jest właśnie praktyka większości ośrodków wykonujących sondaże przedwyborcze w naszym kraju. Zbyt wiele jest wykonywanych sondaży w zbyt krótkim czasie. Ceną jest jakość ich wyników. To tłumaczy między innymi, dlaczego błędy w sondażach przed wyborami prezydenckimi w naszym kraju były większe od 8 pkt proc., podczas gdy w Wielkiej Brytanii i USA nie przekraczały połowy tej wielkości.