Jak rodzi się błąd

Część polityków i komentatorów z niedowierzaniem przyjęła wyniki sondażu, w którym liderem okazał się PiS z 11-punktową przewagą nad PO. Sondaż ten wykonał TNS Polska (dawniej TNS OBOP) dla TVP 13 sierpnia. Z powodu wielkości przewagi Prawa i Sprawiedliwości nad Platformą Obywatelską zaczęły się pojawiać próby jego dyskwalifikowania, jako że wykonany został w pełni sezonu urlopowego. Tymczasem inne badania, w tym sondaż CBOS, wg którego PO ma jeden punkt proc. przewagi nad PiS, także wykonano w sezonie wakacyjnym (1–12 sierpnia) i komentarzy podobnych nie prowokowały.

Instytut Gallupa zauważył, że w grupie posiadaczy telefonów komórkowych jest więcej sympatyków Partii Demokratycznej, niż wśród posiadaczy telefonu stacjonarnego

Sądzę, że na różnice w wynikach poszczególnych sondaży większy wpływ ma procent niezdecydowanych i procent tych, którzy nie wezmą udziału w głosowaniu, aniżeli miesiąc jego realizacji.

Dzień prawdy

W przywołanych tu badaniach aż 30–35 proc. deklaruje, że nie wie jeszcze, na kogo zagłosuje. Ta grupa, jeżeli ostatecznie w ogóle weźmie udział w wyborach, może wyniki dzisiejszych sondaży zarówno wzmocnić, jak i zmienić. Ponadto oba ośrodki badawcze wskazują na dopuszczalny błąd badania ok. 3 proc., jednak w rzeczywistości błąd ten ma prawo być większy.

Jednym z powodów tego jest fakt obliczania procentowego poparcia dla poszczególnych partii w odniesieniu tylko do tych respondentów, którzy zadeklarowali chęć udziału w wyborach i wiedzą, na kogo zagłosują. Tych jednak jest jedynie 53 proc. w badaniu TNS Polska i mniej niż 52 proc. w badaniu CBOS. W rzeczywistości więc struktura preferencji wyborczych zostaje określona na podstawie deklaracji nie 1000 osób lecz około 500, co rodzi większy niż 3-proc. błąd statystyczny.

Rodzi się więc pytanie, kto jest bliższy prawdy? Którą z kilku pracowni regularnie wykonujących sondaże wyborcze obdarzyć zaufaniem? Czy jest dla nich jakiś „dzień prawdy”, jakiś moment, w którym każdy z nas może stwierdzić, że jeden z ośrodków jest bardziej, a inny mniej profesjonalny?

Tym wyjątkowym dniem jest dopiero dzień wyborów. Zgodność prognozy z rzeczywistym wynikiem wyborów jest dla pracowni sondażowych najważniejszym testem ich wiarygodności i profesjonalizmu.

Okazuje się jednak, że ów najważniejszy egzamin zdarza się od czasu do czasu oblać także tym największym. Instytut Gallupa po raz pierwszy (od 1948 r., kiedy wszystkie liczące się w USA pracownie błędnie typowały jako zwycięzcę wyborów prezydenckich Thomasa Deweya, a w rzeczywistości wygrał Harry Truman) ponownie pomylił się w ubiegłym roku. Według prognozy Gallupa wybory 2012 roku miał wygrać Mitt Romney (49 proc.), wyprzedzając o jeden punkt procentowy Baracka Obamę. Wybory 6 listopada 2012 r. wygrał tymczasem Barack Obama z wynikiem o 3,85 pkt proc. lepszym od swojego republikańskiego rywala.

Wśród wielu rozważanych źródeł pomyłki, za decydujące uznano cztery: nieskuteczność dotychczasowego modelu wnioskowania o prawdopodobieństwie uczestniczenia respondenta w wyborach, nie w pełni reprezentatywna próba w ujęciu geograficznym, błędy w określeniu struktury etnicznej respondentów oraz niezweryfikowany wystarczająco sposób losowania respondentów do próby – użytkowników telefonów stacjonarnych i komórkowych.

Konieczna weryfikacja

Dla polskiego odbiorcy sondaży i badań przedwyborczych godne uwagi są dwa z tych źródeł, pierwsze i ostatnie. W konstrukcji prognozy wyborczej zawiódł Gallupa przede wszystkim mechanizm przypisywania respondentowi subiektywnego prawdopodobieństwa, że weźmie on udział w wyborach. Ten sam mechanizm, z którego przez wiele lat dumni byli badacze Instytutu Gallupa, i który pozwolił im 10 lat wcześniej (5 listopada 2002 r.) przewidzieć wynik wyborów do Kongresu USA z błędem niewiele przekraczającym pół punktu procentowego.