Dewaluacja sondaży

Zmiana lidera sondaży partyjnych, potwierdzona w kilku ostatnich badaniach, wydaje się prawdopodobna, tym bardziej że jest szereg racjonalnych powodów odwrócenia się części wyborców od PO. Przy małej aktywności rządu, w przekazie medialnym dominuje opozycja, zwłaszcza PiS. Jednak już skala zmiany poparcia dwóch największych partii może budzić wątpliwości co do jakości sondaży. Wykonywane zbyt często, a wskutek tego mało starannie, stają się bardziej narzędziem walki propagandowej niż rzetelnym badaniem socjologicznym.

Amber Gold i zagadkowy wzrost PO

Pierwszym sygnałem tego, że ośrodki badawcze mają trudności z dokładnym pomiarem postaw wyborców, było kilka niezależnych sondaży z końca sierpnia (m.in. TNS OBOP, CBOS, SMG KRC), które wskazywały na wzrost poparcia dla PO w czasie, gdy już dość dużo było wiadomo o aferze Amber Gold i o zaniedbaniach prokuratury.

O niespodziewanym wzroście notowań Platformy Obywatelskiej aż o 4 pkt proc. w drugiej połowie sierpnia poinformowała „Gazeta Wyborcza" (z 25–26 sierpnia), powołując się na badania CBOS. Z jednej strony przedstawiciel CBOS stwierdził, że miesiące wakacyjne – ze względu na urlopy – są trudnym czasem dla sondaży, z drugiej jednak wskazał, że badanie wykonano na reprezentatywnej próbie dorosłych Polaków.

Jest w tym pewna sprzeczność. Istota jej polega na tym, że owszem, zaprojektowana próba 1011 respondentów była z pewnością reprezentatywna, lecz z racji wyjazdów urlopowych nie można było do wszystkich wylosowanych respondentów dotrzeć, stąd zastąpieni oni zostali przez innych wyborców w próbie, a ostateczna próba utraciła swój pierwotny walor reprezentatywności.

Gdyby bowiem istniał doskonały mechanizm zastępowania w próbie osób, z którymi nie ma kontaktu lub które odmówiły udziału w badaniu, osobami dostępnymi i gotowymi do współpracy, to błąd braku odpowiedzi (ang. non-response error) nie byłby tak dokuczliwy we wszelkich badaniach sondażowych. Nie warto by wtedy w ogóle wspominać o wyjazdach urlopowych wyborców. Takiego mechanizmu jednak nie ma. Każda odmowa osoby wylosowanej do próby generuje błąd, który ma prawo się kumulować wraz z rosnącą liczbą odmów. Trudno jest w takich warunkach jednoznacznie określić stopień reprezentatywności próby, a w konsekwencji precyzji wyników.

Utrata kontroli nad błędami

Z kolei w badaniach z ostatnich tygodni, w których na czoło sondaży wysuwa się partia Jarosława Kaczyńskiego, poważne wątpliwości budzą duże różnice w poparciu dla PiS i dla PO w badaniach zrealizowanych przez różne ośrodki. Mówiąc ściślej, mało wiarygodne są wyniki, które w tym samym czasie dają partii raz poparcie 40 proc., a drugi raz 24 proc. (PiS), albo 28 proc. i 35 proc. (PO). Różnice siedmiu lub szesnastu punktów procentowych są dowodem tego, że niezależnie od deklarowanego przez ośrodki badawcze błędu losowania (3 proc.), ich wyniki są obciążone dużymi błędami o charakterze nielosowym, nad którymi wykonawcy utracili pełną kontrolę.

Powodem tej sytuacji jest zbyt krótki czas przeznaczony na badania, wynikający z oczekiwań zamawiających sondaże, i związana z tym zbyt duża częstotliwość badań. Byłoby lepiej dla wszystkich, gdyby wykonawcy sondaży traktowali je z taką uwagą (i powagą) jak każde inne badanie socjologiczne. Trzeba więc znacznie więcej czasu poświęcić na przykład na uważną analizę struktury tej grupy respondentów, którzy odmówili udziału w badaniu. Informacje o nich są tak samo cenne jak informacje uzyskane od tej części próby, która wzięła udział w badaniu. A to zaledwie jeden z błędów, które zniekształcają wnioskowanie o opiniach całej populacji. Czasu potrzeba także na rozpoznanie źródeł i skali innych błędów.

Sondaż jest niezwykle wrażliwym instrumentem badawczym, bo na podstawie próby stanowiącej jedynie ułamek promila populacji (1000 osób) jest w stanie opisać z dużą dokładnością rozkład opinii w całej zbiorowości (ok. 31 milionów dorosłych Polaków). Każde zniekształcenie tej małej w stosunku do populacji próby rodzi poważne konsekwencje dla precyzji wyników. Ale socjologowie i statystycy potrafią sobie radzić nawet wtedy, gdy zniekształcenia są poważne. Tyle tylko, że trzeba do tego i czasu, i dodatkowych informacji o respondentach.

Coraz więcej badań

Gdy TNS OBOP pracował nad prognozą wyborczą w ubiegłym roku przez czas znacznie dłuższy niż przy zwykłym sondażu, wykorzystując dodatkowe kwestionariusze z pytaniami do respondentów oraz metody imputacji i korekty odpowiedzi, to błąd każdego ugrupowania okazał się mniejszy od 1 proc. Wynik był więc znakomity. Nie oczekujmy jednak, że jakość tę zastąpić może duża liczba niemal codziennych sondaży. Przeciwnie – duża liczba sondaży oznaczać będzie zawsze malejącą ich jakość.

Sytuacja, kiedy komentatorzy stwierdzają, że o wiarygodności danego sondażu przesądzi kilka przyszłych badań, wykonanych przez inne ośrodki, nie jest zdrowa. W ten sposób powstaje naturalna potrzeba zwiększania liczby badań, skracania czasu ich realizacji, a w efekcie spadku ich jakości. I koło się zamyka.

Jeżeli sondaż chcemy traktować jak prawdziwe badanie socjologiczne, to z owego błędnego koła trzeba się wyrwać. Róbmy mniej sondaży, lecz staranniej i rzetelniej!