Łukasz Grzesiczak, Demagog: „86,6 proc. Rosjan popiera inwazję na kolejne europejskie kraje. Polska celem nr 1” – tak serwis Wprost.pl zatytułował tekst omawiający wyniki ukraińskiego sondażu Active Group przeprowadzonego w Rosji za pomocą aplikacji Viber. Czy jego wyniki można uznać za wiarygodne? Mamy się czego bać?

dr hab. Radosław Marzęcki: W nocie metodologicznej autorzy badania twierdzą, że przeprowadzono je na próbie reprezentatywnej, nawet wyliczyli błąd statystyczny, ale dodali, że samo badanie było zrealizowane drogą telefoniczną przez komunikator Viber. Pytania zadawano z terenu Ukrainy, ankieterzy nie informowali o tym swoich respondentów. Nie mamy kontroli nad tym, w jakim stopniu ta próba była reprezentatywna, poza deklaracją autorów. W tym przypadku to badanie można wpisać w propagandowy kontekst, jego wyniki są zgodne z interesami Ukrainy, kraju zaatakowanego przez Rosję. Niezależnie od tego, czy w pełni lub tylko w jakimś stopniu odzwierciedlają opinię współczesnych Rosjan, w interesie Ukraińców jest zwrócić uwagę opinii publicznej w Polsce czy w krajach bałtyckich na to zagrożenie. To, czy ono się zmaterializuje, zależy w dużej mierze od losów tej wojny. 

Ten sposób prowadzenia badań to ewenement, który mógł skutkować tym, że próba została dobrana niekoniecznie z zachowaniem wymogów metodologicznych. Ale jeśli odniesiemy wyniki do bardziej reprezentatywnych badań rosyjskich, które realizowane są regularnie, to zaobserwujemy szereg niepokojących zjawisk. W ich kontekście wyniki badania Active Group wydają się bardzo prawdopodobne, choć z drugiej strony trzeba mieć na uwadze, że warunki, w jakich kształtuje się współczesna rosyjska opinia publiczna, utrudniają precyzyjny opis tego, co faktycznie myślą Rosjanie o sprawach, na okoliczność których są sondowani. 

Na jakiej podstawie możemy to stwierdzić?

– Na przykład weryfikując te wyniki w oparciu o badania sondażowe realizowane w społeczeństwie rosyjskim, prowadzone przez organizacje niezależne jak np. Centrum Lewady. To organizacja, która zajmuje się także prowadzeniem badań nad opinią publiczną. Warto zwrócić na nią uwagę, bo została ona – bodaj w 2016 roku – wciągnięta przez rosyjskie Ministerstwo Sprawiedliwości na listę agentów zagranicznych. Jest to ważny punkt odniesienia, ich sondaże bowiem są też dobrze przygotowane metodologicznie – przedstawiają dane jawnie, precyzyjnie, nawet podając i tłumacząc czytelnikowi wielkość błędu statystycznego, co jest rzadkością w przypadku wielu takich badań realizowanych w Polsce, gdzie np. wyniki sondaży wyborczych prezentowane są bez żadnej instrukcji, jak je czytać i interpretować. Lewada podaje wszystkie istotne szczegóły: kiedy badanie było przeprowadzone, na jakiej próbie, jaką metodą, co jest jeszcze powszechnym standardem, a przede wszystkim: jak interpretować ostateczny wynik z uwzględnieniem błędu statystycznego. 

Sondaże Centrum Lewady wskazują, że w Rosji poparcie dla Putina od czasu inwazji Moskwy na Ukrainę wzrosło…

– Zgadza się. Sondaże Centrum Lewady pokazują, że w okresie agresji rosyjskiej na Ukrainę dramatycznie wzrosło poparcie dla prezydenta Putina, dla rządu, dla rosyjskiego premiera. Przybyło osób, które twierdzą, że sprawy w Rosji idą teraz w dobrym kierunku. To jest trend, który wcześniej przez wiele miesięcy nie był obserwowany.

Nawet Centrum Lewady zadając pytanie, nie posługuje się pojęciem „wojny”, lecz „specjalnej operacji”…

– To są pewne konteksty prawne i polityczne, w których organizacja musi funkcjonować, ale – i to trzeba silnie wyeksponować – prowadzi nas to do postawienia pytania o to, co diagnozują, nawet poprawne metodologicznie, badania sondażowe realizowane w zniewolonym społeczeństwie? Z jednej strony presja poprawności politycznej, wzmacniana podsycaniem atmosfery zagrożenia i podejrzliwości, z drugiej – narzędzie badawcze wywołujące nieadekwatne reakcje respondentów. Nietrudno sobie wyobrazić, że ocena moralna wojny wywołanej przez własny kraj kształtowałaby się zgoła inaczej niż ocena „specjalnej operacji wojskowej” służącej – jak przekonuje rosyjska propaganda – obronie ludności rosyjskojęzycznej przed „ludobójstwem”.

Jak bardzo można wierzyć sondażom przeprowadzonym w społeczeństwie autorytarnym?

– Warto tu powiedzieć o funkcjach sondaży. Z jednej strony to funkcja informacyjna – w tym sensie są swoistym lustrem, w którym społeczeństwo się przegląda, zyskuje wiedzę o sobie samym. Ale sondaże pełnią też funkcję perswazyjną, a ich wyniki – czy zmanipulowane interpretacje wyników rzetelnych sondaży – mogą być instrumentalnie wykorzystywane do kształtowania postaw. Kiedy więc mowa o badaniach nad opinią publiczną w krajach niedemokratycznych, na pierwszy plan wysuwa się kwestia propagandy. Stąd też nasza nieufność wobec tych badań: sądzimy, że wyniki mogą być preparowane, pytania mogą być zadawane w taki sposób, by uzyskiwać odpowiednie rozkłady odpowiedzi, a być może nawet dochodzi do jakichś manipulacji matematycznych lub takich badań w ogóle nie było. Najpoważniejsze wątpliwości powinny budzić badania prowadzone przez ośrodki kontrolowane przez władzę.

Mamy też do czynienia ze zjawiskiem udzielania nieprawdziwych odpowiedzi przez samych respondentów – z różnych względów. Najczęściej ze strachu przed sankcją. W Rosji trwa kampania zastraszania przez służby specjalne obywateli próbujących obiektywnie informować o wojnie, a Duma Państwowa uchwaliła prawo wprowadzające grzywny i kary więzienia dla osób, którzy rozpowszechniają „fałszywe informacje” o Siłach Zbrojnych Federacji Rosyjskiej.

Dokładnie na ten element propagandy realizowanej przy użyciu sondaży zwrócił uwagę Aleksiej Nawalny w jednym ze swoich ostatnich wpisów w mediach społecznościowych. Zdaniem Nawalnego „Putin, aby móc zabijać Ukraińców, bardzo potrzebuje poparcia dla wojny wewnątrz Rosji”. Twierdzi, że kłamstwem jest, iż poparcie to deklaruje trzy czwarte społeczeństwa. Pyta też retorycznie, o jakich badaniach socjologicznych możemy mówić w sytuacji, kiedy sprzeciw wobec rosyjskiej agresji na Ukrainie może skutkować karą 15 lat pozbawienia wolności zarówno dla socjologa, jak i respondenta.

Znaczenie ma też to, skąd ludzie czerpią informacje, na podstawie których formułują swoją opinię – stąd ten specyficzny system medialny w Rosji, embargo na różnego rodzaju informacje, brak pluralizmu stanowią istotny czynnik deformujący opinię publiczną. Opinie odzwierciedlają to, w co ludzie naprawdę wierzą, ale mogłyby być inne, gdyby mieli dostęp do pluralistycznych źródeł informacji. A ci, którzy przekazom medialnym nie dają wiary, ukrywają swoje faktyczne opinie w obawie przed sankcją formalną (karą, grzywną), albo społeczną (ostracyzmem ze strony konformistycznej większości lub denuncjacją).

Jakie to może mieć znaczenie?

Czy w obliczu tego wszystkiego jesteśmy w stanie stwierdzić, jak bardzo wiarygodne są wyniki badania?

– Dla laika jest to bardzo trudne. W badaniach realizowanych w Polsce czy w innych demokracjach manipulacje oczywiście są możliwe, ale uznane pracownie badawcze starają się dbać o swoją reputację. Powszechne są natomiast błędy, zarówno losowe, jak i nielosowe, które obniżają wartość poznawczą uzyskiwanych wyników. Kiedy wnioskujemy z danych, które zebraliśmy na próbie wylosowanej z określonej populacji, procedura ta jest obarczona pewnym rodzajem błędu, który nazywamy błędem statystycznym czy błędem oszacowania. Jeśli chcemy dokonywać w sposób uprawniony generalizacji, badana grupa, którą my nazywamy próbą badawczą, musi odzwierciedlać zestaw najważniejszych cech społeczno-demograficznych typowych dla społeczeństwa: płeć, wiek, może to być także miejsce zamieszkania, wykształcenie, osiągane dochody, praktyki religijne. Próba reprezentatywna powinna być takim społeczeństwem w pigułce. 

Przecież zdajemy sobie sprawę, że młodzi ludzie mają nieco inne preferencje np. wyborcze niż osoby starsze. I jeżeli nasza próba będzie się składała w 50 proc. z osób do 30. roku życia, a drugie 50 proc. to będzie cała reszta społeczeństwa, to uzyskamy wynik zniekształcony. Im  więcej tych zmiennych chcemy kontrolować, tym więcej musimy zapłacić za wykonanie takiego badania. Czynnik ekonomiczny jest ważną determinantą jakości badań, o którym się rzadziej wspomina.

Wracając do specyfiki sondaży w społeczeństwach autorytarnych: jak istotny jest wspomniany wątek strachu?

– Odgrywa sporą rolę, zresztą nie tylko w społeczeństwach autorytarnych. W polskiej literaturze socjologicznej pojawiają się na przykład informacje, że w sondażach przeprowadzonych face to face, czyli twarzą w twarz przez ankietera przychodzącego do respondenta, przeszacowane są z reguły partie rządzące. Abstrahując od obecnego kontekstu politycznego, to zjawisko było widoczne już wcześniej. 

W Polsce tą metodą przez wiele lat posługiwał się CBOS. Zmieniło się to trochę w okresie pandemii, jednak w badaniach CBOS partie rządzące często były przeszacowane.

Dlaczego?

– Tłumaczono to tym, że respondenci, niekoniecznie wyrafinowani politycznie, traktowali ankieterów jako funkcjonariuszy publicznych, którzy przychodzą i wypytują o różne kwestie. Odpowiadali więc często tak, jak sądzili, że się tego od nich oczekuje.

Trudno jednak stosować nasze doświadczenie do społeczeństw, które kształtowane są przez państwa absolutnie niedemokratyczne. W systemach, gdzie opinia publiczna jest kontrolowana – w krajach, które w różnych rankingach demokratyczności są na samym końcu – nie ma pełnej swobody wypowiedzi, a opinia publiczna jest de facto zniewolona. Wskaźnik jakości demokracji, opracowywany dorocznie przez organizację Freedom House, dla Rosji wynosi 19 (w skali 0-100). Dla porównania wskaźnik ten dla Ukrainy wynosi 61, a dla Polski 81. To są naprawdę nieporównywalne warunki dla prowadzenia wolnych i rzetelnych badań sondażowych.

Według najnowszego ukraińskiego sondażu Rating 88 proc. respondentów uważa, że ​​Ukraina będzie w stanie odeprzeć atak Rosji. 98 proc. respondentów popiera działania Sił Zbrojnych Ukrainy, a 93 proc. popiera działania prezydenta Wołodymyra Zełenskiego. Czy można wierzyć w tak ogromny optymizm Ukraińców? Skąd on się bierze?

– W tym przypadku można powtórzyć wszystkie dotychczasowe uwagi na temat badań sondażowych realizowanych w szczególnych warunkach – politycznych, informacyjnych, psychologicznych itd. Z metodologicznego punktu widzenia należy zgłosić wątpliwość dotyczącą możliwości uzyskania pełnej reprezentatywności próby w sytuacji, kiedy już kilka milionów obywateli Ukrainy musiało uciekać ze swojego miejsca zamieszkania. Większość z nich przemieściła się wewnątrz kraju, inni uciekli za granicę. Ktoś zwróci uwagę, że badanie zrealizowano telefonicznie, ale myślę, że w tym badaniu nie chodzi o kwestię rzetelności.

Przekaz medialny, ale i polityczny na Ukrainie z pewnością jest też zorientowany na podtrzymywanie „ducha w narodzie”, a nie podkopywanie morale. Być może taką rolę pełni też to badanie, gdyż – powtórzę – prezentowane publicznie wyniki sondaży służą nie tylko informacji, ale też perswazji. W kontekście wojennym szczególnie, czasem mogą przysłużyć się dobrej sprawie. I tak traktujmy w tym momencie takie doniesienia, nie porównujmy ich z badaniami prowadzonymi w normalnych warunkach.

Wyobraźmy sobie sondaż wyborczy. Na jakiej podstawie przekonać się, czy jest wiarygodny, a kiedy powinna zapalić się nam czerwona lampka? 

– Przede wszystkim – sondaż zawsze obarczony jest pewnymi niedoskonałościami, które są wpisane w tę metodę. Czasem zapominamy, że  jest to badanie naukowe, a w naukach społecznych mamy problem z precyzyjnymi narzędziami pomiarowymi.

Jakie to ma konsekwencje?

– Próbując to wyjaśnić, zawsze w tym kontekście używam metafory zdjęcia wykonanego podczas zdarzenia o dynamicznym charakterze. Wyobraźmy sobie na przykład bieg sportowców: Igrzyska Olimpijskie w 1972 roku w Monachium, finał biegu na 800 metrów. To jest dla mnie taka metafora kampanii wyborczej. Wykonuję zrzuty ekranu w czterech różnych momentach tego wyścigu. To mogą być sondaże zrealizowane pół roku, kilka miesięcy, kilka tygodni i kilka dni przed wyborami. Na każdym z nich stawka zawodników kształtuje się nieco inaczej. Peleton szybko ucieka Amerykaninowi Dave’owi Wottle, który przez ¾ rywalizacji biegnie ostatni, ale w pewnym momencie zaczyna przyspieszać i w efekcie wygrywa wyścig o włos. 

Sondaż to jest takie zdjęcie, jeden moment z długiego procesu. Zapisuje informacje w danym miejscu i czasie. Rzeczywistość, którą próbujemy często opisać przy jego użyciu, jest natomiast dynamiczna. Ten stolik nie zmieni swojej szerokości, ale dzisiaj mogę mieć opinię taką, jutro mogę mieć inną. Zawsze może wydarzyć się coś, co zmieni moje nastawienie, przekonania czy poglądy. Mogę przywołać sprawę wyborów prezydenckich w 2020 roku. Tam również stawka kandydatów, szczególnie po stronie opozycyjnej, tasowała się bardzo dynamicznie.

Wróćmy do 2015 roku i sondaży ze stycznia i lutego w tamtym czasie, a potem przypomnijmy sobie wysuwane wówczas argumenty przeciwko sondażom, np. że Komorowski nie mógł przegrać z Dudą. Ale to było w styczniu i w lutym, a potem rozpoczęła się kampania wyborcza, która jest właśnie po to, by na wyborców oddziaływać i zmieniać ich opinię. To wtedy uruchamia się szereg mechanizmów i przekazów, które mają na nas wpływać, nie mówiąc o tym, że wielu z nas decyzję zwykle podejmuje w ostatniej chwili. Tylko niewielka część społeczeństwa zawsze głosowała na tych samych kandydatów czy partię.

Można sobie poradzić z tym ograniczeniem?

Ciekawe rozwiązanie stosuje niemiecka pracownia pollytix, przedstawiając na wykresach liniowych trend wyborczy obliczany codziennie na podstawie średniej ważonej wszystkich sondaży z ostatnich 20 dni. W tym sensie jest on bardziej odporny na nietypowe rezultaty uzyskiwane w pojedynczych badaniach.

Niestety nie jest powszechnie wiadomo, że wynik sondażu mówi nam wyłącznie o pewnej ewentualności, która może, ale nie musi się zmaterializować. Badacze próbują minimalizować ryzyko pomyłki, ale w pełni nigdy go nie zredukują. To wiedzą niemal wszyscy socjologowie i statystycy, ale rzadko kiedy zwykli obywatele czy dziennikarze referujący w mediach wyniki badań.

W interpretacji danych z badań sondażowych powinniśmy uwzględnić tzw. poziom ufności, czyli poziom zaufania do uzyskanych wyników. Naturalnie, powinno być ono ograniczone, zwykle zakładamy, że w 5 proc. możemy się mylić. Stąd poziom ufności określany jest często jako 95 proc. Wówczas możemy założyć – i jest to uwaga dotycząca zdecydowanej większości sondaży, z jakimi spotkaliśmy się w życiu za pośrednictwem przekazów medialnych – że na 95 proc. wynik z próby nie będzie się różnił od odsetka w populacji o więcej niż błąd statystyczny. Jak widać, pojawia się tu kolejne pojęcie z zakresu statystyki – błąd statystyczny czy błąd oszacowania. Projektując badanie sondażowe, przyjmujemy określone założenia dotyczące tych parametrów. Jaki błąd jesteśmy w stanie zaakceptować? 

Co ze wspomnianym błędem statystycznym? Dlaczego jest tak ważny?

– Przenoszenie wniosków z próby badawczej na populację, czyli tzw. generalizowanie, zawsze jest obarczone błędem statystycznym (oszacowania/losowym), który wynosi najczęściej 3 proc., ale badacz może zdefiniować go na wyższym lub niższym poziomie. Wówczas będzie musiał spełnić mniej lub bardziej  rygorystyczne wymogi dotyczące np. liczebności próby. Posługiwanie się stałą wartością błędu statystycznego dla wszystkich wyników badania jest pewnym uproszczeniem, gdyż faktycznie jego wielkość zależy od tego, jak silnie reprezentowana jest wartość danej zmiennej w tejże próbie. Kiedy mamy sondaż wyborczy, z którego wynika, że partia polityczna wśród respondentów ma 50 proc. poparcia, druga ma 20 proc., a trzecia 10 proc., to błąd statystyczny dla rezultatu tej pierwszej będzie wynosił plus/minus 3 proc., a dla tej ostatniej plus/minus 2 proc. Ale by nie komplikować, posługując się kryterium błędu statystycznego, mówimy prosto: 3 proc.

Dlaczego?

– Wyborcy sugerują się wynikiem sondażowym ugrupowań, z którymi sympatyzują, ale mają też swoje alternatywy. Mogą kalkulować, przerzucać głosy na inne opcje w obawie, że partia pierwszego wyboru odpadnie z rywalizacji. Tymczasem partia, która cieszy się popularnością wśród 4 proc. respondentów z próby, wciąż może liczyć na to, że w populacji posiada poparcie, które pozwala przekroczyć próg wyborczy. Inną sprawą jest to, że do głosowania zwykle chodzi tylko część – nie zawsze większość – populacji. To również utrudnia przewidywanie wyników wyborów.

Warto przy tym wspomnieć o wielkości próby badawczej, gdyż od tego również zależy dokładność wyniku. Akceptując poziom ufności 95 proc. i stosunkowo wysoki błąd statystyczny 5 proc. możemy zrealizować badanie na próbie około 350 dorosłych Polaków. Ale wówczas faktyczny wynik badania należałoby interpretować z uwzględnieniem 10-procentowego przedziału ufności (plus/minus 5 proc. od wyniku z próby). Nie ma to większej wartości poznawczej.

Na jakiej grupie najczęściej prowadzi się badania sondażowe w Polsce?

– Klasyczne badanie sondażowe realizowane jest zwykle na próbach ok. 1 000-osobowych, co pozwala ufać wynikom na 95 proc. przy założeniu błędu oszacowania na poziomie plus/minus 2-3 proc. Zwiększenie próby dwu- lub trzykrotnie w zasadzie niewiele nam daje. Z kolei, jeśli chcielibyśmy zrealizować skrajnie dokładne badanie (poziom ufności 99,99 proc. i błąd statystyczny plus/minus 1 proc.), to próba badawcza powinna objąć nie 2 lub 3 tys., ale ok. 30 tys. osób, co radykalnie podnosi koszty takiego badania, czyniąc je praktycznie niemożliwym do realizacji. Wyjątkiem są sondaże typu exit poll, realizowane w dniu wyborów, a finansowane w Polsce wspólnie przez największe stacje telewizyjne.

Prowadzone są na o wiele większych próbach i są dużo dokładniejsze niż standardowe sondaże, ale też więcej kosztują. Przykładowo, po drugiej turze wyborów prezydenckich we Francji wynik exit poll zarówno dla E. Macrona, jak i M. Le Pen różnił się od oficjalnego zaledwie o 0,25 punktu procentowego. W Polsce w ostatnich latach różnica nie przekraczała 1,5 punktu proc., a często była poniżej 1 punktu proc. 

Wielkość błędu statystycznego przy prezentacji wyników sondaży jest jednak podawana niezwykle rzadko. Kilka lat temu czytałem wywiad z dyrektorem z jednej z pracowni badawczych i padło pytanie, dlaczego tak się dzieje. Odpowiedź była dość oczywista: zajmuje to dużo miejsca i wymaga długich i skomplikowanych wyjaśnień dla laika, a tymczasem przekaz medialny ma być prosty i jednoznaczny. Nawet nie potrafimy sobie wyobrazić prezentera, który w serwisie informacyjnym interpretuje nam wyniki badania sondażowego przy użyciu takich pojęć jak poziom ufności czy błąd statystyczny, tłumacząc przy tym ich znaczenie.

Z drugiej strony, kiedy pomijamy ich rolę, to tworzymy – fałszywe – przekonanie, że wynik sondażu stanowi swoistą „prawdę objawioną”. A kiedy wynik wyborów odbiega od rezultatu badania, to zyskujemy kolejne „potwierdzenie” mitu o zmanipulowanych sondażach, nie dostrzegając, że przyczyną dysonansu poznawczego jest nasza ignorancja i bezrefleksyjna ufność w przekaz medialny. 

Na co jeszcze zwrócić uwagę? Jakie są dobre praktyki?

– Nota metodologiczna to krótka informacja na temat badania, która zwykle znajduje się na dole takiego omówienia lub przy infografice z danymi. Warto zwrócić w niej uwagę na kilka kwestii. Przede wszystkim powinniśmy się dowiedzieć, kto to badanie przeprowadził. Pracownie mają swoją lepszą lub gorszą reputację. Istnieją serwisy, które archiwizują i porównują wyniki badań sondażowych. Osoby, które to bardziej interesuje, mogą się przyjrzeć długookresowym trendom, jak również różnicom w wynikach badań prowadzonych przez różne podmioty. Tak odkryją, że pracownia X zwykle bardziej odbiega od ostatecznych wyników wyborów, a wyniki uzyskane przez pracownię Y są bardziej trafne. Takie obserwacje możliwe są jednak dopiero post factum, bezpośrednio po wyborach. Możemy również próbować odszukać w Internecie raporty na temat trafności sondaży realizowanych przed różnymi wyborami w Polsce. Ich lektura jest bardzo pouczająca.

Mało trafny wynik to nie zawsze wina sondażowni. Są także błędy nielosowe, które wpływają na wynik. Załóżmy, że wylosowaliśmy sobie 1 000 osób do badania, a 50 proc. z tej próby odmówiło nam udziału w badaniu. To badanie telefoniczne, łatwo odmówić. Wtedy próbuję uzupełnić próbę przez kolejne losowanie. Nie wiem, z jakich względów osoby, które mi odmówiły, dokonały tego aktu. Nie interesują się polityką? Może uważają, że mają kontrowersyjne poglądy polityczne, nie chcą się nimi dzielić? Nie wiemy, ile z nich chodzi na wybory. To dolosowanie ingeruje w próbę.

Można odmówić udziału w badaniu, ale głosować w dniu wyborów. Ci odmawiający mogą mieć swoją specyfikę, np. mogą wśród nich dominować wyborcy jednej partii czy kandydata, a to prowadzi do wypaczenia wyniku. Ale mamy tu do czynienia z jeszcze innym problemem. Sondaż wyborczy różni się od tzw. prognozy wyborczej, w ramach której próbujemy przewidzieć nie tylko, jakie opinie mają respondenci w danym miejscu i czasie, ale jak faktycznie zachowają się w dniu wyborów. Nie tylko ci, którzy mają wykrystalizowane poglądy, ale także ci, którzy się jeszcze nie zdecydowali lub – z różnych względów – ukrywają swoje opinie wobec ankietera. Wielką sztuką jest przewidzieć, którzy respondenci faktycznie wezmą udział w wyborach. Przeszacowanie poziomu frekwencji, co się bardzo często zdarza, powinno nam dawać do myślenia. Taką prognozę o wiele trudniej przygotować, jest droższa, a polski paradoks jest taki, że przed wyborami w 2020 roku to niektóre sondaże były bardziej dokładne niż prognozy.

Na co jeszcze zwracać uwagę?

– Powinniśmy też przyjrzeć się bliżej odsetkowi odpowiedzi „Trudno powiedzieć”. Im jest on wyższy, tym badanie sondażowe jest mniej dokładne. Głosy tych osób, jeśli pójdą do urn wyborczych, z pewnością nie rozłożą się równomiernie pomiędzy wszystkie elektoraty.

Ważny jest moment badania. Z jednej strony dlatego, że chcielibyśmy wiedzieć, czy jakieś ważne wydarzenia mogły mieć wpływ na opinię respondentów, ale z drugiej należy pamiętać o tym, że zbyt wczesna próba diagnozy powoduje, iż nie identyfikujemy opinii wielu respondentów z dosyć prozaicznego powodu – one się jeszcze nie wykrystalizowały. Z sondażu exit poll w dniu wyborów prezydenckich w USA w 2020 roku dowiadujemy się, że 13 proc. badanych podjęło decyzję w ostatnim miesiącu przed wyborami, a 5 proc. w ostatnim tygodniu. W Polsce do podjęcia finalnej decyzji dopiero w dniu wyborów parlamentarnych w 2019 roku, tj. w niedzielę, przyznało się 10 proc. respondentów.

Co jeszcze?

– Badana zbiorowość, czyli populacja. Musimy wiedzieć, do kogo odnosić uzyskane wyniki. Wszystkich Polaków? Tylko dorosłych? Studentów? Kilka lat temu „Newsweek” zlecił badanie, które dotyczyło stosunku do ekshumacji ofiar katastrofy smoleńskiej, a w próbie znaleźli się respondenci w wieku od 16 do 64 lat. Nie przemilczano tego faktu, pojawił się w nocie metodologicznej, mniejszym drukiem pod wykresem. Laik tego nie zauważy, ale świadomy odbiorca powinien zwrócić na to uwagę. 

Było to bowiem duże nadużycie. W artykule posługiwano się takimi generalizacjami jak „większość Polaków jest przeciwna”, „społeczeństwo polskie przywiązuje wagę”, tymczasem w projektowanej próbie badawczej wcale nie znaleźli się wszyscy Polacy. Próba, jak już wspominaliśmy, powinna odzwierciedlać społeczeństwo, to zaś nie kończy się na 60-latkach. Nieco mniej kontrowersyjne jest włączanie do próby ludzi w wieku 16-18 lat, aczkolwiek standard jest taki, że – o ile nie ma innego uzasadnienia – badania sondażowe prowadzimy na próbie dorosłych obywateli. Jeśli próbę losujemy z dorosłej populacji, to wyniki sondażu możemy generalizować na dorosłych Polaków. Stosowanie kryteriów wyłączających ważne grupy społeczne z udziału w próbie jest nadużyciem, kiedy następnie posługujemy się takimi uogólnieniami jak „Polacy uważają, że…”.

Ostatnio na Węgrzech przed wyborami parlamentarnymi przeprowadzono badanie wśród nowych wyborców, tych, którzy będą głosowali po raz pierwszy. W tej próbie znaleźli się 17-latkowie, ale to jest uzasadnione problemem badawczym. Mogą nas też interesować poglądy polityczne uczniów, natomiast kiedy projektujemy badanie, które ma oddawać opinię społeczeństwa polskiego, próba powinna odzwierciedlać dorosłą część populacji. Domykanie tej próby na poziomie 64 lat jest nieuzasadnione. Można domniemywać, że w przypadku tej kontrowersyjnej i silnie upolitycznionej kwestii osoby starsze będą miały inne poglądy niż ta młodsza część populacji. 

Czy istotny jest zamawiający sondaż? Przykładowo badanie zamawia partia, której zależy na ogłoszeniu, że jest nad progiem wyborczym. Czy instytucja zamawiająca może wpłynąć na badanie i wynik?

– Takiej wiedzy nie mamy i zapewne sprawy te są objęte tajemnicą handlową. Partie polityczne rzadko zamawiają sondaże, którymi się chwalą publicznie. Zlecają sondaże regularnie, ale służy im to do obserwacji nastrojów społecznych, trendów i podporządkowania różnych działań czy wycofywania się z nich.

Naturalnie obserwujemy też zjawisko, że pewne sondażownie przeszacowują wynik jakieś partii, ale jeśli popatrzymy na najważniejsze sondaże, to kolejność partii jest wszędzie taka sama. Różnice wynikają ze sposobu przeliczania wyników, tzw. procentowania. Jedna pracownia wyłącza z procentowania osoby niezdecydowane, na kogo głosować, inna wyłącza osoby, które jeszcze nie wiedzą, czy pójdą do głosowania. Najtrudniejsze w sondażu jest przewidzenie zachowania osób, które – choć deklarują sympatie polityczne – nie pójdą na wybory. 

W jaki sposób jest przeprowadzany sondaż?

– Najczęściej wykonuje się wywiady telefoniczne wspomagane komputerowo, tzw. CATI (Computer Assisted Telephone Interview). W trakcie rozmowy z respondentem ankieter na bieżąco notuje uzyskane odpowiedzi przy użyciu specjalnego oprogramowania ułatwiającego późniejszą analizę danych. Raporty trafności badań sondażowych potwierdzają, że jest to najdokładniejsza ze znanych metod. Niewątpliwie wpływ oddziaływania różnych czynników mogących zniekształcać wyniki jest tu najmniejszy. Badanie jest maksymalnie anonimowe, może być szybko i sprawnie zrealizowane, a wyniki niezwłocznie dostarczone do zleceniodawcy. Słabością może być to, że respondentom łatwiej jest odmawiać udziału w badaniu telefonicznym. Alternatywą są badania bezpośrednie, tzw. PAPI (Paper and Pen Personal Interview) lub CAPI (Computer Assisted Personal Interview), choć rezultaty sondaży wyborczych realizowanych tą metodą uchodzą za najmniej dokładne, m.in. z uwagi na wpływ ankietera, także ten nieintencjonalny, na respondenta czy sposób, w jaki respondent postrzega samego ankietera.

W ostatnim czasie widzimy coraz więcej badań realizowanych metodą CAWI (Computer-Assisted Web Interview), są to wywiady internetowe. Są one zdecydowanie tańsze niż badania telefoniczne czy bezpośrednie, natomiast w tematach społecznych i politycznych jest to bardzo niedokładne narzędzie ze względu na swoiste wykluczenie cyfrowe osób starszych, które w starzejącym się społeczeństwie stanowią być może najbardziej wpływowy elektorat.

Czy same pytania, sposób ich zadawania wpływają na wynik?

– Różnice w wynikach sondażu na podobny temat mogą się brać z tego, że dane pytanie było zadane na początku kwestionariusza lub na końcu. Mówi się wtedy, że respondent był roztrenowany, rozgrzany. Zadane mu pytania tworzą pewien kontekst, budują nastawienie. Dodatkowo seria pytań sugerujących zadanych przed kluczowym pytaniem o preferencje wyborcze również może zdeterminować rezultat.

Wpływ może mieć kolejność opcji w tzw. kafeterii odpowiedzi. W przypadku sondażu telefonicznego te propozycje odpowiedzi są odczytywane, a jeśli respondent ma ich do wyboru kilkanaście – np. partii politycznych – okazuje się, że najwięcej zapamiętał z początku i z końca. Jeżeli ma wykrystalizowane poglądy polityczne, nie jest mu to potrzebne, bo odpowie od razu, ale to nie jest normą. Dlatego stosuje się tu czasem rotację odpowiedzi, każdemu respondentowi czyta się te odpowiedzi w innej kolejności.

Czy są jeszcze jakieś istotne informacje, które powinny się pojawić w przypadku omawiania sondażu?

– Warto zwrócić uwagę na sposób doboru próby. Czy był losowy? Najczęściej jest. Ale może być celowy, dlatego powinniśmy odróżniać sondaże od sond internetowych. „Celowy” to znaczy, że nie losujemy ze zbioru danych, ale pytamy osoby spełniające jakieś kryteria. Na przykład realizuję badanie wśród studentów i pytam stu przypadkowo spotkanych studentów. Nie są reprezentatywne dla populacji studentów tego uniwersytetu, nie kontrolowałem bowiem w próbie liczebności studentów na danym wydziale czy roczniku.

Co to w praktyce oznacza?

– Podam przykład badania Kantar Public dla tygodnika „Polityka”. Zadano pytanie, czy w sytuacji zagrożenia trzeba zawiesić spory i wspierać  działania obozu rządzącego. Dlaczego to pytanie nie zostało zadane bardziej neutralnie, np. czy partie polityczne powinny zawiesić spory i realizować wspólną wizję polityki zagranicznej? Pomijam fakt, że jest to pytanie dotyczące dwóch kwestii jednocześnie. Respondent może optować za wygaszeniem politycznych sporów, co nie musi być jednoznaczne ze wspieraniem działań jednej opcji politycznej. To powoduje trudności interpretacyjne, a czasem może prowadzić do nadinterpretacji uzyskanych wyników.

Czy w związku z tym, że sondaże mogą wyraźnie wpływać na wyborców, dobrym wyjściem jest zakazanie publikacji sondaży przed wyborami?

– W teorii tak i intencja tego zakazu byłaby słuszna, prodemokratyczna – chodziłoby o to, by wyborca przestał kalkulować, orientować się na opinię większości, ale sam oceniał, co jest dla niego ważne, jakie ma interesy i jak powinien się zachować w dniu wyborów, chcąc te wartości promować, a interesy chronić. Sam przez dłuższy czas wierzyłem, że zakaz publikacji wyników sondaży bezpośrednio przed wyborami jest dobrym rozwiązaniem.

Obecnie jednak nie jestem jego zwolennikiem, ponieważ mogłoby ono skutkować czymś jeszcze bardziej negatywnym. Jeżeli wprowadzimy embargo sondażowe, to znane nam „bazarki”, które obserwujemy w dniu wyborów, mielibyśmy na co dzień – powstałaby szara strefa sondażowa. Pojawiłoby się pole do manipulacji i dezinformacji, informacje podawane byłyby różnymi kanałami. Nie sposób byłoby ocenić, który „bazarek” jest prawdziwy, a który zmanipulowany. A powinniśmy dążyć do podnoszenia standardów prowadzenia badań sondażowych, co – jestem o tym przekonany – wpłynie na ich autorytet. Dlatego trzeba szerzyć wiedzę o tym, co tak naprawdę mówią nam wyniki sondaży. Nie są ani „prawdą objawioną”, ani „czystym kłamstwem”. Są głównym źródłem informacji o tym, co myślimy na ważne społeczno-polityczne tematy, ale rzetelna interpretacja wyników wymaga pewnego rodzaju kompetencji socjologicznej.  

O rozmówcy:

Radosław Marzęcki – dr hab., prof. Uniwersytetu Pedagogicznego im. KEN w Krakowie, politolog i socjolog. Jego zainteresowania naukowe dotyczą sondaży wyborczych, roli młodzieży w procesach politycznych, kultury politycznej, społeczeństwa obywatelskiego oraz dyskursu politycznego. Autor książek: Młody obywatel we współczesnej demokracji europejskiej (2013); Pokolenie ’89. Aksjologia i aktywność młodych Polaków (2015); Pierwsze pokolenia wolności. Uwarunkowania i wzory partycypacji w sferze publicznej polskich i ukraińskich studentów (2020).