W naukowym czasopiśmie „Science Advances” ukazało się badanie dotyczące społecznego („crowd”) fact-checkingu, czyli weryfikowania informacji przez chętnych do tego amatorów. Podstawowymi parametrami badania były niskie koszty weryfikacji informacji w Internecie i związana z tym możliwość skalowalności przedsięwzięcia (czyli zwiększania jego skali).

Uczestnikami badania byli zwykli internauci, których tymczasowo zaangażowano do weryfikacji informacji w mediach społecznościowych.

Profesjonalny fact-checking

Z profesjonalnym fact-checkingiem wiąże się kilka problemów, które uniemożliwiają osiągnięcie przez niego takiej skali, która pozwoliłaby zatrzymać napływ fałszywych informacji w mediach społecznościowych. Problemy te związane są z długością procesu weryfikacji, efektem dorozumianej prawdy oraz uprzedzeniami politycznymi dotyczącymi samych fact-checkerów. 

Mozolny proces

Przede wszystkim weryfikacja informacji przez profesjonalnych analityków to żmudny i długi proces, który nie pozwala w krótkim czasie weryfikować dużych zbiorów informacji. Rzetelna, transparentna i obiektywna weryfikacja faktów wymaga długich poszukiwań źródeł informacji, a następnie ich analizy, co przekłada się na długi czas trwania całego procesu. 

Efekt dorozumianej prawdy 

Długi czas pracy nad weryfikacją skutkuje niemożliwością sprawdzenia wszystkich fałszywych informacji w mediach społecznościowych. Fakt ten potęgują zjawiska takie jak pandemia koronawirusa, której efektem jest tzw. infodemia fałszywych informacji w Internecie.

Brak możliwości zweryfikowania wszystkich informacji funkcjonujących w internetowym obiegu, według autorów, może prowadzić do efektu dorozumianej prawdy. 

Brak zaufania 

Fact-checking z założenia jest transparentny, jawny i tak obiektywny, jak tylko się da. Metodologia przyjęta przez daną organizację fact-checkingową powinna być klarowna, a finansowanie – przejrzyste. Mimo tego wiele osób jest uprzedzonych do działalności profesjonalnych fact-checkerów, zarzucając analitykom stronniczość. 

Społeczny fact-checking

Zdaniem autorów badania potencjalnym rozwiązaniem tych problemów może okazać się społeczny fact-checking. 

W artykule przeanalizowano jedno z potencjalnych rozwiązań związane z użyciem mądrości tłumu („wisdom of crowds”). Miałoby to rozwiązać kwestię skalowalności oraz potencjalnych zarzutów dotyczących uprzedzeń i upolityczniania weryfikowanych treści.

Mądrość tłumów

Badacze założyli, że angażowanie nieprofesjonalnych analityków z różnych stron sceny politycznej może mieć pozytywne efekty.

Jest szansa, że jawne zróżnicowanie polityczne obniży uprzedzenia i zarzucaną stronniczość wobec osób weryfikujących treści. Zatrudnienie wielu osób do szybkiej analizy tytułów oraz leadów jest niedrogie i pozwoli na zwiększenie zakresu działań fact-checkingowych.

Obawy 

Z drugiej strony, ponieważ profesjonalni fact-checkerzy mają za sobą trening oraz posiadają biegłość, która pozwala im na wyszukiwanie jakościowych informacji, istnieje uzasadniona obawa, że laicy nie będą w stanie rzetelnie oceniać treści w Internecie. 

Badania Pew Research Center w 2018 roku wykazały, że większość Amerykanów nie potrafi rozróżnić faktów od opinii. Co więcej, nie mamy żadnej pewności, że osoby te nie są pod politycznym lub partyjnym wpływem.

Niemniej jednak mądrość tłumu, czyli wyciąganie wniosków z ocen zbiorowych, może być rozwiązaniem tego problemu, podobnie jak w przypadku diagnoz medycznych czy przewidywania zarobków firm.

Podatność na manipulacje

Nieprofesjonalni analitycy – pod wpływem manipulacji – mogą stać się wrogo nastawieni do procesu weryfikacji informacji. Przykładem może być organizowanie skoordynowanych ataków (np. przy wykorzystaniu botów) w celu zalania sieci błędnymi analizami lub oznaczaniem jako fałszywe prawdziwych informacji, które są sprzeczne z ideologią polityczną danego fact-checkera.

Twitter i Birdwatch 

Taki los spotkał Birdwatcha, czyli program do walki z dezinformacją serwisu Twitter. Stronniczość i brak doświadczenia zaangażowanych użytkowników doprowadziły do pogłębienia problemu związanego z dezinformacją w Internecie. Jak wykazał Poynter, oceny użytkowników były polityczne, często nie zawierały źródeł, a cała społeczność została szybko zdominowana przez 5 użytkowników. 

Eliminacja ryzyka

Zdaniem badaczy niebezpieczeństwo to można wyeliminować na dwa sposoby. Po pierwsze, przez stosowanie systemu ocen – w badaniu użytkownicy byli proszeni o wyrażanie opinii na temat konkretnej treści.

Po drugie, w działania dotyczące weryfikacji treści można angażować laików – podobnie, jak dzieje się to z moderacją treści. Zdaniem badaczy, dzięki temu o wiele trudniej zinfiltrować mechanizm poprzez skoordynowany atak, ponieważ atakujący musieliby zostać zaproszeni do udziału w ocenianiu treści. Podejrzane konta mogą więc zostać łatwo odfiltrowane na etapie akceptacji zgłoszeń.

Wyniki

Według badaczy korelacja łącznej trafności ocen jest dość wysoka. Co najmniej dwie z trzech ocen przyznawanych informacjom były zgodne w przypadku ponad 90 proc. artykułów. Jednak łączna korelacja kategorycznych ocen wykazuje „dostateczną” zgodność. 

Niska zgodność ocen nie charakteryzuje jednak wyłącznie analityków-amatorów. Inne badania, dotyczące zgodności pomiędzy ocenami przyznawanymi przez profesjonalne organizacje fact-checkingowe, również wykazywały średni poziom korelacji i zgodności ocen (1, 2, 3). Po części wynika to z faktu, że sama idea „prawdy” jest skomplikowana i daleka od zero-jedynkowej klasyfikacji.

Co istotne, wyniki badań wskazują, że dobór osób, których cechy sugerują większą skłonność do zgadzania się z profesjonalnymi fact-checkerami (np. osoby te są bardziej rozważne, mają większą wiedzę polityczną i są bardziej liberalne), lub dostarczenie większej ilości informacji do analizy (w tym przypadku rozszerzenie weryfikowanego materiału, czyli tytułu i leadu, o analizę adresu URL) prowadzą jedynie do minimalnej poprawy poziomu zgodności między ocenami laików i profesjonalnych weryfikatorów.

Czy analitycy-społecznicy mogą zastąpić profesjonalnych fact-checkerów?

Zdaniem badaczy społeczny fact-checking to jedynie element systemu weryfikacji treści funkcjonujących w Internecie. Do działań ograniczających mis- i dezinformację niezbędne są analizy profesjonalnych fact-checkerów oraz algorytmy sztucznej inteligencji.

Morze dezinformacji

Już przed pandemią było oczywiste, że problem z dezinformacją w Internecie jest poważny i rozległy. Profesjonalni fact-checkerzy nie mają możliwości poddania analizie wszystkich treści funkcjonujących w internetowym obiegu. Analityków jest po prostu zbyt mało, a treści wymagających sprawdzenia – zbyt dużo.

Badanie

Głównym celem autorów była weryfikacja możliwości płatnego zaangażowania w weryfikację informacji laików, czyli osób, które nie zajmują się tego typu działalnością profesjonalnie.

W badaniu skorzystano z odpłatnej pracy użytkowników Internetu, których czasowo zatrudniono do weryfikacji informacji. 

1 128 amerykańskich nieprofesjonalnych fact-checkerów amatorów pozyskano z serwisu Amazon Mechanical Turk. Każdy z uczestników miał ocenić tytuł i lead (bez zasadniczej treści) 20 artykułów. Artykuły były wybierane losowo z zestawu 207 adresów URL. Stawka wynosiła 0,15 dolarów za minutę (ok. 60 groszy).

Połowa uczestników oceniała również wydawcę artykułu po adresie URL (tj. źródle). Skala oceny posiadała 7 wymiarów precyzji oraz kategoryczne oceny: prawda, nieprawda, treści wprowadzające w błąd i brak pewności.

Następnie oceny te porównano z pogłębionymi analizami profesjonalnych fact-checkerów. Na potrzebę badań zatrudniono trzech analityków z internetowej bazy rynkowej Upwork.

Działanie w ramach projektu „Fakty w debacie publicznej” realizowanego z dotacji programu „Aktywni Obywatele – Fundusz Krajowy”, finansowanego z Funduszy EOG.