Tezy

Tezy o błędnych przeświadczeniach dziennikarzy, polityków, socjologów i statystyków
Głuchowski – GW
Sztabiński-et al. – GW
Szreder - Polityka, Biecek – portal Smarter Poland
Tezy – edukacja statystyczn
Tezy – dane administracyjne, dane GUS
Branża „polityczna” i „socjologiczna” odstaje od naukowego (teoretycznego), technicznego
finansowego poziomu badań sondażowych w biznesie (marketingu), co wynika z oczywistych
powodów: wyniki sondażu służą tu do podejmowania decyzji o dających się oszacować finansowych
skutkach1.
Błędne przesłanki decyzji kosztują naprawdę, dlatego branża marketingowa wydaje duże kwoty na
rozwój teoretyczny i technologiczny badań, które zamawia.
Nakłady na infrastrukturę informatyczną, testy efektywności narzędzi, rozwój metod analitycznych, na
badania podstawowe są w marketingu o rząd wielkości wyższe niż w dziedzinie akademickiej
Czym jest sondaż
Sondaż jest badaniem statystycznym – niepewność, niedokładność, wiarygodność
Sondaż przedwyborczy nie pozwala przewidywać zachowań populacji wyborców – eksperyment
myślowy: próba wszystkich uprawnionych do głosowania ma taką samą użyteczxnośc w
przewidywaniu jak przyzwoicie zrealizowana i poprawnie wylosowana próba średniej wielkości 2-3
tysiące respondentów.
Co rejestruje się w prostym badaniu przedwyborczym – Maciek Zakrocki: aktualny rozkład nastrojów
Co trzeba wiedzieć aby formułowac prognozę zachowań wyborczych
Case 1 Olszewski+OBOP,
Case 2 Markowski – wybory prezydenckie
Dobry sondaż
Statystycznie wiarygodny merytorycznie trafny, teoretycznie uzasadniony
Nie wystarczy poprawnie wylosować i zrealizować próbę – trzeba zadać pytania o niezerowej wartości
diagnostycznej, a wyniki zintepretować z uwzględnieniem ich statystycznej natury – niedokładność i
niepewność
Apekty statystyczne
Cel – dokładność oszacowania max przy warunko koszt i czas
Operat próba realizacja: zasięg, pokrycie, skrzywienie, próba zrealizowana,
Hochsztaplerstwo agencji – „ważenie” - fikcja na papierze
Pułapki telefoniczne – skład próby – mechanizmy selekcji a orientacje społeczne, polityczne
Pułapka niezdecydowanych – SMG próba 1000 odpowiada 400
Oczywiście nie zawsze i nie wszędzie ale to wyraźnie odróznia sektor marketingowy od pozostałych.
Szczególnie wyraźnie widac to w wysokości nakładów na badania, wielkość prób, stopień techologicznego
zaawansowania etc.
1
Pułapka non-response
Aspekty niestatystyczne
Metoda kontaktu: F2F – telefon – internet
Uśrednianie multimethod (mixed mode) - odsetek owoców robaczywych
gruszki spady w sadzie
śliwki na niskich gałęziach
brzoskwinie sprzedawane na targu
a pytanie dotyczy jabłek
Repertuar zmiennych
Chęć głosowania a głosowanie (róznice w obie strony)
Niezdecydowani – moment podjęcia decyzji
Pytania a wskaźniki
„Znani sprawcy” Polityka - nr 23 (2961) z dnia 2014-06-04; s. 22-24
Rozkłady odpowiedzi byłyby zdecydownie inne gdyby pytanie miało charakter otwarty, stąd
interpretacja wyników byłaby inna
Lista osób, których rolę w historri identyfikowali respondenci, została zaproponowana przez P. Tak
jakby lekarz diagnozujący stan pacjenta pytał go czy jest chory na dżumę cholerę czy tyfus, bo taki
zddaniem lekarza jest możliwy zestaw chorób
Po dobrze sformułowanym wstępie do rekonstrukcji zbiorowej pamięci wśród odpowiedzi
pojawiłyby się reakcje spoza zastosowanego tu repertuaru (nikt nie miał wpływu, to nie od ludzi
zależało, był spisek zagraniczny, trudno powiedzieć, nigdy o tym nie myslałem itd itp). Pytanie
zamówione przez P wymusza reakcję i każedy repondent jakoś zareaguje. Jaka jest wartość
diagnostyczna takich odpowiedzi wymuszonych – nie wiadomo.
Gdyby P chciała rzeczywiście dowiedzieć się czegoś wiarygodnie i rzetelnie o zbiorowej pamięci
musiałaby wydać środki na pilotaż otwartej werdji pytania (pytań) i sondażowe testy trafności listy
osób, dyspozycji pytania etc. Diagnozowanie stanu zbiorowej pamięci nie jest tak proste jak się
zamawiającemu zespołowi P wydawało. Sposób postępowania P przy zamawianiu sondażu do
„znanych sprawców” przypomina postępowanie lekarza, który diagnozuje stan pacjenta na podstawie
jego odpowiedzi na pytanie – czy jest Pan zdrowy?
Pytanie o ważność osób w procesie historycznym jest niefortunne z metodologicznego punktu
widzenia: to pytanie o wiedzę a nie o ocenę (wywrzeć wpływ pozytywny lub negatywny)
Prezentacja i interpretatcja wyników sondażu – grzechy główne
Jeśli w materiale odwołującym się do wyników sondażu nie bierze się pod uwagę niedokładności
oszacowań oraz progu istotności różnic, konkluzje prawie zawsze są niezgodne ze stanem faktycznym
Podawanie informacji o badaniu musi zawierać rozmiar niedokładności oszacowań, granice różnic
statystycznie nieistotnych oraz sposób ich wyznaczania (czy uwzględnia się response rate, schemat
doboru, kalibrację porealizacyjną) oraz informację czy wyniki to dane surowe czy rezultat
przekształceń po-realizacyjnych.
Redakcja nie powinna przyjmować wyników sondażu bez kompletu powyższych informacji
Czy mamy do czynienia z sondażem czy produktem sondażo-podobnym
Zamawianie sondażu – za co się płaci
Za liczbę czytelników, za wpływy ze sprzedazy i reklam, uzyskane za pomocą sondażowej publikacji
Dokładność oszacowań a interpretacje dziennikarskie
„Znani sprawcy” Polityka - nr 23 (2961) z dnia 2014-06-04; s. 22-24
Jak zmienłby się tekst, gdyby ignorować różnice nie przekraczające 5 punktów procentowych
(dokładność oszacowania populacyjnych częstości)
Zadawanie pytań
Trzy warstwy wiedzy
Przedmiot rozmowy (historia Polski 1989-2014, wydarzenia – „wpływ” osób na wydarzenia – jak
mozna porównywać „wpływ” Solorza z „wpływem” Palikota czy Pawlaka; czym jest historia tutaj, o
jaka kategorię procesó chodzi , o czym jest to pytaie)
Od jakich cech odpowiadających (respondentów) zależą ich reakcje (odpowiedzi) na pytanie - jakich
cech respondentów są wskaźnikami, co wskazują odpowiedzi na pytanie
O mediach
Media żywią się określeniami, które przyciągają uwagę czytenika i wzbudzają jego emocjonalne
reakcje, drażnią lub głaszczą, wydają się oczywistym naturalnym i trafnym sprawozdaniem z
prawdziwego stanu rzeczy
Hipsterzy
Prekariat
Kapitał społeczny
Kapitalizm
Neo-liberalny
Próżnia socjologiczna
Próba reprezentatywna
Wynik sondażu
Ankieta
Test szkolny
Ciekawa i znacząca jest dysproporcja wymagań stawianych prognozom społecznym (patrz rozmowa z
Kleerem E. Bendyk) a tym, które stawia się prognozom wyborczym. „Prognostycy wyborczy” nie nie
stawiają sondażom wyborczym żadnych de facto wymagań, i traktuja jako wiarygodne dane, których
związek z rzeczywistością jest nieznany.
[casus Chołoniewski-Estymator-Newsweek]
Świat społeczny jest zasadniczo propabilistyczny - przewidywalny z ograniczoną dokładnością i
ograniczona pewności. Dotyczy to także rozkładów populacyjnych (postaw, emocji, ocen, norm,
motywacji, zasobów, zachowań) w tym także wyborów politycznych i politycznych zachowań
(protest, poparcie)
Domaganie się trafności od prognoz wyborczych formułowanych na podstawie prostych sondaży jest
nauiwnością a mimo to praktykowaną przez media systematycznie
Nawet prestiżowe tygodniki opinii dają się uwieść źródłom sondażo-podobnym, co nie dziwi, gdyż:
1. Tygodnik publikuje nie po to aby informować (nie dezinformaować) lecz aby utrzymać
swojego czytelnika
2. Informowanie sondażowe jest znacznie droższe od posługiwania się wynikami przedsięwzięć
sondażo-podobnych
Wiedza uzyteczna na temat rzeczywistości nie leży na wyciągnięcie ręki – nie wystarczxy po mia
sięgnąć i już mamy się czym dzielić z audytorium.
Te wiedzę trzeba wykopać a to kosztuje czas i pieniądze. Nakłady na zdobywanie użytecznej
prognostycznuie wiedzy o rzeczywistości nigdy się nie zwracają (atrakcyjne fałszywe opinie są
bardziej użyteczne od nieatrakcyjnej i złożonej choć wiarygodnej wiedzy „prawdziwej”)
Na Straży Sondaży
Szkolne błędy dziennikarzy: nie wiedzą na czym sondaż polega i:
Ignorują różnicę między sondażem a prognozą
Używają prostych sondaży do prognozowania zachowań
Ignorują dynamikę ***
Ignorują niedokładność immanentną
Ignorują nieistotność różnic
Nie odróżniają sondaży od niesondaży
Uśredniają gruszki śliwki morele i mówią o jabłkach:
M. Szreder, T. Baran, P. Biecek („agregator sondaży”) !!!! Dwóch kierowników Zakładów Statystyki
!!!
Nie chcą pogodzić się z mixed mode – mixed conclusion – niby dlaczego miałyby wyniki byc
podobne? Naiwne wyobrażenia i chybione zastrzeżenia
Sądzą, że rozbieżności między wynikami różnych agencji kwestionują wartość poznawczą wszystkich
sondaży
Nie chcą pogodzić się z probabilistyczną naturą rzeczywistości
Szacki 19.11.2014- Apel w palacej sprawie procentow (o wyborach z 16.11.2014)
Winiecki - 2015-05-27 - Sad nad sondami
Szacki 2016-02-10 - Sąd nad sondażami
Szreder 2016-08-03 - Sondaże na rozdrożu
Bendyk - 2016-11-30 - Ada nie da rady
Szacki 2016-02-10:
Duże rozbieżności wyników każą wątpić w ich wartość informacyjną.
Nowoczesna w jednym z pomiarów znalazła się na prowadzeniu
jak można zrozumieć sytuację,
w której jednego dnia PiS spada na drugie miejsce z poparciem 27 proc., a kilka dni później może liczyć na niemal 40 proc. i polepszenie wyniku z październikowych wyborów
Bendyk -