Wprowadzenie do Badań Ankietowych

Wprowadzenie do Badań
Ankietowych
Monitoring Placówek Konsularnych
RP w Rosji, Białorusi i Ukrainie,
2003-2004
Etapy badania ankietowego











Definicja problemu badawczego
Wybór metody badania
Definicja populacji
Konstrukcja pytań i ankiety
Dobór próby
Test wstępny instrumentu
Zbieranie danych
Kodowanie i konstrukcja bazy danych
„Czyszczenie” danych
Analiza danych
Raport
Metody badań ankietowych
Ankiety do samodzielnego wypełnienia
Metody tradycyjne
Elektroniczne
Poczta
Grupowe
Ręczna dystrybucja
E-Mail
Dyskietka
Telefon
Faks
Internet
Badania oparte o wywiad
Metody tradycyjne
Elektroniczne
Telefon
CATI
Wywiad bezpośredni
CAPI
Wywiady bezpośrednie

Zalety
Wysoka stopa zwrotu (90%,
pocztowe poniżej 70%)
Przydatne przy długich
wywiadach
Przydatne gdy mogą wystąpić
problemy językowe

Wady
Ankieterzy mogą czytać
pytania niedokładnie
Mogą zmieniać tempo i ton
wywiadu
Mogą czynić założenia
odnośnie respondenta
Mogą wpływać na
respondenta
Mogą „kodować” otwarte
wypowiedzi
Pytania mogą być krępujące
Wywiady bezpośrednie: jak
poradzić sobie z wadami tej
metody?
Odpowiedź brzmi: staranne
szkolenie
Co ankieter wiedzieć powinien?





Zasady doboru próby
Co to jest margines błędu i błąd pomiaru
Co to jest niezawodność i trafność pytań
Dlaczego wysoki procent zwrotów jest istotny
Rozumieć wagę braków danych oraz
niekompletności i nierzetelność w
dokumentowaniu pytań otwartych
Po co aż tyle informacji?
Ankieter musi wiedzieć dlaczego nie powinien
podejmować żadnych decyzji metodologicznych na
własną rękę.
Ankietera musi wiedzieć dlaczego powinien ściśle
trzymać się instrukcji koordynatorów badania, nawet
jeśli nie przystają one do rzeczywistych problemów w
terenie
Proces doboru próby


Konstrukcja (identyfikacja)
operatu
Wstępna próba
Problem stopy zwrotów

Próba finalna (respondenci)
Reprezentatywność

Definicja populacji
Metody doboru próby

Proste próby losowe

Systematyczne próby losowe

Stratyfikowane próby losowe



proporcjonalne
nieproporcjonalne
Próby nielosowe
Proces doboru próby


Definicja populacji
Konstrukcja (identyfikacja)
operatu

Wstępna próba

Próba finalna (respondenci)
Zależność marginesu błędu od
rozmiaru próby
0,1
Margines błędu
0,09
0,08
0,07
0,06
0,05
0,04
0,03
0,02
0,01
0
0
500 1000 1500 2000 2500 3000 3500 4000 4500 5000 5500 5000 5500 6000 6500
SE =SR(p(1-p)/n)
Rozmiar próby
Skorygowany rozmiar próby
Zależność między rozmiarem
próby, a rozmiarem populacji
500
480
460
440
420
400
380
360
340
320
0
5000
10000
15000
20000
Rozmiar populacji
25000
30000
Moc statystyczna jako funkcja
rozmiary próby
Moc statystyczna
1
0,8
0,6
0,4
0,2
0
0
200
400
600
Liczba przypadków w pdogrupie
P1=0.55; P2=0.45; Alpha=0,05 (2-tailed)
800
1000
Błąd pomiaru, niezawodność i trafność
narzędzia badawczego
Błąd pomiaru wynika ze źródeł innych niż
dobór próby; zazwyczaj nie sposób go policzyć;
nie należy go mylić z marginesem błędu!
Niezawodność narzędzia oznacza, że na dane
pytanie uzyskamy tę samą odpowiedź jeśli
użyjemy tego samego pytania wielokrotnie
Trafność narzędzia oznacza, że pytanie mierzy
to co powinno mierzyć, np. określoną cechę
osoby badanej (opinia, wiek, preferencje) i tylko
tę cechę

Narzędzie niezawodne nie musi być trafne, ale
każde trafne narzędzie jest niezawodne
Dlaczego wysoki procent zwrotów
jest istotny?
Załóżmy, że wiemy jaki % ludzi odnosi wrażenie, że ich
godność osobista jest naruszana przez urzędników
konsularnych; P=25%.
O osobach, które odmówiły udziału w badaniu, nie wiemy
nic, sprawdzimy więc jaki jest efekt rozmaitych wartości
stopy zwrotów dla kilku hipotetycznych wartości P dla tych
osób (P=10, 20, 25, 30, itd.)
Stopa zwrotów
% Osób źle traktowanych przez urzędników konsularnych
i które odmówiły udziału w badaniu
10
20
25
30
40
60
70
90% 27
26
25
24
23
22
19
80% 28
26
25
24
21
19
13
70% 31
27
25
23
19
14
3
60% 35
28
25
22
15
8
50% 40
30
25
20
10
40% 47
33
25
17
30% 60
37
25
13
25%=(1-SZ)(Pnr)+SZ(Pr)
Monitoring placówek
konsularnych
Dobór próby

Jaki jest nasz cel badawczy?
Oszacowanie stopnia zmian (usprawnienia bądź pogorszenia) w
systemie wydawania wiz do RP obywatelom Rosji, Białorusi i Ukrainy
w okresie między lutym i lipcem 2004.
Pojedyncze badanie może być niekonkluzywne. Dlaczego?

Co stanowi naszą populację?
Zbiór epizodów wydania bądź odmowy wydania wiz w określonych okresach
czasu (ale nie zbiór osób ubiegających się i nie zbiór wizyt w konsulacie)

Czy mamy operat?
Nie. Musimy posłużyć się losowaniem punktów w czasie (zegarem),
jako metodą doboru próby


Wstępna próba
1120 prób wywiadów (po skorygowaniu 1533)
Próba finalna (respondenci)
Około 900 wywiadów zakładając 80% zwrotów (po skorygowaniu
1226)
Rozmiar próby: rola kluczowych
proporcji i rozmiaru podgrup
Cel badawczy: o ile zmienią się kluczowe cechy
procesu ubiegania się o wizę w ciągu 6
miesięcy?
Kluczowych zmiennych jest zatem kilka, np.
O ile mogą skrócić się kolejki do złożenia
dokumentów? (20-30%?)
Czy jest prawdopodobne, że zmiany następować
będą w różnym tempie w różnych krajach?
(Tak, minimalne n=400)
Liczba wywiadów na placówkę
Kijów Odessa
Łuck
Lwów
109
96
109
164
Moskwa St. Petersburg Kaliningrad
159
68
273
Grodno Mińsk Brześć
71
190 238
Charków
55
Liczba ankieterów na placówkę
(1 na 30 wywiadów, minimum 3)
Kijów Odessa Łuck Lwów Charków
4
3
4
5
3
Moskwa St. Petersburg Kaliningrad
5
3
9
Grodno Mińsk Brześć
3
6
8
Logistyka
Badanie trwać będzie miesiąc.
Przykład metody losowania
respondentów dla Kijowa (nk=109)
Logistyka: Kijów
Założenia:
20 dni roboczych
wydawanie wiz: 4 godziny dziennie
w godzinach 12-18
109 wywiadów
10 wywiadów dziennie
2 ankieterów (+1 zmiennik i
obserwator)
Logistyka: Kijów (2)
Losowy dobór 11 dni (1 - 20)
Losowy dobór 10 pór rozpoczęcia badania (1 – 360)
Np.
Dzień 3:
13, 40, 180, 181 itd. czyli
12:13, 12:40, 15:00, 15:01, itd.
Podział „godzin” między ankieterów (inny ankieter powinien dostać
15:00, inny 15:01)
Nagabujemy pierwszą osobę, która pojawi się w drzwiach wyjściowych
gdy wybije 12:13, 12:40, itd.
Odmowę wywiadu odnotowujemy na pierwszej stronie ankiety, podobnie
gdy osoba nie kwalifikuje się do badania. W takich przypadkach
pierwszą stronę odrywamy i ankietę używamy ponownie, po
dołączeniu do niej nowej strony kwalifikacyjnej
Wypełnione ankiety, oraz strony kwalifikacyjne oddajemy zmiennikowi
Ankiety odsyłamy do Warszawy tego samego dnia
Nie wolno kopiować lub poprawiać ankiet po fakcie
Niezawodność




W lutym i pół roku później to samo pytanie musi
być dokładnie tak samo zrozumiane; zmieni się
sytuacja, ankieterzy (być może) i respondenci
(na pewno) będą inni, ale sposób zadawania
pytania nie powinien ulec zmianie
Im łatwiejsza i bardziej przewidywalna odpowiedź
na dane pytanie, tym ważniejsze jest by zadawać
je tak jak inne pytania. Dlaczego?
Błąd pomiaru minimalizujemy przez nauczenie się
standaryzacji w zadawaniu pytań, nie w
kształtowaniu w ankieterze szczególnej czujności,
empatii, itd.
Szczególne umiejętności komunikowania się są
istotne tylko przy wstępnej rozmowie
Jakość pracy ankietera
Ankiety odsyłamy do Warszawy tego samego dnia
Nie wolno kopiować ankiet na własną rękę
Nie wolno poprawiać ankiet po fakcie
Na każde pytanie musi być odnotowana jakaś
odpowiedź (wyłączywszy pytania, które instrukcje
nakazują przeskoczyć)
Ankiety będą sprawdzane natychmiast po ich
otrzymaniu
Przestrzeganie algorytmu doboru respondentów będzie
weryfikowane („zerowa” tolerancja)
Bezpieczeństwo ankietera
Pracujemy w zespołach 3-osobowych
2 osoby prowadzą wywiady, 1 obserwuje i
przechowuje materiały
W sytuacji zagrożenia (ze strony ochrony,
innych osób) natychmiast przerywamy pracę
i kontaktujemy się z koordynatorem lub
przedstawicielem NGO