Ankieta internetowa a reprezentatywność badania

Artykuł pobrano ze strony eioba.pl
Ankieta internetowa a reprezentatywność badania
Czy badania internetowe z wykorzystaniem kwestionariusza online są reprezentatywne? Co to jest badanie
reprezentatywne? W jakich badaniach lepiej sprawdza się ankieta internetowa a w jakich metody tradycyjne.
Dlaczego nie można wykonać badania w 100% reprezentatywnego? Przeczytaj i dowiedz się więcej o
reprezentatywności w badaniach marketingowych.
Czy badania metodą ankiety internetowej (CAWI) są reprezentatywne?
Za przyczyną nietrafionych sondaży politycznych, sporo mówi się teraz w mediach o reprezentatywności metod
ilościowych w badaniach marketingowych. Oberwało się metodzie wywiadu telefonicznego (CATI), która nie zawsze
jest najlepszym narzędziem. Na realnych, życiowych przykładach zobaczyliśmy, że ankiety o dużym stopniu
intymności, a takimi są ankiety dotyczące preferencji politycznych, wymagają narzędzi, które zapewnią
respondentowi poczucie intymności oraz anonimowości.
Kwestia reprezentatywności w badaniach wzbudza wiele kontrowersji wśród osób, które w imieniu swojej firmy,
stają przed decyzją wyboru firmy badawczej. Słowo „reprezentatywny” odmieniane jest przez wszystkie przypadki
w trakcie negocjacji z firmą badawczą. Zamawiający chciałby bowiem wydać swoje pieniądze w sposób najlepszy z
możliwych, uzyskując badanie, na podstawie którego będzie mógł lepiej zarządzać swoją firmą.
Niestety, nie zawsze Zamawiający zdaje sobie sprawę co to jest ta „reprezentatywność”. Widzę rozczarowanie
wielu z nich, kiedy próbuję być fair wobec Klienta i tłumaczyć, że nie ma czegoś takiego jak „reprezentatywne
badanie”. Reprezentatywność jest bowiem terminem, który należy rozpatrywać dopiero w kontekście dodatkowych
informacji, które pozwolą ocenić jej poziom. Reprezentatywności nie można oceniać w kategoriach 0-1.
Każde badanie w pewnym sensie jest reprezentatywne tylko pytanie w jakim stopniu i dla jakiej populacji. Jeśli
bowiem chcemy znać preferencje czytelnicze polskiego społeczeństwa, to nie powinniśmy pytać o zdanie jedynie
profesorów filologii polskiej, którzy chociaż na literaturze znają się bardzo dobrze, to z pewnością nie
odzwierciedlają gustu całego społeczeństwa. Podobnie, na kwestię reprezentatywności wpływ będzie mieć wielkość
populacji, o której chcemy wnioskować – próba 300 maklerów giełdowych wypowiadających się w ankiecie nt.
przyszłego trendu na giełdzie prawdopodobnie będzie wystarczająca do stwierdzenia, jakie nastroje panują wśród
maklerów. Jeśli natomiast zapytamy 300 gospodyń domowych o nawyki kulinarne, to uzyskane dane nie będą nas
uprawniać do wyciągania reprezentatywnych wniosków. Maklerów giełdowych w Polsce jest bowiem znacznie mniej
niż gospodyń domowych. W konsekwencji, również liczebność próby badawczej powinna być różna dla obu
populacji.
Zacznijmy więc od początku. Czym jest „próba reprezentatywna”?
Próba reprezentatywna to taka próba, która daje wyniki zbliżone do wyników całej populacji, pozwalające na
uogólnienie wniosków z próby badawczej na całą populację. Innymi słowy, jest to miniatura populacji badanej,
która odzwierciedla jej najważniejsze cechy. Jeśli chcemy zbadać wpływ palenia papierosów na stan zdrowia i
chcemy uzyskać próbę reprezentatywną dla cechy jaką jest fakt palenia papierosów, to udział palaczy w próbie
powinien być podobny do tego, jaki faktycznie występuje w całej populacji.
Jednak należy pamiętać, że próba reprezentatywna dobierana jest zwykle ze względu na określone
cechy. Najczęściej wyróżnia się reprezentatywność ze względu na cechy społeczno – demograficzne. Może to być
wiek, płeć, miejsce zamieszkania, wykształcenie, zarobki itd. Niestety niewiele jest takich zmiennych, dla których
dostępne są dokładne dane statystyczne. Dla części z nich dostępne są jedynie dane szacunkowe. Dlatego trudno
zapewnić reprezentatywności ze względu na poziom wykształcenia czy stan cywilny, a jeszcze trudniej ze względu
na fakt używania jakiegoś produktu czy usługi.
Innym problemem, który ma znaczący wpływ na reprezentatywność jest liczebność próby.
Każde badanie, nawet to przeprowadzone na grupie reprezentatywnej obciążone jest błędem statystycznym. W
miarę zwiększania wielkości próby błąd statystyczny maleje. Jednakże należy pamiętać, że nie maleje on
proporcjonalnie do wzrostu liczebności próby a najczęściej jedynie do pierwiastka ze wzrostu tej liczebności.
Przykładowo, wynik badania przeprowadzonego na grupie 500 respondentów jest obarczony błędem o
maksymalnej wysokości 4,4%. Dopiero przy wyborze grupy 2000 osób uda nam się zredukować błąd o połowę do
wysokości 2,2%.
Warto jednak pamiętać, że nie istnieje próba reprezentatywna w 100%. Każda próba jest obarczona jakimś
błędem. I aby mieć 100%-ową pewność co do zgodności wyników badania ze zdaniem całej populacji to trzeba
byłoby zapytać wszystkich członków danej populacji. A to najczęściej nie jest niestety możliwe.
Innym ważnym pytaniem, na które należy sobie odpowiedzieć, dążąc do uzyskania jak najbardziej
reprezentatywnych wyników badania, jest pytanie o to, kogo powinniśmy badać. Może się bowiem okazać, że
wcale nie potrzebujemy kosztownego badania na próbie reprezentatywnej dla całego społeczeństwa. Odpowiedź
na to pytanie zawsze zależy od specyfiki badania. Bo o ile producent męskich kurtek zimowych jak najbardziej
powinien uwzględnić w swojej próbie kobiety, które często są odpowiedzialne za to jak ubierają się ich mężczyźni, o
tyle zdanie mężczyzn na temat płaszczy damskich będzie już znacznie mniej istotne dla pozyskania rzetelnych
danych i wnioskowania o preferencjach konsumenckich. Reprezentatywność próby w naszym przypadku to
uwzględnienie w niej tych osób (wg z góry zdefiniowanych kryteriów), które w sposób istotny mogą interesować
Zamawiającego badanie z perspektywy jego celów biznesowych, specyfiki rynku, grupy docelowej jego produktu
itd.
Wiemy już sporo o reprezentatywności badań marketingowych i tego co na nią wpływa. Wróćmy więc do
tytułowego pytania w tym artykule. Czy badania metodą ankiety internetowej są reprezentatywne?
Podstawowy zarzut jaki wytaczany jest wobec metody CAWI to fakt, że nie wszyscy mają dostęp do Internetu,
przez co z założenia badania nie mogą odzwierciedlać postaw, opinii i zachowań całego społeczeństwa. Istotnie, nie
wszystkie grupy społeczne posiadają dostęp do Internetu w tym samym zakresie. I tego argumentu odeprzeć się
na pewno nie uda. Trzeba jednak pamiętać o tym, iż odsetek ludzi posiadających dostęp do Internetu z każdym
dniem wzrasta, a Internet staje się coraz bardziej powszechny. Co więcej, ze względu na jego rosnącą
powszechność, w niektórych grupach populacji badanie prowadzone w Internecie będzie na pewno obarczone
mniejszym błędem niż badanie przeprowadzane metodą CATI (Computer Assisted Telephone Interview) czy PAPI
(Paper and Pencil Interview). Jeśli chcemy pozyskać w sposób losowy tegorocznych maturzystów aby spytać ich jak
przygotowują się do matury, efektywniej i skuteczniej znajdziemy ich w sieci niż przy telefonach stacjonarnych,
które stanowią bazę teleadresową dla badań CATI. Obecny tryb życia, duża aktywność i mobilność społeczeństwa
powoduje, że w domu spędzamy coraz mniej czasu, a więc i trudniej zastać osobę, która znajdzie czas na
odpowiadanie przez telefon na pytania ankietera. To samo dotyczy metody PAPI. Jak bowiem przeprowadzać
badania na strzeżonych osiedlach?
Są pewne grupy populacji, których sposób życia i nawyki konsumenckie wręcz idealnie pasują do metody CAWI. Są
to na pewno ludzie młodzi, osoby aktywne zawodowo - pracownicy firm mający dostęp do komputera i Internetu.
Dostęp do Internetu czy posiadanie konta e-mail wśród tych grup jest tak samo powszechne jak dostęp do ciepłej
wody czy energii elektrycznej.
Błędem natomiast byłoby próba przeprowadzenia badania CAWI na grupie osób starszych, emerytów czy
rencistów, którzy często dostępu do komputera i Internetu nie mają i nie chcą mieć. Badanie CAWI na grupie
emerytów byłoby z pewnością obciążone sporym błędem, a w konsekwencji okazałoby się niereprezentatywne dla
tej populacji.
Nie bez znaczenia dla wyboru metody badawczej ma cel i tematyka badania. Z pewnością jeśli chcemy
przebadać smakoszy coca – coli czy posiadaczy konsoli do gier nie potrzebujemy troszczyć się o to, aby
przeprowadzać badanie na próbie reprezentatywnej dla całego społeczeństwa. Wystarczy celowy dobór
respondentów. I tutaj respondentów jak najbardziej należałoby szukać właśnie w Internecie. To logiczne, że nie
będziemy ich szukać wśród osób starszych czy młodych matek.
Drugim dobrym przykładem może być badanie satysfakcji pracowników firmy? Jeśli pracownicy pracują w biurze to
metoda CAWI jest bardzo wskazana. Ankietę mogą wypełnić w przysłowiowej „wolnej chwili”. Ale jeśli takie badanie
miałaby przeprowadzić huta szkła, w której 65% załogi to robotnicy pracujący na hali produkcyjnej,
prawdopodobnie tradycyjna ankieta papierowa byłaby lepszym rozwiązaniem.
Artykuł ten zaczęliśmy od przypomnienia kontrowersji jakie wzbudziły telefoniczne badania sondażowe preferencji
politycznych. Czas najwyższy poruszyć kwestię jakości pozyskiwanych danych. Warto się zastanowić, na ile
wiarygodne są wyniki badania, w którym respondent wyrwany z właśnie wykonywanych czynności (odrabianie
zadań z dzieckiem czy obiad dla mających właśnie przybyć gości) bezmyślnie odpowiada na kolejne pytania
ankietera. Jaką jakość mają te wyniki?
Metoda CAWI to także system informatyczny, który umożliwia wypełnienie ankiety w dowolnej chwili i co więcej, w
wielu przypadkach chroni przed popełnieniem błędu. System pilnuje, aby pytania zadawane respondentowi
wyświetlały się we właściwej kolejności. I nie ma konieczności zapisywania danych do zbioru danych gdyż zbiór
tworzy się na bieżąco w miarę spływania kolejnych ankiet.
Bo co nam po reprezentatywnym badaniu, w którym aż roi się od błędów, najpierw ankietera, który nieuważnie
wypełniał ankietę odpowiedziami respondenta, a później osoby wprowadzającej dane do komputera.
To, co przemawia za wyborem metody CAWI to fakt, że respondent może wypełnić ankietę w najbardziej dogodnym
dla niego terminie. Np. po godz. 22 (kiedy dzieci już śpią), czy w niedzielę popołudniu, kiedy mamy chwilę na
sprawy mniej pilne.
Last but not least – czyli pieniądze. Budżet wielkości kilku tysięcy zł na pewno nie pozwoli na przeprowadzenie
badania na reprezentatywnej próbie metodą PAPI czy nawet CATI. Ale jak najbardziej, taki budżet pozwala
przeprowadzić profesjonalne badanie metodą CAWI, w ramach którego pozyskamy liczbę ankiet uprawniającą do
wysuwania rzetelnych i wiarygodnych wniosków.
Dzieje się tak głównie za sprawą niższego kosztu dotarcia do respondentów, który jest znacznie mniejszy w
porównaniu do badań CATI czy PAPI. Nie trzeba zatrudniać rzeszy ankieterów pozyskujących wywiady drogą
telefoniczną czy na papierze. Koszt promocji badania w Internecie to głównie koszt umiejscowienia baneru czy
linka. A koszt wysyłki zaproszeń drogą mailową, jeśli dysponujemy bazą teleadresową jest praktycznie zerowy
(pomijając koszt pracy autora ankiety).
Wyniki w postaci surowego zbioru danych także dostępne są już chwilę po zamknięciu badania. Zebranych ankiet
nie trzeba zliczać i przenosić do systemu ponieważ dane zapisują się na bieżąco.
Jeśli interesuje Cię ten temat, zachęcamy do odwiedzenia strony www.badaniamarketingowe.org.pl Znajdują się
tam informacje na temat szkoleń i seminariów z zakresu badań marketingowych metodą online, w tym również
tych, które są dofinansowane z funduszy europejskich.
Autor: Damian Dec, Członek Zarządu PB Online Sp. z o.o., właściciel serwisu www.portalbadan.pl – aplikacji do
realizacji badań metodą online.
Autor: pbonline
Artykuł pobrano ze strony eioba.pl