Opis przedmiotu zamówienia - BIP
advertisement
Załącznik nr 5 do SIWZ – opis przedmiotu zamówienia. BADANIE PODŁUŻNE SZKOLNYCH UWARUNKOWAŃ EFEKTYWNOŚCI KSZTAŁCENIA, SZKOŁA PODSTAWOWA, ETAP II OPIS PRZEDMIOTU ZAMÓWIENIA 1. PRZEDMIOT BADANIA, JEGO CEL I TERMIN REALIZACJI, PODSTAWOWY ZAKRES CZYNNOŚCI BADAWCZYCH 1.1. Przedmiot zamówienia Przedmiotem zamówienia jest realizacja II etapu badania podłużnego szkolnych uwarunkowań efektywności kształcenia w 174 szkołach podstawowych. Pełny cykl badawczy (etapy I – IV) obejmuje lata 2010-2014. Przez ten okres śledzone będą losy szkolne uczniów, którzy we wrześniu 2010 r. rozpoczęli naukę w III klasie szkoły podstawowej. Celem badania jest identyfikacja kluczowych czynników szkolnych warunkujących efektywność kształcenia w szkołach podstawowych. W ramach I etapu zbadano szereg charakterystyk społecznych i psychologicznych uczniów, ich rodziców oraz nauczycieli. I etap badania został zrealizowany w okresie od stycznia do kwietnia 2011 roku. Dyrektorzy wyrazili zgodę na udział swoich szkół w całym cyklu badania podłużnego. Również rodzice zbadanych uczniów wyrazili zgodę na udział swoich dzieci i własny w całym cyklu badania. 1.2. Próba II etap podłużnego badania szkolnych uwarunkowań efektywności kształcenia obejmie 174 szkoły podstawowe, które wzięły udział w I etapie podłużnego badania szkolnych uwarunkowań efektywności kształcenia. Wykonawca otrzyma od Zamawiającego listę szkół i klas czwartych, w których należy przeprowadzić badanie oraz listy uczniów poszczególnych klas, których rodzice wyrazili zgodę na udział w badaniu. Badanie obejmie: 1 - 174 szkoły podstawowe - 306 oddziałów klas IV - 5572 uczniów klas IV i ich rodziców (testowanie osiągnięć szkolnych może objąć również uczniów, którzy dołączyli do badanych klas, jednak nie będą oni uwzględniani przy obliczaniu stóp realizacji badania; ich testy nie będą musiały być kodowane) - wszystkich nauczycieli uczących w klasach IV – VI w badanych szkołach (poza osobami uczącymi religii lub etyki jeżeli jest to jedyny przedmiot przez nich nauczany) Próba w wersji elektronicznej zostanie przekazana Wykonawcy w terminie 2 dni od dnia podpisania umowy. Próba nie zawiera informacji dotyczących nauczycieli uczących w klasach IV-VI. 1.3. Podstawowy zakres czynności badawczych II etap badania, którego realizacji dotyczy niniejsze zamówienie, ma objąć następujące czynności badawcze: I. Nawiązanie kontaktu ze szkołą i ustalenie z dyrekcją szkoły przebiegu II etapu badania (w tym harmonogramu). II. Przeprowadzenie badania testowego osiągnięć szkolnych uczniów objętych badaniem z zakresu czytania, świadomości językowej i matematyki (czas trwania okna testowego: 4 tygodnie). III. Realizacja badania testowego osiągnięć szkolnych uczniów objętych badaniem w zakresie języka angielskiego (czas trwania okna testowego: 5 tygodni, równolegle z czynnością II.). IV. Przeprowadzenie badania ankietowego wśród rodziców uczniów objętych badaniem. V. Przeprowadzenie uzupełniającego badania ankietowego wśród rodziców uczniów objętych badaniem (badanie nie więcej niż 130 rodziców; z powodu luki w procedurze badawczej wypełnili oni w I etapie badania ankiety bez podania informacji, którego z bliźniąt/rodzeństwa objętego badaniem dotyczą udzielone odpowiedzi). VI. Przeprowadzenie badania ankietowego wśród wszystkich nauczycieli klas IV-VI w szkołach objętych badaniem, (poza osobami uczącymi religii lub etyki, jeżeli jest to jedyny przedmiot przez nich nauczany). VII. Sporządzenie raportu realizacyjnego z badania ze statystykami dotyczącymi marginesów ankiet (statystyki opisowe badanych zmiennych). Raport powinien być przygotowany w wersji papierowej i elektronicznej. Raport powinien być formalnie i merytorycznie zgodny ze standardem APA, w spolszczonej wersji opisanej w: PiberDąbrowska, K., Cypryańska, M., i Wawrzyniak, M. (2007). Standardy edytorskie dla 2 naukowego tekstu empirycznego z zakresu psychologii. Wydawnictwo SWPS. Warszawa: Academica W ramach działań badawczych należy przewidzieć działania promocyjne, nakierowane na zwiększenie motywacji szkół do udziału w badaniu. Co najmniej 5% ceny ofertowej musi dotyczyć tych działań. Plan działań promocyjnych musi być dołączony do oferty i stanowi zobowiązanie Wykonawcy. Przez działania promocyjne Zamawiający rozumie przekazywanie szkołom, szkolnym koordynatorom badania, dyrektorom lub nauczycielom biorącym udział w badaniu lub wspierającym jego realizację zachęt w postaci materialnej: pomocy dydaktycznych, materiałów edukacyjnych, komputerowych programów edukacyjnych, sprzętu sportowego, sprzętu elektronicznego, książek, kuponów podarunkowych. W opisie planu działań promocyjnych należy zawrzeć jakie korzyści materialne może osiągnąć szkoła lub jej pracownicy w wyniku udziału w badaniu. 1.4. Termin realizacji zamówienia Wykonawca zobowiązany jest do nawiązania osobistego kontaktu z badanymi szkołami i ustalenia harmonogramu badania w terminie do dwóch tygodni od dnia podpisania umowy. Kluczowe dla tego etapu są badania osiągnięć szkolnych. Badanie osiągnięć szkolnych z zakresu czytania, świadomości językowej i matematyki musi być rozpoczęte w terminie do trzech tygodni od dnia podpisania umowy. Okienko testowe (okres prowadzenia badań osiągnięć szkolnych) ma trwać nie dłużej niż cztery tygodnie (w tym okresie muszą się odbyć także ewentualne uzupełniające sesje testowe). Badanie osiągnięć szkolnych w zakresie języka angielskiego musi być rozpoczęte w terminie do czterech tygodni od dnia podpisania umowy, a okienko testowe tego badania ma trwać nie dłużej niż pięć tygodni. Badania ankietowe rodziców i nauczycieli mogą być prowadzone w trakcie całego okresu realizacji badania. Czas wykonania wszystkich czynności badawczych, łącznie z kodowaniem, wewnętrzną kontrolą dokumentacji i baz danych, nie powinien przekroczyć 15 tygodni (105 dni). Niezwłocznie po zakończeniu wszystkich czynności badawczych Wykonawca przekazuje dokumentację i bazy danych do kontroli Zamawiającemu (Wykonawca zawsze przekazuje dokumenty na swój koszt). 1.5. Dokumenty i instrukcje badawcze 3 Zamawiający przekaże Wykonawcy wzory dokumentów i instrukcji badawczych, do których druku zobowiązany jest Wykonawca w zakresie niezbędnym do przeprowadzenia badania. Wzory w postaci elektronicznej (PDF lub Word) zostaną przekazane Wykonawcy w terminie 2 dni od dnia podpisania umowy. Będą to: wzór protokołu realizacji badania w szkole/klasie, wzór zbiorczego protokołu realizacji badania, wzór listu do dyrektorów szkół, wzór listu do nauczycieli, wzór listu do rodziców uczniów, ogólna informacja o badaniu (dla nauczycieli klas IV-VI objętych badaniem, dla ankieterów i szkolnych koordynatorów badania) wzór zgody na przetwarzanie przez Zamawiającego danych osobowych uczestników badania (nauczycieli klas IV – VI), do celów badawczych i związanych z realizacją projektu Badanie jakości i efektywności edukacji oraz instytucjonalizacja zaplecza badawczego – współfinansowanego z Europejskiego Funduszu Społecznego, w ramach Programu Operacyjnego Kapitał Ludzki, Priorytet III - Wysoka jakość systemu oświaty, Działanie 3.1- Modernizacja systemu nadzoru i zarządzania w oświacie, 3.1.1 - Tworzenie warunków do monitorowania ewaluacji i badań systemu oświaty opis podstawowych procedur badawczych wraz z opisem procedury wykluczania uczniów z badania; wzór dwóch, dwustronicowych i składanych ulotek (format: składane A4), kolorowych, drukowanych dwustronnie, przeznaczonych dla rodziców uczniów i nauczycieli klas IV-VI objętych badaniem, z informacjami o celach badania; papier: kredowy, matowy; gramatura nie mniejsza niż 180g/m2; liczba kolorów: 4+4 1.6. Realizacja badania w szkołach Kluczowe dla powodzenia badania jest skrupulatne przestrzeganie wszystkich procedur badawczych oraz zapewnienie poufności danych ankietowych pochodzących od rodziców, a w szczególności pochodzących od nauczycieli. Pierwszym etapem realizacji badania jest kontakt ze szkołą, ustalenie z Dyrekcją szkoły przebiegu i terminu badania i realizacja zaplanowanych przez Wykonawcę działań promocyjnych. 4 Wykonawca jest zobowiązany do utworzenia i utrzymania sieci szkolnych koordynatorów badania i ściśle z nim współpracujących badaczy-ankieterów przez cały czas do momentu zrealizowania przedmiotu niniejszego zamówienia. Ankieterzy powinni posiadać doświadczenie w realizacji badań edukacyjnych w szkołach podstawowych (prowadzenie badań ankietowych lub testowych uczniów). Za wystarczające doświadczenie Zamawiający uzna udział danej osoby w co najmniej 2 badaniach realizowanych w szkołach podstawowych. Dodatkowe wymagania wobec kandydatów na ankieterów przeprowadzających badanie wypowiedzi ustnej w badaniu osiągnięć szkolnych w zakresie języka angielskiego: doświadczenie min. 2 lata w pracy w szkole podstawowej lub pracy z dziećmi w grupie wiekowej 9-10 lat; Listę ankieterów spełniających powyższe wymagania Wykonawca przekaże Zamawiającemu umowy terminie 4 dni od dnia zawarcia umowy. Do listy powinny być dołączone CV ankieterów, potwierdzające ich kwalifikacje i doświadczenie. Przed zleceniem realizacji zadań objętych niniejszym zamówieniem, Wykonawca zrealizuje szkolenie ankieterów, w którym wezmą udział przedstawiciele Zamawiającego, jak również przekaże ankieterom wszelkie niezbędne informacje i dokumenty pozwalające na efektywną realizację powierzonych im zadań. Wykonawca nie może wyznaczyć do realizacji badania osób spoza przedstawionej Zamawiającemu listy oraz osób, które nie wzięły udziału w szkoleniu. Wykonawca zobowiązany jest bezzwłocznie zastąpić ankietera, wobec którego Zamawiający złoży uzasadniony wniosek o wykluczenie z zespołu realizującego badanie. Szkolny koordynator badania odpowiada za nadzór nad realizacją badania w danej szkole, a w szczególności za: 1. Stworzenie przyjaznych warunków badania. 2. Poinformowanie rodziców uczniów o przeznaczeniu, założeniach i znaczeniu badania (Wykonawca otrzyma elektroniczne wersje materiałów informacyjnych). 3. Komunikację z nauczycielami w szkołach objętych badaniem. 4. Zapewnienie poufności danych pochodzących z ankiet rodziców i nauczycieli. 5. Zapewnienie warunków lokalowych przeprowadzanego badania testowego. i odpowiedniego wyposażenia sal dla 6. Zapewnienie dostępu do potrzebnej do przeprowadzenia badania szkolnej dokumentacji. 7. Weryfikację listy uczniów objętych badaniem przekazanej przez Zamawiającego; każdy kwestionariusz ankiety lub testu musi być oznaczony odpowiednim numerem identyfikacyjnym ucznia. 5 8. Oznaczenie na liście uczniów będących rodzeństwem; w wypadku, gdy w klasie objętej badaniem uczy się rodzeństwo, rodzice wypełniają ankietę dla rodziców wraz z załącznikiem (pytania dotyczące drugiego dziecka); ankieta rodzicielska powinna być w takim wypadku oznaczona numerem identyfikacyjnym jednego dziecka, załącznik oznaczony jest identyfikatorem drugiego dziecka; powyższa zasada dotyczy również uzupełniającego badania ankietowego rodziców (uzupełnienie danych z I etapu badania). 9. Stworzenie listy nauczycieli objętych badaniem oraz nadanie każdemu nauczycielowi niepowtarzalnego numeru identyfikacyjnego; każdy kwestionariusz ankiety musi być oznaczony odpowiednim numerem identyfikacyjnym nauczyciela; imienna lista nauczycieli uczących w danej szkole (pełno- i niepełno etatowych) w klasach IV-VI ma objąć wszystkich nauczycieli (poza osobami uczącymi religii) uczących w klasach IV-VI; nauczyciele klas IV, w których przeprowadzane są badania uczniów, muszą być oznaczeni w sposób umożliwiający połączenie danych z ankiety dla nauczyciela z wynikami jego uczniów; lista ta będzie podstawą obliczania stopy realizacji badania nauczycieli. Z badania wykluczamy nauczycieli języka angielskiego, którzy wypełniali ankietę w I etapie badania (styczeń-kwiecień 2011). 10. Szkolny koordynator wraz z ankieterem odpowiada za zapewnienie nauczycielom poufności przekazywanych danych. Ankiety muszą być przekazywane do wypełnienia w kopertach. Ankiety od nauczycieli odbiera w zaklejonych kopertach ankieter - w żadnym wypadku ankiet tych nie może odbierać pracownik szkoły (zastrzeżenie to dotyczy także szkolnego koordynatora badania). Wypełnione ankiety nie mogą być gromadzone w szkole (np. pokoju nauczycielskim czy gabinecie dyrektora) do czasu odebrania ich przez ankietera. Zadania ankieterów: 1. Do każdej wskazanej do badania szkoły Wykonawca przydzieli jednego ankietera odpowiedzialnego za przeprowadzenie badań. Jedna osoba może być ankieterem w kilku szkołach. 2. Wykonawca prześle Zamawiającemu w wersji elektronicznej listę nazwisk ankieterów oraz szkół przydzielonych każdemu ankieterowi nie później niż na 5 dni przed rozpoczęciem badania w danej szkole. 3. Wykonawca, przed rozpoczęciem badań, zorganizuje szkolenie nt. przebiegu badań dla ankieterów na terenie Warszawy, w terminie ustalonym z Zamawiającym. W szkoleniu uczestniczyć będą przedstawiciele Zamawiającego (nie więcej niż 5 osób). 4. Wykonawca przekaże ankieterowi materiały badawcze, tj. zeszyty testowe, testy instruktażowe i ankiety oraz zapewni dostęp do sprzętu dodatkowego (sprzęt niezbędny do przeprowadzenia testowania z języka angielskiego). 6 5. Ankieter jest zobowiązany sprawdzić, czy otrzymał komplet materiałów, i czy sprzęt jest sprawny i pozwoli zrealizować badanie zgodnie z procedurami. 6. W umówionym terminie ankieter przeprowadzi testy osiągnięć we wskazanym oddziale klasowym zgodnie z opisaną procedurą. 7. Ankieter, w razie potrzeby, przeprowadzi uzupełniające sesje testowe w celu zebrania danych od uczniów nieobecnych w dniu badania. Sesje uzupełniające powinny odbyć się w czasie wyznaczonym na testowanie. 8. Ankieter zbierze informacje o tytułach podręczników do nauki języka angielskiego stosowanych w badanej klasie w roku szkolnym 2010/2011 i 2011/12. 9. Ankieter przeprowadzi badanie ankietowe rodziców uczniów, w tym badanie uzupełniające rodziców (problem rodzeństwa w I etapie badań). 10. Ankieter przeprowadzi badanie ankietowe nauczycieli. Od wszystkich badanych nauczycieli pozyska zgody na przetwarzanie danych osobowych. 11. Ankieter zbierze i uporządkuje zebrane materiały oraz sprawdzi ich kompletność niezwłocznie po zakończeniu badania. 12. Ankieter wypełni przewidziane procedurą protokoły realizacji badania. 13. Ankieter utworzy listy nauczycieli biorących udział w badaniu. Ankieter prowadzący badanie wypowiedzi ustnej z języka angielskiego wypełni po każdej sesji badawczej tabelę pracy ankietera jednocześnie w formie elektronicznej i papierowej. Tabela zawiera kod ankietera, kod szkoły i klasy oraz kolumnę do wpisania kodów uczniów w kolejności przebiegu badania w danym dniu. Ankieter w badaniu wypowiedzi ustnej z języka angielskiego nie może być jednocześnie koderem tychże wypowiedzi. Ankieter odpowiada za zapewnienie poufności wszelkich zbieranych informacji, a w szczególności zapewni poufność danych ankietowych pochodzących od rodziców i nauczycieli. Ankiety powinny być przekazywane w kopercie, a odbierane w zamkniętej kopercie. Ankieta ma być przekazywana rodzicom przez ankietera, ankieter będzie też ankietę od rodziców odbierał. Dopuszczamy pośrednictwo uczniów w przekazywaniu ankiety rodzicielskiej, natomiast niedopuszczalne jest odbieranie ankiety od rodziców przez nauczycieli lub innych pracowników szkoły. Ankiety od nauczycieli może odbierać tylko ankieter, w żadnym wypadku pracownik szkoły, szkolny koordynator badania lub dyrektor szkoły. 2. NARZĘDZIA BADAWCZE I PODSTAWOWE PROCEDURY BADAWCZE 2.1. TESTOWANIE OSIĄGNIĘĆ SZKOLNYCH W ZAKRESIE CZYTANIA, ŚWIADOMOŚCI JĘZYKOWEJ I UMIEJĘTNOŚCI MATEMATYCZNYCH 7 Narzędzia badawcze wykorzystywane w badaniu to testy osiągnięć szkolnych z czytania, świadomości językowej i umiejętności matematycznych. Każdy z trzech testów będzie miał dwie wersje: A i B. Każdy uczeń będzie rozwiązywał jedną wersję każdego testu podczas jednej sesji testowej. Ponieważ podczas każdej sesji testowej przewidziano w środku krótką przerwę, każda wersja testu będzie podzielona na dwa zeszyty testowe (uczniowie do przerwy będą rozwiązywali część I testu, a po przerwie część II). Łącznie Zamawiający przekaże wzory 12 zeszytów testowych. Każdy uczeń będzie rozwiązywał łącznie 6 zeszytów testowych (część I i część II testu czytania, część I i część II testu świadomości językowej, część I i część II testu umiejętności matematycznych) podczas trzech sesji testowania. W każdym zeszycie testowym będzie średnio 16 zadań w tym połowa otwartych, wymagających kodowania. Każdy zeszyt będzie liczył 8 stron formatu A4 i będzie musiał być wydrukowany w nakładzie 65% liczebności próby (5572 uczniów). Nadwyżka nakładu testów potrzebna jest ze względu na nierównomierne rozłożenie wersji A i B, błędy drukarskie, zniszczenie bądź zgubienie testów oraz ewentualne objęcie badaniem nowych uczniów w klasie. Wykonawca dokona wydruku zeszytów testowych zgodnie z następującymi standardami: zeszyty testowe szyte przez grzbiet tak, aby powstała 4 kartkowa "książeczka testowa" formatu A4, gramatura papieru: nie mniej niż 80g/m2, druk w pełnym kolorze 4x4, ilustracje w jakości nie gorszej niż 16 bitów i rozdzielczości nie gorszej niż 300 dpi, zgodnie z materiałami dostarczonymi przez Zamawiającego. Dodatkowo przewidziany jest 1-stronicowy test szkoleniowy, wydrukowany w druku czarnobiałym 1x0, na papierze o gramaturze min. 80g/m2, służący poinstruowaniu uczniów, jak wypełniać testy. Będzie on wydrukowany w nakładzie 1,30 liczebności próby. Każdy zeszyt testowy, poza szkoleniowym, musi być oznaczony naklejką z ID ucznia. Naklejki te Wykonawca zobowiązany jest wydrukować przed przystąpieniem do realizacji badania w danej szkole. Projekt naklejki oraz procedura ich przydzielania podlega zatwierdzeniu przez Zamawiającego. Wzory zeszytów testów osiągnięć szkolnych w postaci elektronicznej (PDF) zostaną przekazane Wykonawcy w terminie 2 dni od dnia podpisania umowy. Zeszyty testowe należy traktować jako materiały poufne. Nie dopuszcza się udostępniania ich lub ujawniania osobom nieuprawnionym, czyli innym niż badani uczniowie oraz przedstawiciele Wykonawcy, którzy na potrzebę przeprowadzenia badania muszą mieć do nich wgląd. Zeszyty testowe nie mogą być przekazane, a także udostępnione do powielenia nauczycielom, dyrektorom oraz innym pracownikom badanych szkół. Wszystkie niewykorzystane w badaniu zeszyty testowe Wykonawca przekaże Zamawiającemu (usługa dostawy na koszt Wykonawcy). Przed wydrukiem zeszytów w ilościach wymaganych, niezbędnych do wykonania badania, Wykonawca przedstawi Zamawiającemu po 1 egzemplarzu każdego rodzaju wydrukowanego zeszytu (wydruk próbny), celem sprawdzenia ich poprawności i kompletności. Zamawiający 8 zweryfikuje poprawność wydrukowanych zeszytów w terminie 3 dni roboczych od momentu otrzymania wydruku próbnego w celu ostatecznej akceptacji. W przypadku stwierdzenia błędów w wydruku, Wykonawca zobowiązany jest do wprowadzenia, w terminie nie powodującym opóźnienia w rozpoczęciu badań, niezbędnych korekt wskazanych przez Zamawiającego błędów oraz powtórnego przekazania wydruków do wyrażonej na piśmie akceptacji Zamawiającego. Wykonawca zobowiązany jest wszystkie zeszyty testowe wykorzystane w badaniu wydrukować w jakości nie gorszej niż wydruk próbny. Oprócz wzorów zeszytów testów osiągnięć szkolnych zostanie przekazany Wykonawcy w postaci elektronicznej (PDF) Podręcznik procedur i kluczy kodowania zadań zamkniętych i otwartych, w terminie 15 dni kalendarzowych od dnia podpisania umowy. Podręcznik procedur i kluczy kodowania zadań zamkniętych i otwartych będzie musiał być wydrukowany na potrzeby pracy koderów w druku czarno-białym 1x1 lub 1x0, na papierze o gramaturze min. 80 g/m2, w formacie A4. Wyżej opisana procedura weryfikacji wydruków ma zastosowanie również w odniesieniu do tego dokumentu. Uczniowie rozwiązują testy osiągnięć szkolnych podczas trzech sesji testowych przeprowadzonych w trzech kolejnych dniach tygodnia. Podczas każdej sesji testowej uczniowie rozwiązują dwa zeszyty testowe. Na rozwiązanie każdego zeszytu testowego przewidziano 35 min. W połowie czasu trwania każdej sesji odbędzie się krótka, 5-10 minutowa przerwa. Każda sesja testowa będzie więc trwała ok. 80 min. (w tym 5-10 min. przerwy). Przed pierwszą sesją testową ankieter w ciągu 10 minut instruuje uczniów, w jaki sposób należy rozwiązywać testy (do tego celu zostanie wykorzystany 1-stronicowy test szkoleniowy). Ankieter jest zobowiązany do zapewnienia sytuacji, w której uczeń rozwiązuje przewidziany dla niego w procedurze dystrybucji zeszytów testowych zeszyt oraz do prawidłowego oznaczenia zeszytów testowych numerem identyfikacyjnym ucznia, który go rozwiązywał. W wypadku wątpliwości co do poprawności oznaczenia zeszytu ID ucznia, dany test będzie uznany za niezrealizowany. Procedura dystrybucji zeszytów testowych w postaci elektronicznej zostanie przekazana Wykonawcy w terminie 2 dni od dnia podpisania umowy. Procedura będzie musiała być wydrukowana na potrzeby ankieterów w druku czarno-białym 1x1 lub 1x0, na papierze o gramaturze min. 80 g/m2, w formacie A4. Wyżej opisana procedura weryfikacji wydruków próbnych ma zastosowanie również w odniesieniu do tego dokumentu. Ważnym elementem testowania osiągnięć szkolnych jest kodowanie odpowiedzi uczniów. Wykonawca powoła doświadczone osoby odpowiedzialne za kodowanie prac (co najmniej 20 osób). Za wystarczające doświadczenie Zamawiający uzna doświadczenie zdobyte w co najmniej jednym ogólnokrajowym lub międzynarodowym badaniu osiągnięć szkolnych lub też posiadanie przez daną osobę certyfikatu egzaminatora sprawdzianu w VI klasie szkoły podstawowej w zakresie kodowania. Wykonawca przekaże Zamawiającemu do akceptacji listę koderów w terminie do 10 dni roboczych od podpisania umowy. 9 Procedura kodowania testów: 1) Każdy koder ma mieć nadany unikalny numer identyfikacyjny. 2) Odpowiedzi w zadaniach zamkniętych będą kodowane w następujący sposób: kod 1 – zaznaczona odpowiedź A, kod 2 – zaznaczona odpowiedź B, kod 3 – zaznaczona odpowiedź C, kod 4 – zaznaczona odpowiedź D, kod 9 – brak zaznaczonej odpowiedzi, kod 0 – zaznaczenie więcej niż jednej odpowiedzi. Kodowanie zadań otwartych, wymagających sprawdzenia poprawności przedstawionej odpowiedzi lub oceny przedstawionego rozumowania, będzie polegać na porównaniu rozwiązania z kryteriami opisanymi w Podręczniku procedur i kluczy kodowania przekazanym przez Zamawiającego i przyznania danemu rozwiązaniu odpowiedniego kodu opisującego, czy rozwiązanie jest całkowicie poprawne, częściowo poprawne, czy błędne (dla wszystkich zadań otwartych, dla których będzie to możliwe, poprawna odpowiedź zostanie podana w kluczach kodowych). Szczegóły procedury kodowania zadań otwartych opisano poniżej. 3) Wykonawca zorganizuje szkolenie nt. przebiegu i zasad kodowania zadań testowych dla koderów na terenie Warszawy, w terminie ustalonym z Zamawiającym. W szkoleniu uczestniczyć będą przedstawiciele Zamawiającego (nie więcej niż 5 osób). Szkolenie odbędzie się w warunkach standardowych (***), Wykonawca zadba o pełne wyżywienie, nocleg i materiały szkoleniowe dla wszystkich osób obecnych na szkoleniu, w tym także dla przedstawicieli Zamawiającego (bez noclegu). Blok szkolenia koderów dotyczący klucza kodowego, realizowany przez przedstawicieli Zamawiającego, zajmie około 5 godzin. Pozostałe bloki szkolenia realizuje Wykonawca. Szkolenie to może zostać połączone z opisanym poniżej szkoleniem dla osób realizujących badanie osiągnięć szkolnych w zakresie języka angielskiego. 4) W przypadku kodowania wykonania zadań otwartych zawartych w zeszytach testowych, procedura przewiduje: a. Przydział zeszytów testowych koderom zgodnie z procedurą przekazaną przez Zamawiającego. Wykonawca przekaże Zamawiającemu listy zawierające jednoznaczne przypisanie poszczególnych zeszytów testowych do kodera. Lista powinna zawierać numer identyfikacyjny kodera (id kodera), oznaczenie zeszytu testowego oraz numer identyfikacyjny ucznia (id ucznia), któremu przypisany został zeszyt testowy. Lista powinna zostać przekazana Zamawiającemu nie później niż na 3 dni przed rozpoczęciem kodowania zadań otwartych. b. Etap interpretacji klucza kodowego do zadań otwartych. Etap ten zakłada wspólną interpretację klucza kodowego w grupach składających się z koderów, którzy będą kodować w zasadniczej fazie kodowania dany rodzaj zeszytu testowego. Interpretacja powinna być oparta na próbnym kodowaniu faktycznych wykonań zadań testowych przez uczniów. Etap interpretacji powinien odbyć się w ramach szkolenia nt. przebiegu i zasad kodowania zadań testowych dla koderów na terenie Warszawy. 10 c. Na podstawie klucza kodowego koderzy zakodują zadania otwarte z 300 zeszytów testowych. Wykonawca przekaże efekty kodowania (zgodne z formatem bazy danych opisanym w punkcie 5 niniejszego dokumentu) wraz z zeszytami testowymi, których dotyczą. Zeszyty testowe do weryfikacji przez Zamawiającego powinny być wybrane zgodnie z następującymi zasadami: (1) w puli 300 zakodowanych zeszytów muszą się znaleźć prace ze wszystkich rodzajów zeszytów testowych zawierających zadania otwarte, (2) każdy koder musi sprawdzić liczbę prac proporcjonalną do jego wkładu w kodowanie. Zamawiający sprawdzi efekty kodowania prac i przyjmie je w ciągu 10 dni, jeśli wielkość błędów w kodowaniu zadań otwartych nie przekroczy 5%. Brak zgłoszenia uwag w tym czasie oznacza akceptację próbnego kodowania. W przypadku błędów w kodowaniu zadań otwartych przekraczających 5%, Wykonawca dokona poprawek w ciągu 5 dni roboczych i przedstawi efekty kodowania do ponownej akceptacji Zamawiającemu. Akceptacja będzie przebiegała na tych samych zasadach. d. Zaakceptowanie efektów próbnego kodowania zadań otwartych przez Zamawiającego umożliwia rozpoczęcie zasadniczej fazy kodowania zadań otwartych. e. Spośród kodowanych przez Wykonawcę zeszytów testowych Zamawiający wylosuje id tych zeszytów testowych, które zostaną zakodowane powtórnie. Zamawiający wskaże id koderów, którzy zakodują wylosowane zeszyty i przekaże Wykonawcy listę zawierającą przypisane id zeszytów testowych poszczególnym koderom, którzy dokonają ich kodowania. Powtórne kodowanie zeszytów testowych ma na celu określenie współczynnika rzetelności kodowania i nie służy weryfikacji pracy koderów. Powtórnym kodowaniem zostanie objętych 20% wypełnionych zeszytów testowych. f. Wykonawca wprowadzi do elektronicznej bazy danych dane z zadań zamkniętych i otwartych (zakodowane). Wykonawca zobowiązuje się zweryfikować dane po wprowadzeniu ze względu na wystąpienie niedopuszczalnych wartości zmiennych. Plik z danymi Wykonawca przekaże Zamawiającemu na nośniku elektronicznym. Dane mają być przekazane zgodnie z formatem opisanym w punkcie 5 niniejszego dokumentu. g. Po przekazaniu zeszytów testowych, dokumentów związanych z przebiegiem tej części badania oraz baz danych przez Wykonawcę, Zamawiający dokona kontroli losowej próbki tych materiałów w ciągu 10 dni roboczych. W przypadku stwierdzenia wad, Zamawiający przedstawi ich listę, przekaże Wykonawcy całość materiałów i wezwie Wykonawcę do usunięcia wad w terminie 10 dni roboczych we wszystkich dokumentach i bazach. Po ponownym przekazaniu przez Wykonawcę materiałów badawczych Zamawiający w terminie nie dłuższym niż 10 dni roboczych ponownie zweryfikuje przekazane materiały badawcze. h. W przypadku gdy Zamawiający nie stwierdzi wad w dokumentacji badawczej i bazach danych (ich spójności), Zamawiający przystąpi do sprawdzenia wyników kodowania. Zamawiający w ciągu 15 dni roboczych sprawdzi wyniki kodowania dla 5% testów pod kątem poprawności kodowania pytań 11 zamkniętych i otwartych. Kodowanie zostanie zaakceptowane, jeśli liczba stwierdzonych błędów nie przekroczy 5% liczby skontrolowanych zadań otwartych i 0,5% liczby skontrolowanych zadań zamkniętych. W przypadku stwierdzenia błędów kodowania przekraczających dopuszczalne progi Zamawiający zwróci Wykonawcy wszystkie materiały badawcze i wezwie do poprawy błędów kodowania we wszystkich zeszytach testowych. Wykonawca poprawi błędy w terminie nieprzekraczającym 10 dni roboczych. i. Procedura weryfikacji poprawności kodowania danych i ewentualnej poprawy przez Wykonawcę będzie trwała do momentu, aż liczba stwierdzonych błędów nie przekroczy 5% liczby skontrolowanych zadań otwartych i 0,5% liczby skontrolowanych zadań zamkniętych. 3. BADANIE OSIĄGNIĘĆ SZKOLNYCH W ZAKRESIE JĘZYKA ANGIELSKIEGO 3.1. Cel badania, próba. Celem badania jest określenie zakresu osiągnięć uczniów szkoły podstawowej po zakończeniu I etapu edukacyjnego w obszarze umiejętności: a. rozumienia tekstu słuchanego i czytanego w języku angielskim b. wypowiedzi ustnej, poprzez odtworzenie usłyszanej frazy. Badanie to zostanie przeprowadzone w tej samej grupie uczniów, co badanie umiejętności rozumienia tekstu słuchanego i czytanego, ale na mniejszej próbie uczniów (patrz: informacje o losowaniu poniżej). c. motywacji uczniów do nauki języka angielskiego. W badaniu osiągnięć szkolnych w zakresie rozumienia tekstu słuchanego i czytanego w języku angielskim oraz motywacji do nauki języka angielskiego wezmą udział wszyscy biorący udział w I etapie badania uczniowie klas IV ze 174 szkół z próby głównej (tak samo jak w testach osiągnięć szkolnych w zakresie czytania, świadomości językowej i umiejętności matematycznych). Badaniem wypowiedzi ustnej zostaną objęci uczniowie klas IV z 42 szkół podstawowych wylosowanych przez Zamawiającego z próby głównej, liczącej 174 szkoły. 3.2. Narzędzia badawcze, materiały i sprzęt niezbędny do przeprowadzenia badania. Badanie zostanie przeprowadzone przy wykorzystaniu: a. zestawów zadań językowych ujętych w zeszyty testowe, których wzory dostarczy Wykonawcy Zamawiający. Zestawy zadań będą wymagały 12 zaznaczenia prawidłowych odpowiedzi w zeszytach testowych. Wszystkie zadania mają charakter zadań zamkniętych i nie wymagają wpisywania wyrazów, a jedynie zaznaczania odpowiedzi krzyżykiem (X) lub cyfrą. Dane wprowadzane będą do bazy danych otrzymanej od Zamawiającego w formacie opisanym w punkcie 5 niniejszego dokumentu. Sesja badawcza będzie trwała 70 min – dwie części po 30 minut, w środku 10 minutowa przerwa. b. narzędzia badawczego do badania wypowiedzi ustnej przygotowanego i przekazanego przez Zamawiającego. Narzędziem badawczym jest w tym wypadku przygotowana przez Zamawiającego płyta CD z nagraniami zdań do powtórzenia, za pomocą której ankieter odtwarza nagrane zdania. Ankieter nagrywa wypowiedzi uczniów bezpośrednio na dwa dyktafony jednocześnie. Na jednym z dwóch dyktafonów ankieter nagra wypowiedzi dzieci wyłączając dyktafon po nagraniu każdego dziecka. W ten sposób nagranie każdego dziecka będzie stanowiło odrębny plik. Dodatkowo, w celu zabezpieczenia danych, ankieter będzie nagrywać wypowiedzi badanych dzieci jednocześnie na drugi z dwóch dyktafonów włączając go na początku sesji badawczej i wyłączając na koniec, po przebadaniu wszystkich dzieci. W ten sposób każda sesja badawcza zostanie nagrana jako jeden ciągły plik dźwiękowy. Uczniowie będą indywidualnie wykonywać zadanie wypowiedzi ustnej w zacisznym pomieszczeniu w szkole, w czasie trwania lekcji, w obecności ankietera, który będzie siedział po lewej stronie badanego dziecka. W trakcie badania powinna być dostępna świeża woda oraz jednorazowe kubeczki. c. kwestionariusza dotyczącego motywacji dzieci do nauki języka angielskiego (w formie SMILEY), wypełnianego przez wszystkich uczniów biorących udział w badaniu d. kwestionariusza służącego do oceny przebiegu badania wypowiedzi ustnej (w formie SMILEY), wypełnianego przez uczniów biorących udział w badaniu wypowiedzi ustnej. Badaniem wypowiedzi ustnej zostaną objęci uczniowie klas IV z 42 szkół podstawowych wylosowanych przez Zamawiającego z próby głównej, liczącej 174 szkoły. W każdej z tych szkół wylosowanych zostanie 20 dzieci z jednej klasy a 14 z nich zostanie przebadanych, utrzymując parytet płci. Ogółem przebadanych zostanie około 600 dzieci. Badanie to uznaje się za zrealizowane w danej szkole, gdy przebadanych zostanie 14 z 20 zrekrutowanych uczniów do badania wypowiedzi ustnej z języka angielskiego, którzy wykonali zadanie w całości w każdej szkole wskazanej do badania. W razie nieosiągnięcia powyższego progu np. poprzez możliwe nieobecności wskazanych do badania dzieci, Wykonawca zobowiązany jest do natychmiastowego kontaktu z koordynatorem szkolnym za pośrednictwem ankietera i uzgodnienia dodatkowego terminu przeprowadzenia badania dla wcześniej wybranych uczniów. Wykonawca zobowiązany jest do wykonania następujących czynności związanych z drukiem materiałów szkoleniowych i badawczych w badaniu osiągnięć szkolnych w zakresie języka angielskiego: 13 1) odbiór od Zamawiającego materiałów szkoleniowych i badawczych (na płycie CD w formacie Word i PDF) w terminie 3 dni od dnia podpisania umowy; 2) wydruk egzemplarzy próbnych materiałów szkoleniowych i badawczych według procedury podanej poniżej; 3) druk materiałów szkoleniowych i badawczych w ilościach niezbędnych do realizacji badania zgodnie z wzorami przekazanymi przez Zamawiającego - po akceptacji wydruków próbnych przez Zamawiającego; 4) sprawdzenie kompletności i poprawności wydruków oraz ich jakości; 5) udostępnienie wszystkich wydrukowanych materiałów do wglądu Zamawiającego (u Wykonawcy lub w uzgodnionym miejscu) 5 dni przed rozpoczęciem szkolenia. Materiały dla ankieterów i koderów niezbędne do przeprowadzenia badania osiągnięć szkolnych w zakresie języka angielskiego Wzory zeszytów testowych, kwestionariuszy i instrukcji Zamawiający przekaże Wykonawcy w postaci elektronicznej w terminie 2 dni od dnia podpisania umowy. Płyty CD z nagraniami także zostaną przekazane Wykonawcy w termieni 2 dni od dnia podpisania umowy. Przed wydrukiem zeszytów w ilościach wymaganych, niezbędnych do wykonania badania, Wykonawca przedstawi Zamawiającemu po 1 egzemplarzu każdego rodzaju wydrukowanego zeszytu (wydruk próbny), celem sprawdzenia ich poprawności i kompletności. Zamawiający zweryfikuje poprawność wydrukowanych zeszytów w terminie 3 dni roboczych od momentu otrzymania wydruku próbnego w celu ostatecznej akceptacji. W przypadku stwierdzenia błędów w wydruku, Wykonawca zobowiązany jest do wprowadzenia, bez zbędnej zwłoki, niezbędnych korekt oraz powtórnego przekazania wydruków do wyrażonej na piśmie akceptacji Zamawiającego. Wykonawca zobowiązany jest wszystkie zeszyty testowe wykorzystane w badaniu wydrukować w jakości nie gorszej niż wydruk próbny. Do badania rozumienia ze słuchu i tekstu czytanego: 1. odpowiednia do realizacji badania liczba zeszytów testowych dla uczniów (opis poniżej), 2. odpowiednia do realizacji badania liczba instrukcji dla ankietera (4 strony A4, druk czarnobiały, dwustronny), 3. odpowiednia do realizacji badania liczba płyt CD z materiałem dźwiękowym do zadań sprawdzających rozumienie tekstu słuchanego. 4. Odpowiednia do realizacji badania liczba kwestionariuszy SMILEY - 1 strona A4, druk czarno-biały, na papierze o gramaturze min. 80g/m2 Do badania wypowiedzi ustnej: 14 Dla ankieterów: Odpowiednia do realizacji badania liczba instrumentu badawczego w postaci płyty CD, zawierającej zdania do powtórzenia przez badanych uczniów. Odpowiednia do realizacji badania liczba kwestionariuszy SMILEY - 1 strona A4, druk czarno-biały, na papierze o gramaturze min. 80g/m2 Dla koderów: Odpowiednia do realizacji kodowania liczba nagrań wypowiedzi badanych uczniów w postaci plików dźwiękowych, oraz opis kodów, do których należy zakwalifikować te wypowiedzi. Materiały dla uczniów w badaniu osiągnięć szkolnych w zakresie języka angielskiego Wykonawca dokona wydruku odpowiedniej do realizacji badania liczby zeszytów testowych zgodnie z następującymi standardami: zeszyty testowe szyte przez grzbiet tak, aby powstała "książeczka testowa" formatu A4, stron 16, druk dwustronny, gramatura papieru: nie mniej niż 80g/m2, druk czarno - biały, ilustracje w jakości nie gorszej niż 16 bitów i rozdzielczości nie gorszej niż 300 dpi, zgodnie z materiałami dostarczonymi przez Zamawiającego. Zeszyty testowe będą musiały być wydrukowane w nakładzie 120 % liczebności próby (5572 uczniów). Nadwyżka nakładu testów potrzebna jest ze względu na błędy drukarskie, zniszczenie bądź zgubienie testów oraz ewentualne objęcie badaniem nowych uczniów w klasie. Dodatkowo przewidziany jest 1-stronicowy test szkoleniowy, wydrukowany w druku czarnobiałym 1x0, na papierze o gramaturze min. 80g/m2, służący poinstruowaniu uczniów, jak wypełniać testy. Będzie on wydrukowany w nakładzie 1,30 liczebności próby. Sprzęt na potrzeby badania osiągnięć szkolnych w zakresie języka angielskiego Wykonawca zobowiązany jest zapewnienia sprzętu niezbędnego do realizacji badania: a. odpowiedniej liczby odtwarzaczy CD tego samego typu (jednakowych), które posiadają funkcję pauzy, pozwalającą na zatrzymanie nagrania, cofnięcie i ponowne odtworzenie i zapewniają dobrą słyszalność w klasie szkolnej; b. odpowiedniej liczby płyt CD i nośników pamięci zewnętrznej USB do zapisania wyników pracy koderów wypowiedzi ustnej; c. zestawów wygodnych słuchawek dla koderów wypowiedzi ustnej badanych uczniów oraz odpowiedniej ilości płyt CD i zewnętrznych pamięci, aby osoby kodujące mogły dokonać zapisu swojej pracy. Sprzęt ten zostanie przekazany przez Wykonawcę ankieterom najpóźniej w dniu szkolenia. Sprzęt zostanie udostępniony do wglądu Zamawiającego (u Wykonawcy lub w uzgodnionym miejscu) 5 dni przed rozpoczęciem szkolenia. 15 3.3. Ankieterzy i koderzy. Ankieterami prowadzącymi badanie umiejętności rozumienia tekstu słuchanego i czytanego są te same osoby, które przeprowadzą pozostałe testy z czytania, świadomości językowej i umiejętności matematycznych. Do zadań ankietera badającego umiejętność rozumienia tekstu słuchanego i czytanego w języku angielskim będzie należało: a. przeprowadzenie testów językowych sprawdzających umiejętność rozumienia ze słuchu i rozumienia tekstu czytanego w języku angielskim wśród badanych uczniów we wszystkich badanych szkołach w okienku testowym wskazanym w punkcie 1.4. niniejszego dokumentu. b. wypełnienie dokumentacji z przebiegu badania zgodnie z instrukcjami Zamawiającego c. uczestnictwo w 1-dniowym wyjazdowym szkoleniu przygotowującym, które odbędzie się nie później niż tydzień przed rozpoczęciem okienka testowego, Do przeprowadzenia badania wypowiedzi ustnej Wykonawca wyłoni spośród wszystkich ankieterów 30 osób na podstawie podanych poniżej kryteriów. Osoby te wezmą udział w szkoleniu dla ankieterów przeprowadzających badanie wypowiedzi ustnej. W trakcie tego szkolenia Zamawiający wybierze spośród 30 osób 21, które ostatecznie zostaną oddelegowane do przeprowadzenia badania wypowiedzi ustnej. Wyboru tego Zamawiający dokona na podstawie zadań wykonanych przez ankieterów w trakcie szkolenia. Pozostałe osoby znajda się na liście rezerwowej. Do zadań ankietera badającego wypowiedź ustną będzie należało: a. przeprowadzenie testu wypowiedzi ustnej poprzez wykonanie zadania odtworzenia usłyszanej frazy wśród wylosowanych uczniów, b. wypełnienie dokumentacji z przebiegu badania zgodnie z instrukcjami Zamawiającego, c. uczestnictwo w 1-dniowym wyjazdowym szkoleniu przygotowującym, które odbędzie się nie później niż tydzień przed rozpoczęciem okienka testowego. Ponadto, Wykonawca przeprowadzi rekrutację 10 osób, z których 8 po zakończeniu badania będzie kodować wypowiedzi badanych uczniów (10 na liście głównej i 2 na liście rezerwowej). Do zadań osób kodujących będzie należało: a. uczestnictwo w dwóch jednoniowych szkoleniach przygotowujących do kodowania zorganizowanych przez Wykonawcę w terminie uzgodnionym z Zamawiającym b. kodowanie wypowiedzi badanych uczniów. 16 Dodatkowe wymagania wobec kandydatów na ankieterów przeprowadzających badanie wypowiedzi ustnej w badaniu osiągnięć szkolnych w zakresie języka angielskiego: a) doświadczenie min. 2 lata w pracy w szkole podstawowej lub pracy z dziećmi w grupie wiekowej 9-10 lat; b) możliwość korzystania z transportu własnego lub zapewnionego przez Wykonawcę w okresie realizacji zamówienia; Wymagania wobec koderów wypowiedzi ustnej w badaniu osiągnięć szkolnych w zakresie języka angielskiego: a) znajomość języka angielskiego jako rodzimego (native speaker) lub na poziomie C1 b) doświadczenie w przeprowadzaniu testów językowych sprawdzających umiejętność mówienia (np. w klasie lub podczas egzaminów ustnych Cambridge ESOL); c) możliwość korzystania z transportu własnego lub zapewnionego przez Wykonawcę w okresie realizacji zamówienia; Po zakończeniu badania wypowiedzi ustnej Wykonawca wyznaczy osobę, która przeniesie pliki dźwiękowe z nagraniem wypowiedzi ustnej każdego badanego dziecka z dyktafonów na komputer, zapisze w formacie wav i nazwie je kodem dziecka oraz zapisze w celu ich zabezpieczenia na płytę CD oraz pamięć zewnętrzną. Koderzy wypowiedzi ustnej będą wykonywali kodowanie po otrzymaniu plików przygotowanych według opisanych kryteriów, poprzez przesłuchanie plików dźwiękowych z komputera, zakodowanie ich w arkuszu Excel oraz w celu zabezpieczenia danych zapisanie wyników kodowania na płytę CD jak i na pamięć zewnętrzną. Procedury przygotowane przez Zamawiającego umożliwią każdemu ankieterowi w badaniu wypowiedzi ustnej robienie subiektywnych notatek, w formie elektronicznej, o każdym badanym dziecku (chęć i zaangażowanie dziecka, samopoczucie, uwagi ustne od dziecka i wszystko, co jest godne uwagi i zanotowania, a co może wpływać na jakość pracy dziecka). 3.4. Szkolenia dla osób realizujących badanie osiągnięć szkolnych w zakresie języka angielskiego Zamawiający jest merytorycznie odpowiedzialny za treści szkolenia dotyczącego badania osiągnięć szkolnych w zakresie języka angielskiego. Wykonawca jest odpowiedzialny za organizację i przygotowanie techniczne szkolenia. Reprezentant Wykonawcy weźmie udział w tej części szkolenia, w której omawiane będą procedury przeprowadzania badania w szkołach. Przedmiotem szkolenia będzie przygotowanie ankieterów do realizacji badania osiągnięć szkolnych w zakresie języka angielskiego oraz wprowadzania odpowiedzi uczniów do bazy 17 danych dostarczonej przez Zamawiającego. Szkolenie będzie obejmowało procedury przeprowadzania badania w szkołach oraz zasady wprowadzania odpowiedzi uczniów do bazy danych. Przedmiotem szkolenia dla koderów będzie przygotowanie ich do oceniania wypowiedzi uczniów poprzez zakodowanie wypowiedzi do odpowiedniej kategorii. Wykonawca zamawia bazę szkoleniową z salą wykładową, noclegami i wyżywieniem. Wykonawca poinformuje bazę szkoleniową o godzinach i liczbie posiłków, specjalnych wymaganiach dietetycznych, przerwach kawowych, organizacji i wyposażeniu sali wykładowej, potrzebnym sprzęcie, itd. Wykonawca upewni się, że sprzęt jest w dobrym stanie technicznym i działa. Wykonawca dostarczy wszystkie informacje o bazie szkoleniowej Zamawiającemu do jego akceptacji nie później niż 10 dni po podpisaniu umowy. Wykonawca odpowiada za poinformowanie uczestników o szkoleniu, transporcie, wyżywieniu, itp. Wykonawca uzyska potwierdzenie uczestnictwa od każdego uczestnika nie później niż na 5 dni przed rozpoczęciem szkolenia. Wykonawca dostarczy listę uczestników Zamawiającemu nie później niż 5 dni przed rozpoczęciem szkolenia. W nagłych przypadkach (np. poważna choroba, wypadek) uniemożliwiających uczestnictwo w szkoleniu, Wykonawca natychmiast powiadomi o tym Zamawiającego, który dokona wyboru kandydata z listy rezerwowej. Rezygnacja z udziału w szkoleniu jest równoznaczna z rezygnacją ankietera z udziału w realizacji badania. Wykonawca we własnym zakresie określa liczbę dodatkowych osób (np. koordynatorów badania ze strony Wykonawcy), które w jego imieniu będą brały udział w szkoleniu. Wykonawca we własnym zakresie zapewnia im nocleg, materiały, dojazd i wyżywienie. Poniżej wskazane wymagania dotyczą wyłącznie ankieterów, koderów i wykładowców (dalej: uczestników). Dane kontaktowe wykładowców zostaną przekazane Wykonawcy w terminie 2 dni od dnia zawarcia umowy. Organizacja szkoleń obejmuje: 1) Szkolenie jednodniowe dla ankieterów przeprowadzających badanie sprawdzające umiejętność rozumienia tekstu słuchanego i czytanego w języku angielskim (zorganizowane ze szkoleniem wszystkich ankieterów); 2) Szkolenie jednodniowe dla 30 ankieterów przeprowadzających badanie wypowiedzi ustnej (może być zorganizowane razem ze szkoleniem wszystkich ankieterów); 3) Szkolenie jednodniowe dla koderów kodujących zeszyty testowe zawierające zadania sprawdzające umiejętność rozumienia tekstu słuchanego i czytanego w języku angielskim (zorganizowane ze szkoleniem pozostałych koderów kodujących zadania z testów z czytania, świadomości językowej i umiejętności matematycznych). 18 4) Dwa szkolenia jednodniowe, dla 10 koderów wypowiedzi ustnej. Szkolenia jednodniowe organizowane są z noclegiem w dniu poprzedzającym. Wykonawca pokryje koszty noclegów i pełnego wyżywienia wykładowców podczas w/w szkoleń. Miejsce, w którym odbywać się mają wyżej wymienione szkolenia: W centrum Warszawy lub poza Warszawą w odległości do 30 km od centrum, w odpowiednio wyposażonej bazie szkoleniowej z bazą noclegową oraz stołówką/restauracją w tym samym budynku lub nie dalej niż 50 m. od budynku, w którym znajduje się sala wykładowa. Warunki standardowe (trzygwiazdkowe). Materiały i sprzęt dla uczestników szkoleń dla ankieterów: - 1 odtwarzacz CD - dla każdego ankietera zestaw zawierający wszystkie typy zeszytów testowych - dla każdego ankietera podręcznik procedur badawczych - dla każdego ankietera wydrukowany jeden kwestionariusz SMILEY - ryza białego papieru A4, długopisy, ołówki Materiały i sprzęt dla uczestników szkoleń dla ankieterów wypowiedzi ustnej: - komplet dyktafonów (dla każdego ankietera po dwa) - dla każdego ankietera płyta CD z nagraniami - dla każdego ankietera odtwarzacze CD - dla każdego ankietera wydrukowane procedury badawcze - dla każdego ankietera wydrukowany jeden raport z realizacji badania - dla każdego ankietera wydrukowany jeden kwestionariusz SMILEY - ryza białego papieru A4, długopisy, ołówki Materiały i sprzęt dla uczestników szkoleń dla koderów - dla każdego kodera podręcznik kodowania - dla każdego kodera słuchawki - 10 laptopów z wgranymi przykładowymi wypowiedziami uczniów oraz arkuszami Excel do wpisywania wyników kodowania - ryza białego papieru A4, długopisy, ołówki Wykonawca zapewni porządek podczas odbioru materiałów szkoleniowych. Podczas każdego szkolenia (na początku), każdy ankieter otrzyma materiały szkoleniowe i podpisze formularz 19 odbioru materiałów oraz klauzulę poufności. Ankieterzy są odpowiedzialni za pakiet materiałów testowych i sprzęt. Podręczniki procedur badawczych Zamawiający przekaże Wykonawcy w terminie 2 dni od dnia podpisania umowy. Podręczniki kodowania Zamawiający przekaże Wykonawcy w terminie 15 dni kalendarzowych od dnia podpisania umowy. Szczegółowe informacje dotyczące sal wykładowych Sale muszą być wyposażone w: - ekran oraz rzutnik multimedialny z kablami do podłączenia laptopa, - laptop - odtwarzacz DVD podłączony do TV z ekranem co najmniej 21-calowym, - przedłużacz, - tablicę białą z flamastrami i coś do czyszczenia tablicy lub flipchart z zasobem papieru i flamastrami, - wodę mineralną dla uczestników szkoleń. Przedstawiciele Wykonawcy będą brali udział we wszystkich organizowanych szkoleniach, będą odpowiadali za listy obecności uczestników szkoleń oraz w razie potrzeby udzielali pomocy technicznej. Kontrola jakości szkolenia Wykonawca przygotuje ankietę dla uczestników szkolenia i wykładowców na temat organizacji szkolenia, jakości bazy szkoleniowej, wyżywienia, klarowności informacji o organizacji szkolenia, terminach przekazywania informacji, itp. Wykonawca upewni się, że wszyscy uczestnicy szkolenia wypełnią ankiety. Dane z ankiet zostaną przygotowane w formie raportu i dostarczone Zamawiającemu nie później niż 5 dni po ukończeniu szkolenia. Ankieta nie dotyczy merytorycznych aspektów szkolenia. Będzie stanowiła podstawę do dokonania oceny realizacji zapisów umowy przez Wykonawcę. Pośredniczenie w przekazywaniu informacji, sprzętu i materiałów: Uwaga: wszystkie materiały, dokumentacja i dane dotyczące badania objęte są poufnością. Materiały dostarczone do Wykonawcy i ankieterów nie mogą być udostępniane osobom trzecim. Nie mogą być kopiowane do celów innych niż określone w umowie. Materiały te nie mogą być również przetwarzane elektronicznie. Wykonawca i ankieterzy nie mogą udzielać żadnych informacji dotyczących badania, jego wyników lub użytych do niego materiałów osobom trzecim (w tym też mediom). Wykonawca, oraz osoby działające w jego imieniu w związku z realizacją w/w umowy podpiszą klauzulę poufności w terminie 2 dni od dnia zawarcia umowy. 20 Obowiązki dodatkowe Wykonawcy Wykonawca zobowiązany jest zrealizować zamówienie zgodnie z postanowieniami SIWZu oraz umową, a w szczególności: a) powiadomić Zamawiającego o planowanym miejscu i warunkach szkolenia i uzyskać jego akceptację do 10 dni po podpisaniu umowy; b) powiadomić zatrudnionych ankieterów oraz osoby kodujące wypowiedzi badanych o szczegółach szkoleniach oraz uzyskać potwierdzenia ich udziału w szkoleniu; c) dostarczyć Zamawiającemu listę uczestników szkolenia na 5 dni przed rozpoczęciem szkolenia (dniem przyjazdu na szkolenie); d) dostarczyć raport po szkoleniu, łącznie z ankietami wypełnionymi przez uczestników szkolenia; e) odebrać od Zamawiającego dokumentację administracyjną dotyczącą realizacji badania we wszystkich szkołach objętych badaniem, w tym List Uczniów oraz Formularzy Dat Realizacji Badania w terminie 2 dni od dnia podpisania umowy. Wykonawca nie ma prawa do przetwarzania danych z List Uczniów ani przekazywania ich stronom trzecim, z wyjątkiem ankieterów; f) opracować harmonogramy realizacji badania w wyznaczonych szkołach i przekazywać informacje o terminie badania w danej szkole na 5 dni przed rozpoczęciem w niej badania; g) na bieżąco dokonywać weryfikacji ilości faktycznie przetestowanych uczniów przez każdego ankietera; h) po zakończeniu badania wypowiedzi ustnej wyznaczyć osobę, która przeniesie pliki dźwiękowe z nagraniem wypowiedzi ustnej każdego badanego dziecka z dyktafonów na komputer, zapisze w formacie wav i nazwie je kodem dziecka oraz zapisze w celu ich zabezpieczenia na płytę CD oraz pamięć zewnętrzną; i) powiadomić Zamawiającego w trybie natychmiastowym o nagłych wypadkach uniemożliwiających przeprowadzenie zadań przez któregokolwiek z ankieterów; j) upewnić się, że każdy ankieter dostarczył wszystkie arkusze wypełnianie przez uczniów (zeszyty testowe, kwestionariusze SMILEY), raport z realizacji badania, zwrócił odtwarzacz CD; zwrócił dyktafony, płyty CD z nagraniami wypowiedzi ustnej oraz pamięć zewnętrzną z tymi nagraniami; k) odebrać od koderów płyty CD i pamięć zewnętrzną z zapisem ich pracy; l) dostarczyć Zamawiającemu wszystkie płyty CD, pełną dokumentację z badania, bazy danych z zakodowanymi odpowiedziami uczniów z badania rozumienia tekstu słuchanego i czytanego w języku angielskim, z badania wypowiedzi ustnej oraz motywacji uczniów do nauki języka angielskiego; formularze odbioru sprzętu, materiałów szkoleniowych i badawczych od ankieterów i koderów; 3.5. Wprowadzanie danych z badań tekstu słuchanego i pisanego w języku angielskim 21 Wykonawca zrekrutuje i przeszkoli osoby wprowadzające dane z zeszytów testowych zgodnie z instrukcjami wprowadzania danych przekazanymi przez Zamawiającego w terminie 2 dni od dnia podpisania umowy. Dane z każdego zeszytu będą wprowadzane przez dwóch koderów – jedna osoba dyktuje odpowiedzi, a druga wpisuje je do arkusza w programie komputerowym. Jest to niezbędne do zachowania rzetelności danych. Przed rozpoczęciem kodowania Zamawiający przydzieli do zakodowania 3 zeszyty każdemu koderowi i sprawdzi wyniki kodowania. Wskazane przez Wykonawcę zeszyty i wyniki kodowania od każdego kodera zostaną przesłane pocztą kurierską Zamawiającemu, który sprawdzi w ciągu 3 dni roboczych poprawność kodowania. W przypadku stwierdzenia błędów w kodowaniu Zamawiający wezwie Wykonawcę do dokonania poprawek w terminie 5 dni roboczych. Po tym terminie Wykonawca zobowiązany jest ponownie przesłać Zamawiającemu zeszyty i wyniki kodowania w celu uzyskania ostatecznej akceptacji Zamawiającego. Zaakceptowanie przez Zamawiającego efektów próbnego kodowania jest warunkiem przystąpienia do kodowania zasadniczego. Dane z 10 procent wypełnionych zeszytów, wylosowanych przez Zamawiającego i przydzielonych konkretnym koderom, koderzy zobowiązani są zakodować podwójnie. Wykonawca jest zobowiązany nadzorować proces wprowadzania danych oraz dokonać czynności kontrolnych wg procedury opisanej w instrukcjach wprowadzania danych. Dane, które muszą zostać wprowadzone w badaniu osiągnięć szkolnych z języka angielskiego to: a) identyfikator ankietera b) identyfikator szkoły i oddziału c) identyfikator ucznia d) odpowiedzi ucznia z zeszytów testowych e) dane z obu kwestionariuszy SMILEY dla ucznia zawierających pytania wielokrotnego wyboru f) odpowiedzi ucznia z badania wypowiedzi ustnej Wykonawca dostarczy Zamawiającemu za pomocą poczty elektronicznej (zaszyfrowane co najmniej 8 znakowym hasłem) dane w formie zgodnej z instrukcjami Zamawiającego. Szczegółowe informacje na temat zbiorów danych zostały opisane w punkcie 5 niniejszego dokumentu („Kodowanie, wprowadzenie danych i przekazanie dokumentacji”). Kodowanie nagrań wypowiedzi ustnej z języka angielskiego 22 Wykonawca zobowiązany jest do wykonania kodowania nagrań wypowiedzi badanych według instrukcji, którą Zamawiający przekaże w terminie nie dłuższym niż 20 dni kalendarzowych od dnia podpisania umowy. Ilość nagrań: max. 672 testy Wykonane: u Wykonawcy Nagrania dotyczą: zdań po angielsku, do powtórzenia Nośnik: płyta CD, pamięć zewnętrzna, arkusz Excel W celu kontroli jakości przed rozpoczęciem pracy kodowania wypowiedzi ustnej Wykonawca zapewni, że każda osoba kodująca wykona kodowanie nagrań sześciorga dzieci wybranych przez Zamawiającego w ciągu 2 dni. Wyniki kodowania zostaną zatwierdzone przez Zamawiającego w ciagu 3 dni od ich otrzymania, po czym Wykonawca dokona ewentualnych poprawek w ciągu 3 dni i otrzyma odpowiedź od Zamawiającego w dniu nastepującym po otrzymaniu poprawek. 6. Również w celu kontroli jakości Wykonawca bądzie przekazywał Zamawiającemu wyniki kodowania na bieżąco drogą internetową. 7. W celu zapewnienia rzetelności badania każdy koder wykona podwójne kodowanie (a) 10% przynależnych sobie oraz (b) 10 % przynależnych do innego kodera nagranych wypowiedzi w czasie wyznaczonym przez Zamawiającego. Zamawiający ma prawo do sprawdzenia zgodności i trafności kodowania. 1. 2. 3. 4. 5. 3.6. Raporty z badania osiągnięć szkolnych w zakresie języka angielskiego oraz dokumentacja Wykonawca przekaże Zamawiającemu następujące raporty w formie pisemnej (nośnik: papierowy z podpisem Wykonawcy oraz cyfrowy w formacie pdf ): 1. Raport ze szkolenia ankieterów oraz koderów wypowiedzi badanych, podsumowujący informacje zwrotne od osób szkolonych, uzyskane na podstawie ankiety (do 5 dni po zakończeniu szkolenia). 2. Formularz odbioru materiałów podpisany przez każdego ankietera 3. Raport końcowy w wersji ostatecznej, tj. z uwzględnieniem wszelkich procedur odbioru. Raport końcowy zawiera raport techniczny z realizacji badania w poszczególnych szkołach, w tym informację o liczbie wykonanych testów oraz informację o stopniu realizacji badania. W sprawach szczegółowych uzgodnień dotyczących badania osiągnięć szkolnych w zakresie języka angielskiego Wykonawca będzie współpracował z zespołem badawczym Zamawiającego, reprezentowanym przez panie: Annę Michałowską, Magdalenę Szpotowicz lub Dorotę Campfield. 23 3.7. Przekazanie materiałów. Wykonawca zapewni porządek w uzyskanych materiałach badawczych. Materiały zostaną zorganizowane w pakiety, jeden dla każdej badanej szkoły. Materiały z badania osiągnięć szkolnych w zakresie języka angielskiego mają być przekazane Zamawiającemu w oddzielnych pudłach. W każdym pakiecie materiały zostaną uporządkowane zgodnie z instrukcjami przekazanymi przez Zamawiającego. Każdy pakiet zostanie wyraźnie oznakowany kodem (na zewnątrz pakietu) dostarczonym przez Zamawiającego. 4. POZOSTAŁE NARZĘDZIA BADAWCZE I PROCEDURY BADAWCZE 4.1 Badanie ankietowe wśród rodziców uczniów objętych badaniem Rodzice uczniów objętych badaniem wypełniać będą ankietę. Ankieta dla rodziców uczniów zawierać będzie 38 pytań, w tym pytań otwartych 20, zmiennych kodowanych 178, około 15 stron, druk czarno-biały, dwustronny, format A4. Wzór ankiety w postaci elektronicznej zostanie przekazany Wykonawcy w terminie 2 dni od dnia podpisania umowy. W wypadku, gdy do klasy objętej badaniem uczęszcza rodzeństwo, rodzice wypełniać będą powyższą ankietę uzupełnioną o załącznik, dla każdego kolejnego dziecka. Załącznik zawierać będzie 32 pytania, w tym pytań otwartych 11, zmiennych kodowanych 141, około 13 stron, druk czarno-biały, dwustronny, format A4. Pozwoli to w wypadku pytań związanych personalnie z danym dzieckiem na zebranie danych dedykowanych do danego dziecka. Ankieta i załącznik muszą być oznaczone w sposób pozwalający respondentom na jednoznaczną identyfikację dziecka, którego dotyczą pytania. Na potrzeby kodowania ankieta główna oznaczona ma być identyfikatorem pierwszego dziecka, załącznik zaś identyfikatorem drugiego dziecka. W razie potrzeby ankietę trzeba uzupełnić trzecim identyfikatorem. 4.2 Uzupełniające badanie ankietowe wśród rodziców uczniów objętych badaniem Zamawiający dostarczy Wykonawcy listę rodziców uczniów objętych badaniem (nie więcej niż 130 osób), w wypadku których trzeba będzie przeprowadzić uzupełniające badanie ankietowe. Badanie to wynika z luki w procedurze badawczej – rodzice ci wypełnili w I etapie badania ankiety bez podania informacji, którego z bliźniąt/rodzeństwa objętego badaniem dotyczą udzielone odpowiedzi. Ankieta uzupełniająca zawierać będzie 9 pytań, w tym pytań otwartych 1, zmiennych kodowanych 13, 4 strony, druk czarno-biały, dwustronny, format A4. Wzór ankiety w 24 postaci elektronicznej zostanie przekazany Wykonawcy w terminie 2 dni od dnia podpisania umowy. Przed wydrukiem ankiet dla rodziców jak również ankiet dla nauczycieli klas IV - VI w ilościach wymaganych Wykonawca przedstawi Zamawiającemu po 1 wydrukowanym egzemplarzu każdego rodzaju ankiety (wydruk próbny), celem sprawdzenia ich poprawności i kompletności. Zamawiający zweryfikuje poprawność wydrukowanych ankiet w terminie 3 dni roboczych od momentu otrzymania wydruku próbnego w celu ostatecznej akceptacji. W przypadku stwierdzenia błędów w wydruku, Wykonawca zobowiązany jest do wprowadzenia, w terminie nie powodującym opóźnienia w rozpoczęciu badań, niezbędnych korekt błędów wskazanych przez Zamawiajacego oraz powtórnego przekazania wydruków do akceptacji Zamawiającego. Wykonawca zobowiązany jest wszystkie ankiety wykorzystane w badaniu wydrukować w jakości nie gorszej niż wydruk próbny. 4.3. Badania ankietowe wśród nauczycieli klas IV-VI w szkołach objętych badaniem Nauczyciele klas IV-VI (poza osobami uczącymi religii lub etyki jeżeli jest to jedyny przedmiot przez nich nauczany) wypełniają ankietę. Wzór ankiety w postaci elektronicznej dostarczy Zamawiający. Ankieta będzie miała dwie wersje: dla kobiet i dla mężczyzn, różniące się jedynie odmianą końcówek. Ankieta zawiera 36 pytań, w tym 60 pytań otwartych, zmiennych kodowanych 220, stron 16, druk czarno-biały, dwustronny, format A4. Ankiety oznaczone id nauczyciela przekazuje nauczycielom i zbiera wypełnione ankieter. Wyżej opisana procedura weryfikacji wydruków ma zastosowanie również w odniesieniu do tej ankiety. Wzór ankiety w postaci elektronicznej zostanie przekazany Wykonawcy w terminie 2 dni od dnia podpisania umowy. 5. KODOWANIE, WPROWADZANIE DANYCH I PRZEKAZANIE DOKUMENTACJI Kodowanie testów osiągnięć szkolnych w zakresie czytania, świadomości językowej i umiejętności matematycznych, rozumienia tekstu słuchanego i czytanego w języku angielskim oraz badania wypowiedzi ustnej w języku angielskim ma być zgodne z przekazanymi przez Zamawiającego podręcznikami kodowania. Kodowanie ankiet dla rodziców, ankiet uzupełniających oraz ankiet dla nauczycieli ma objąć pytania zamknięte zgodnie ze strukturą ankiety. Odpowiedzi na pytania otwarte wpisywane są do bazy w pełnym brzmieniu, poza pytaniami dotyczącymi klasyfikacji zawodów (w ankiecie dla nauczycieli klas IV-VI pytania dotyczące zawodów rodziców oraz w ankiecie dla rodziców pytania o aspiracje zawodowe względem dzieci). Przy kodowaniu tych pytań 25 stosować należy kody wg Międzynarodowego Standardu Klasyfikacji Zawodów ISCO-08. W pytaniach tych może pojawić się więcej niż jedno wskazanie. Zaproponowana przez Wykonawcę struktura baz danych podlega zatwierdzeniu przez Zamawiającego. Wykonawca jest zobowiązany zakodować dane zgodnie z poniższą specyfikacją: Zbiór danych ilościowych 1. Wykonawca dostarczy zbiory danych ilościowych zebranych w badaniu oraz opisy ich struktury (codebook). Dodatkowo Wykonawca dostarczy zbiór danych pozwalających na identyfikację osób badanych umożliwiającą dopasowanie uzyskanych rekordów do odpowiedzi tych samych osób z pierwszej tury badania panelowego. 2. Zarówno zanonimizowany zbiór danych ilościowych, jak i opis jego struktury powinny mieć format csv: 1. separatorem pól powinien być średnik (kod ASCII 59); 2. separatorem tekstu powinien być cudzysłów (kod ASCII 34); 3. znaki narodowe powinny być zakodowane w stronie kodowej CP-1250. 3. Opis struktury zanonimizowanego zbioru danych ilościowych (codebook) powinien zawierać: 1. W pierwszym wierszu nagłówki kolumn (patrz punkt 3. poniżej). 2. W kolejnych wierszach opis poszczególnych zmiennych zbioru danych ilościowych (patrz opis kolumn) 1. N-ty wiersz (licząc z pominięciem wiersza zawierającego nagłówki kolumn) musi opisywać N-tą zmienną zanonimizowanego zbioru danych ilościowych (a więc zmienną, której wartości znajdują się w N-tej kolumnie zanonimizowanego zbioru danych ilościowych). 3. W kolejnych kolumnach opis cech poszczególnych zmiennych zanonimizowanego zbioru danych ilościowych (dla każdej zmiennej muszą zostać podane wszystkie stosowne dla danego typu zmiennej informacje): 1. nazwa zmiennej; 1. musi być unikalna w obrębie zbioru danych; 2. powinna oddawać hierarchię zmiennych, tzn. składać się z kodów sekcji/kategorii/grup zmiennych rozdzielonych znakiem podkreślenia. Np.: M_12_a – podpunkt a pytania 12 w sekcji M ankiety; 1. każdy kod sekcji/kategorii/grupy zmiennych, który zostanie użyty w nazwie jakiejkolwiek zmiennej musi posiadać w opisie struktury zanonimizowanego zbioru danych osobowych zmienną typu kategoria, która opisuje daną sekcję/kategorię/grupę, np. jeśli zbiór zawiera zmienne S_1, S_2, M_1, M_2, to w opisie struktury zanonimizowanego zbioru danych osobowych muszą pojawić się definicje zmiennych typu kategoria o nazwach S i M, których opis zawierać będzie nazwę danej sekcji/kategorii/grupy zmiennych (np. M – metryczka, S – opinie o sąsiadach). 3. dla danych pochodzących z ankiet kwestionariuszowych nazwa zmiennej powinna odpowiadać numerowi pytania w kwestionariuszu ankiety; w wypadku, gdy jednemu pytaniu kwestionariusza odpowiada kilka 26 zmiennych (np. pytanie z możliwością wielokrotnego wyboru), nazwy zmiennych odpowiadających danemu pytaniu powinny się składać z numeru pytania oraz sufiksu _N, gdzie N to kolejne liczby naturalne; 2. krótki opis zmiennej, zwięźle (w maksymalnie 70 znakach) opisujący, czego dana zmienna dotyczy; 3. opis zmiennej, w jasny sposób definiujący, czego dana zmienna dotyczy; 1. dla danych pochodzących z ankiet kwestionariuszowych powinna ona zawierać pytanie odczytywane respondentowi w ankiecie odpowiadające danej zmiennej; 2. jeśli jest to zmienna wywiedziona z innych zmiennych, w tym polu musi zostać opisany sposób, w jaki została wywiedziona; 4. lista słów kluczowych powiązanych ze znaczeniem zmiennej. Poszczególne wyrażenia oddzielone od siebie znakiem przecinka; 5. typ zmiennej: liczba całkowita/liczba rzeczywista/tekst/data/TERC1/ kategoria2/waga3; 6. skala zmiennej: dychotomiczna/nominalna/porządkowa/interwałowa/ilorazowa; 7. rozmiar zmiennej: 1. dla liczb - maksymalna liczba cyfr, z jakich składa się liczba (w wypadku liczb rzeczywistych łącznie cyfr dziesiętnych i ułamkowych); 2. dla tekstów – maksymalna liczba znaków; 8. dokładność zmiennej – tylko dla zmiennych rzeczywistych – liczba cyfr ułamkowych w reprezentacji liczby (pusta, jeśli nie dotyczy); 9. wartość minimalna – tylko dla liczb i dat – minimalna poprawna wartość zmiennej (pusta, jeśli nie dotyczy); 10. wartość maksymalna – tylko dla liczb i dat – maksymalna poprawna wartość zmiennej (pusta, jeśli nie dotyczy); 11. etykiety wartości – tylko dla zmiennych tekstowych zakodowanych liczbowo – tekst, który w kolejnych liniach zawiera pary kod:etykieta, gdzie kod to kod liczbowy przyporządkowany danej etykiecie (pusta, jeśli nie dotyczy). 1. dla danych pochodzących z ankiet kwestionariuszowych: 1. etykiety wartości powinny być takie same, jak teksty odpowiadających im punktów kafeterii danego pytania kwestionariusza; 2. opis etykiet wartości musi pokrywać całą kafeterię danego pytania kwestionariusza; 12. warunek posiadania przez zmienną wartości – tylko dla zmiennych podlegających filtrom – zdanie logiczne opisujące to, kiedy zmienna powinna mieć wartość. 4. Opis struktury zbioru danych ilościowych (codebook) powinien opisywać wszystkie zmienne znajdujące się w zbiorze danych ilościowych. 5. Zbiór danych ilościowych powinien zawierać: 1. W pierwszym wierszu nazwy zmiennych przechowywanych w poszczególnych kolumnach zbioru (patrz opis struktury zbioru danych ilościowych). 2. W kolejnych wierszach wartości poszczególnych zmiennych dla kolejnych 1 Patrz punkt 7. 2 Patrz opis nazw zmiennych 3 Zmienne typu waga są to liczby rzeczywiste zawierające wagi dla poszczególnych obserwacji – szczegółowe informacje na temat danej wagi powinny zostać umieszczone w opisie zmiennej 27 jednostek obserwacji. 1. Jeśli dana zmienna jest typu data, powinna mieć format: RRRR-MM-DD GG:MM:SS, gdzie RRRR to czterocyfrowy zapis lat, MM to dwucyfrowy zapis numeru miesiąca, DD to dwucyfrowy zapis numeru dnia w miesiącu, GG to dwucyfrowy zapis godzin w formacie 24-godzinnym, MM to dwucyfrowy zapis minut, a SS to dwucyfrowy zapis sekund, np. 2010-02-04 17:06:48, co oznacza drugi lutego 2010 r., sześć minut i 48 sekund po godzinie siedemnastej. Jeśli data pozyskiwana była z mniejszą dokładnością, zapis należy uzupełnić zerami, np. jeśli data pozyskiwana była z dokładnością do dni, zapis powinien mieć postać RRRR-MM-DD 00:00:00. 2. Jeśli dana zmienna nie ma wartości dla danej jednostki obserwacji z uwagi na to, że nie była ona w ogóle gromadzona dla danej jednostki obserwacji (np. wskutek filtru na pytaniu kwestionariusza), powinna zostać jej przypisana wartość: 1. dla zmiennych liczbowych: maksymalna wartość zmiennej o danym rozmiarze - 2, np. dla zmiennej o rozmiarze 3 cyfr 997; 2. dla zmiennych będących datami: 9997-00-00 00:00:00; 3. dla zmiennych tekstowych: ciąg znaków NIE DOTYCZY; 3. Jeśli dana zmienna nie ma wartości dla danej jednostki obserwacji z uwagi na odmowę odpowiedzi przez respondenta lub omyłkowe niezadanie pytania wywiadu kwestionariuszowego przez ankietera: 1. dla zmiennych liczbowych: maksymalna wartość zmiennej o danym rozmiarze, np. dla zmiennej o rozmiarze 3 cyfr 999; 2. dla zmiennych będących datami: 9999-00-00 00:00:00; 3. dla zmiennych tekstowych: ciąg znaków ODMOWA ODPOWIEDZI; 4. Jeśli dana zmienna nie ma wartości dla danej jednostki obserwacji z uwagi na to, że respondent nie potrafił udzielić odpowiedzi: 1. dla zmiennych liczbowych: maksymalna wartość zmiennej o danym rozmiarze - 1, np. dla zmiennej o rozmiarze 3 cyfr 998; 2. dla zmiennych będących datami: 9998-00-00 00:00:00; 3. dla zmiennych tekstowych: ciąg znaków TRUDNO POWIEDZIEĆ; 5. Długości zmiennych liczbowych muszą być dobrane w ten sposób, by opisane powyżej wartości specjalne znajdowały się poza dopuszczalnym zakresem „zwyczajnych” wartości zmiennych. 6. Standardy kodowania wybranych zmiennych 1. Jeśli zbiór danych ilościowych zawiera zmienną określającą gminę, powinna ona być kodowana z użyciem sześciocyfrowego kodu TERC. W opisie struktury zbioru danych taka zmienna powinna mieć typ TERC. 7. Zgodność zanonimizowanego zbioru danych ilościowych oraz opisu jego struktury z OPZ potwierdza pisemnie Zamawiający. W wypadku niezgodności z OPZ Zamawiający przekaże na piśmie opis zauważonych niezgodności, uniemożliwiających przyjęcie zbioru danych i/lub opisu jego struktury. Zbiór danych osobowych 1. Po zakończeniu badania Wykonawca dostarczy zbiór danych osobowych wszystkich 28 osób, na których przeprowadzane było badanie. 2. Zbiór danych powinien mieć format csv: 1. separatorem pól powinien być średnik (kod ASCII 59); 2. separatorem tekstu powinien być cudzysłów (kod ASCII 34); 3. znaki narodowe powinny być zakodowane w stronie kodowej CP-1250. 3. Pierwszy wiersz zbioru danych powinien zawierać nagłówki kolumn. 4. W kolejnych wierszach zbioru danych powinny znajdować się dane poszczególnych osób. 5. Kolejne kolumny zbioru danych powinny zawierać dla poszczególnych osób następujące informacje: 1. unikalny w ramach zbioru danych identyfikator osoby; 1. identyfikator musi umożliwić jednoznaczne i kompletne złączenie danych osobowych z danymi przekazanymi w zbiorze danych ilościowych z badania, tzn.: 1. jeśli jakiś identyfikator występuje w zbiorze danych osobowych, to w zbiorze danych ilościowych musi znajdować się dokładnie jeden rekord o takim samym identyfikatorze; 2. jeśli jakiś identyfikator występuje w zbiorze danych ilościowych z badania, to w zbiorze danych osobowych musi znajdować się dokładnie jeden rekord o tym samym identyfikatorze; 3. jeśli rekordy w zbiorze danych osobowych i zanonimizowanym zbiorze danych ilościowych z badania mają takie same identyfikatory, to zawierają informacje o tej samej osobie; 2. imię; 3. nazwisko; Plik z danymi Wykonawca przekaże Zamawiającemu na nośniku elektronicznym. Wykonawca zobowiązuje się zweryfikować wprowadzone dane ze względu na spójność bazy danych z protokołami realizacji oraz wystąpienie niedopuszczalnych wartości zmiennych. 6. PRZEKAZANIE DOKUMENTACJI Pliki z danymi wraz z paczkami z wypełnionymi testami i ankietami oraz protokołami realizacji badania, dokumentującymi uzyskanie wymaganej stopy realizacji muszą być przekazane Zamawiającemu nie później niż 105 dni kalendarzowych od podpisania umowy w sprawie udzielenia zamówienia publicznego. Materiały mają być zapakowane w kartony, oddzielnie dla każdej szkoły. Materiały dotyczące badania osiągnięć szkolnych w zakresie języka angielskiego mają być przekazane w odrębnych, odpowiednio oznaczonych paczkach. Każdy karton musi być oznakowany nazwą i ID szkoły. Przekazana dokumentacja nie może zawierać danych osobowych. Protokoły 29 muszą być w pełni czytelne, nie mogą być poprawione za pomocą korektora lub zamazywania, wszelkie poprawki muszą być parafowane. 7. ODBIÓR MATERIAŁÓW BADAWCZYCH W dniu przekazania przez Wykonawcę materiałów badawczych Wykonawca sporządza protokół odbioru materiałów badawczych. Protokół powinien zawierać w szczególności: datę i miejsce przejęcia materiałów badawczych; wykaz załączonych dokumentów badawczych, czyli: protokołów realizacji, wszystkich kwestionariuszy, zeszytów testowych, zgód na przetwarzanie danych osobowych; konieczne jest umieszczenie liczby dokumentów zgodnej z protokołami realizacji badania; podpisy stron. Zamawiający w terminie nie dłuższym niż 10 roboczych dni od dnia podpisania protokołu odbioru weryfikuje przekazane przez Wykonawcę dokumenty badawcze (zeszyty testowe, dokumenty związane z przebiegiem badania oraz bazy danych). Prcedura odbioru dokumentacji została opisana powyżej (punkt 2.1. podpunkt 4). Zamawiający w terminie nie dłuższym niż 15 dni roboczych od zaakceptowania otrzymanych dokumentów badawczych dokona kontroli wyników kodowania zeszytów testowych. W wypadku stwierdzenia wad w wykonaniu dzieła, Zamawiający przedstawia ich listę i wzywa Wykonawcę do ich usunięcia w wyznaczonym terminie w ramach ustalonego w umowie wynagrodzenia. Wyznaczony termin na usunięcie wad nie może być dłuższy niż 10 dni roboczych. Po ponownym protokolarnym przejęciu materiałów badawczych Zamawiający w terminie nie dłuższym niż 10 dni roboczych ponownie weryfikuje przekazane przez Wykonawcę materiały badawcze. W przypadku, gdy Zamawiający nie stwierdza wad, następuje podpisanie ostatecznego protokołu odbioru. Wówczas Wykonawca zobowiązany jest przekazać Zamawiającemu także raport realizacyjny (oraz jego streszczenie w języku angielskim). W wypadku ponownego stwierdzenia wad wyżej opisaną procedurę stosuje się odpowiednio. Wykonawca przekaże także Zamawiającemu wszystkie niewykorzystane materiały badawcze ze szczególnym uwzględnieniem wszystkich zeszytów testowych. 8. WYMAGANIA DOTYCZĄCE STOPY REALIZACJI BADANIA Pożądana stopa realizacji badania to 100% zarówno dla szkół, nauczycieli, rodziców i uczniów. Takiej stopy realizacji badania powinna dotyczyć cena wyznaczona przez Wykonawców. 30 Badanie uznaje się za zrealizowane w danej szkole, jeżeli łącznie zbadano w niej przynajmniej: - 80% uczniów objętych badaniem (czyli tych, których rodzice podczas pierwszego etapu badania wyrazili zgodę na udział uczniów w badaniu; wszystkie wartości procentowe powinny być liczone z dokładnością co do 1 punktu procentowego z normalną procedurą zaokrąglania). Uczniowie, którzy zmienili szkołę zostają uznani za wykluczonych z badania i nie będą oni wliczani do podstawy procentowania, zaś uczniowie, którzy zmienili oddział podlegają wliczeniu do próby badawczej będącej podstawą obliczenia stopy realizacji badania. Ucznia uznaje się za zbadanego, jeśli wypełni on wszystkie cztery przewidziane dla niego zeszyty testowe (z czytania, świadomości językowej, matematyki i języka angielskiego). - 14 z 20 zrekrutowanych uczniów do badania wypowiedzi ustnej z języka angielskiego, którzy wykonali zadanie w całości - 80% rodziców uczniów objętych badaniem. Rodziców ucznia uznaje się za zbadanych, jeżeli wypełnili i oddali ankietę. W wypadku, gdy do klasy objętej badaniem uczęszcza rodzeństwo, ankieta musi być wypełniona oddzielnie dla każdego z dzieci i oznaczona w sposób pozwalający rodzicom identyfikację, o które dziecko chodzi w ankiecie. - 80% rodziców uczniów objętych uzupełniającym badaniem ankietowym (problem rodzeństwa w I etapie badania). - 80% nauczycieli przewidzianych do zbadania. W wypadku zrealizowania badania w wyznaczonym terminie w co najmniej 169 szkołach i przy stopie realizacji: - badania testowego osiągnięć szkolnych uczniów: 80% uczniów w szkołach, w których zrealizowano badanie. - badania ankietowego rodziców: 80% rodziców uczniów w szkołach, w których zrealizowano badanie. - badania ankietowego uzupełniającego: 80% procent spośród wskazanych do badania uzupełniającego rodziców, - badania ankietowego nauczycieli: 80% nauczycieli przewidzianych do badania w szkołach, w których zrealizowano badanie, Wykonawca otrzyma 80% ceny ofertowej. Za każdą zrealizowaną szkołę ponad liczbę 169 z listy wskazanych do badania Wykonawca otrzyma 2,8% ceny ofertowej (czyli maksimum 14%). Za każdy cały punkt procentowy ponad 80% stopy realizacji badania testowego w całej próbie uczniów w szkołach, w których Wykonawca zrealizował badanie, Wykonawca uzyska 0,1% ceny ofertowej (czyli maksimum 2%). Za każdy cały punkt procentowy ponad 80% stopy realizacji badania ankietowego w całej próbie rodziców uczniów w szkołach, w których Wykonawca zrealizował badanie, Wykonawca uzyska 0,1% ceny ofertowej (czyli maksimum 2%). Za każdy cały punkt procentowy ponad 80% stopy realizacji badania ankietowego w całej próbie nauczycieli w szkołach, w których Wykonawca zrealizował badanie, Wykonawca uzyska 0,1% ceny ofertowej (czyli maksimum 2%).W sumie przy 100% stopie realizacji 31 badania w szkołach i na poziomie uczniów, rodziców i nauczycieli Wykonawca uzyska 100% ceny ofertowej. W wypadku, gdy badanie nie zostanie zrealizowane w więcej niż 6 szkołach wynagrodzenie Wykonawcy ulega dalszemu (w stosunku do 80% ceny ofertowej) zmniejszeniu o 4% ceny ofertowej, za każdą szkołę w której Wykonawca nie zrealizował badania. Niezależnie od liczby szkół w których badanie nie zostało zrealizowane Wynagrodzenie Wykonawcy z tej przyczyny nie może zostać obniżone poniżej 30% ceny o. 9. MONITOROWANIE REALIZACJI BADANIA OSIĄGNIĘĆ SZKOLNYCH Wykonawca ma obowiązek informowania Zamawiającego, poprzez wypełnianie formularzy na stronie internetowej badania https://suek.ibe.edu.pl o stanie realizacji badania. Informacje te obejmą m.in.: umówioną datę rozpoczęcia realizacji badania w szkole daty rozpoczęcia i zakończenia poszczególnych etapów badania w szkole (w tym m.in. rozpoczęcie badania testowego osiągnięć szkolnych w zakresie czytania, świadomości językowej i umiejętności matematycznych oraz języka angielskiego) nazwiska i telefony kontaktowe do ankieterów przydzielonych do poszczególnych szkół oraz szkolnych koordynatorów badania liczby zbadanych na poszczególnych etapach uczniów, rodziców oraz nauczycieli sytuacje problemowe wynikłe w trakcie realizacji badania Strona https://suek.ibe.edu.pl służyć będzie również do przekazywania Zamawiającemu danych przewidzianych w OPZ. Strona dokona automatycznej weryfikacji struktury przekazywanego zbioru danych, a w razie wykrycia nieprawidłowości poinformuje o tym, gdzie one wystąpiły. Zbiór uznaje się za przekazany przez stronę w momencie, w którym nie zostaną w nim wykryte żadne nieprawidłowości. 10. INFORMACJE DODATKOWE Zamawiający wyznaczy osobę monitorującą przebieg realizacji badania. Wykonawca ze swojej strony wyznaczy osobę odpowiedzialną za bieżące kontakty z Zamawiającym. Wykonawca jest zobowiązany przekazać osobie monitorującej realizację badania wszystkie informacje bezpośrednio związane z realizacją badania, w tym harmonogram realizacji badań w szkołach. Terminy realizacji badania testowego muszą być przykazywane osobie monitorującej z co najmniej 5-dniowym wyprzedzeniem (liczonym od pierwszego dnia testowania). Osoba monitorująca będzie miała prawo nadzorować przebieg badania w dowolnie przez siebie wybranych szkołach. 32 Wraz z wynikami badania Wykonawca obowiązany jest dostarczyć Zamawiającemu: wszystkie wypełnione kwestionariusze ankiety i kwestionariusze testowe, posegregowane i zapakowane w paczki obejmujące osobno każdą ze szkół i opisane w sposób umożliwiający identyfikację; wszystkie dokumenty badawcze muszą być oznaczone odpowiednio numerem identyfikacyjnym ucznia, rodzica (numer tożsamy z numerem ucznia) i nauczyciela; dokumenty badawcze nie mogą zawierać danych osobowych (imię, nazwisko); szkolne/klasowe protokoły realizacji badania podpisane przez szkolnego koordynatora badania i badacza-ankietera i potwierdzone przez Dyrektora Szkoły; zbiorcze protokoły realizacji badania podpisane przez osobę upoważnioną przez Wykonawcę; wszystkie inne dokumenty uzyskane lub wytworzone w trakcie realizacji badania. Listy i protokoły muszą być w pełni czytelne, nie mogą być poprawione za pomocą korektora lub zamazywania, wszelkie poprawki muszą być parafowane. 33
