Statystyka jest prosta, choć nie jest łatwa. Jedną z podstawowych trudności w tym zakresie jest powszechny problem z rozumieniem wnioskowania częstościowego, opierającego się na falsyfikowaniu hipotez statystycznych poprzez wykorzystywanie wartości p testu statystycznego. O niektórych problemach związanych z wartością p pisaliśmy w jednym z poprzednich artykułów. Zachęcam też do przeczytania artykułu dotyczącego istotności na poziomie tendencji statystycznej.

Regularnie spotykamy się ze skutkami tego niezrozumienia, widząc rozczarowanie klientów z powodu uzyskania “nieistotnych wyników”, z którego wyciągają wnioski, że “nic w badaniu nie wyszło”. Otrzymujemy też od klientów prośby, o wykonanie, na życzenie promotora, dodatkowych analiz, byleby tylko otrzymać wyniki istotne statystycznie. Ot taki urok opracowań statystycznych do prac magisterskich i doktoratów 🙂

Debata na temat wad testowania poziomu istotności statystycznej sięga początków samej statystyki. Niestety, mimo ciągłych rekomendacji zawartych w standardach APA (obecnie wersji szóstej), poziom chaosu nadal jest wysoki. W tym wpisie, przywołam rekomendacje dotyczące raportowania wyników statystycznych, opublikowane w artykule w 1999 roku (sic!). Zauważymy jednak, że ich znaczenie dziś, nadal jest tak samo duże. Rekomendacje te są wynikiem dwuletniej debaty w ramach powołanego przez Radę ds. Naukowych (jednego z organów Amerykańskiego Towarzystwa Psychologicznego) komitetu nazywanego Grupą Zadaniową ds. Wnioskowania Statystycznego. W jej skład wchodziła grupa specjalistów z różnych dziedzin związanych z badaniami psychologicznymi a ich celem było wyjaśnienie kontrowersyjnych kwestii związanych z testowaniem poziomu istotności w badaniach psychologicznych i stworzenie rekomendacji do wdrożenia w kolejnej edycji (wtedy piątej) standardów APA (pamiętaj, że obecnie obowiązuje wersja 6). Artykuł na bazie którego powstał niniejszy wpis nie dotyczy jednak tylko p value. Raportowanie wyników analiz statystycznych jest trochę bardziej rozbudowane 🙂

Oto niektóre z rekomendacji:

1. Jasno określ, jakiego rodzaju badanie przeprowadzasz (case study, eksperyment, quasi-eksperyment, badanie kwestionariuszowe itp). Każde z nich, ma swoje wady i zalety, standardy i ograniczenia.

2. Jasno zdefiniuj populację, którą badasz, szczególnie, jeżeli w badaniu jest grupa porównawcza/kontrolna. Określ dobór próby (losowy/nielosowy oraz jaki konkretnie rodzaj) i opisz, jakie kryteria włączenia/wykluczenia zostały zastosowane. Opisz ile osób i z jakiego powodu zostało ew. odrzuconych.

3. Jeśli przeprowadziłeś eksperyment, pamiętaj, o efekcie oczekiwań eksperymentantora (efekcie Rosenthala) i o zastosowaniu podwójnej ślepej próby. Przy przydzielaniu badanych do grup stosuj raczej komputerowe generatory liczb pseudolosowych niż własny instynkt – ludzie nie potrafią generować przypadkowych wzorców. Jeżeli dobór do grupy jest nierandomizowany, bądź nie kontrolujesz zmiennych pośredniczących, zamiast “grupy kontrolnej” określ ją raczej jako “grupę porównawczą”. Pamiętaj, aby zawsze dokładnie opisać charakter i procedurę przydziału badanych do grupy.

4. Zwracaj szczególną uwagę na nazwę raportowanych zmiennych. Nazywaj je w odniesieniu do tego jak zmienna jest mierzona. Przykładowo, zamiast “inteligencja” lepiej napisz “wynik testu IQ”, a zamiast “wykorzystywanie seksualne w dzieciństwie” lepiej użyj określenia “retrospekcyjna ocena stopnia wykorzystywania seksualnego w dzieciństwie”. Nieprecyzyjne nazwy zmiennych wprowadzają czytelników w błąd i mogą być źródłem niewłaściwej interpretacji wyników.

5. Sprawdzaj czy wyszczególnione przez Ciebie wymiary narzędzi badawczych rzeczywiście mierzą to co mierzą i czy robią to trafnie – sprawdzaj trafność i rzetelność wyników uzyskany w Twoim badaniu. Pamiętaj, że statystyki z badań walidacyjnych narzędzi, których używasz dotyczą próby normalizacyjnej, a w Twoim badaniu może być zupełnie inaczej.

6. W opisie wyników opisz wszelkie komplikacje związane ze zbieraniem i analizowaniem danych. Określ braki danych oraz jak wykrywano i radzono sobie z wartościami odstającymi. Sprawdzaj zawsze rozkłady wyników w zakresie poszczególnych zmiennych, sprawdzając nie tylko statystyki numeryczne, ale też graficzne, poprzez histogramy, czy macierze wykresów. Pamiętaj o rozsądnym kodowaniu braków danych – np. używanie popularnej wartości “99” nie jest dobrym pomysłem, jeśli możliwe są takie wartości zmiennych (np. w przypadku wieku)

7. Korzystaj z testów statystycznych, które w najlepszy sposób pomogą Ci przetestować postawione hipotezy – Twoim zadaniem nie jest zaimponowanie innym badaczom i ewentualnym czytelnikom. Korzystaj z programów komputerowych, ale upewnij się, że rozumiesz jak liczone są określone statystyki i w razie czego, kontroluj otrzymane wyniki.

8. Przedstawiaj statystyki testowe w tabelach, ale pamiętaj, że one często nie zastąpią formy graficznej – dobry wykres pozwala szybko zapoznać się z wynikami i zrozumieć zależności między zmiennymi. Staraj się jednak, aby forma graficzna niosła dodatkowe informacje względem statystyk w tabeli (np. efekty proste i efekty interakcji w wieloczynnikowej ANOVA’ie).

9. Raportuj zawsze dokładną wartość statystyki p, przedziały ufności i siły efektu. Zaznaczaj również przedziały ufności na wykresach przedstawiających średnie.

10. Bądź ostrożny w interpretowaniu wyników analizy pod kątem przyczynowości. Pamiętaj, że badania korelacyjne i porównawcze nie pozwalają na jej stwierdzanie.

11. Podobnie, pamiętaj, że wynik pojedynczego badania nie pozwala na wyciąganie jednoznacznych wniosków co do natury badanych zjawisk. Wynik badania zawsze powinien być zestawiany z wynikami innych, analogicznych badań, łącznie z porównywaniem ich sił efektów.

12. Pamiętaj, aby rozróżniać istotność statystyczną od istotności teoretycznej. Fakt, że uzyskałeś wyniki nieistotne statystyczne, nie znaczy, że badane związki między zmiennymi nie występują i nie są istotne. Z kolei uzyskanie wyników istotnych statystycznie nie sprawia automatycznie, że dokonałeś idkrycia istotnego dla świata nauki. Otrzymany istotny statsytycznie efekt może być mało ważny lub bardzo słaby.

13. Interpretacja i dyskusja wyników powinna być krótka, zwięzła i wiarygodna. Nie bój się uogólniać otrzymanych wyników na populację, ale rób to tylko wtedy, gdy masz ku temu przesłanki i oczywiście jasno je wtedy przedstaw. Porównaj wyniki otrzymanych badań do innych. Wskaż konkretne ograniczenia swoich badań i rekomendacje dla innych badaczy (“Potrzebne są dalsze badania w tym zakresie” się nie liczy).

Literatura:

Wilkinson, L., & Task Force on Statistical Inference, American Psychological Association, Science Directorate. (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54(8), 594-604.

LINIA PROSTA CZY MOŻE KRZYWA?

No właśnie! Jaki model jest lepszym odzwierciedleniem zależności między zmienną X a zmienną Y? Dzięki poniższemu tutorialowi dowiesz się jak sprawdzić czy krzywa jest lepiej dopasowana do danych niż linia prosta. W ciągu 12 lat naszej działalności chyba tylko 1 klient miał postawioną hipotezę, która mówiła o tym, że między zmiennymi zachodzi krzywoliniowa relacja, wiedział on, że da się taką zależność przetestować i świadomie nas o to poprosił. Dlaczego tylko 1? Na pewno nie dlatego, że relacja między dwiema zmiennymi w 99,99% badań jest prosto a nie krzywoliniowa 

Najczęściej hipotezy i swoje oczekiwania co do analizy danych budujecie na podstawie swojej (niestety) niewielkiej wiedzy z zakresu statystyki. Nie raz słyszałem, że “musi być ANOVA” bo moja promotor zna taką nazwę i w ogóle wszyscy na wydziale mają anovę więc u mnie też musi być…. albo – “musi być analiza mediacji choć wcale nie wiem dlaczego nie moderacji, recenzent ponoć mówił, że to teraz modne”.

Celem Pogotowia Statystycznego jest przede wszystkim dydaktyka i taki właśnie edukacyjny charakter ma ten wpis oraz poniższy film. Miej świadomość, że bardzo ważnym założeniem tak dobrze znanej Ci analizy korelacji ze współczynnikiem r Pearsona lub analizy regresji jest liniowa (prostoliniowa) zależność między jedną a drugą zmienną. Widziałem “milion” razy bazy danych, w których niektóre związki między zmiennymi były krzywoliniowe (i w teorii, i “na oko”, i wynikało to również z analiz eksploracyjnych) a mimo wszystko badacz liczył “zwykłe” korelacje lub analizy regresji. Tyle go nauczono, tyle potrafił, tyle mógł świadomie policzyć i opisać ze zrozumieniem. Błędnie.

NIE – JESZCZE NIE JESTEŚ STATYSTYKIEM STULECIA

Nawet mimo tego, że za chwilę dowiesz się jak testować związki krzywoliniowe między dwiema zmiennymi. Dwa sposoby, które pokazujemy na tym tutorialu są i tak, bądź co bądź, banalnie proste, nawet trochę infantylne a w skrajnych ocenach błędne (choć jak wszystko w naszych działaniach – oparte na statystycznej literaturze). Analiza nieliniowych relacji między zmiennymi to bardzo rozbudowany temat i szczerze informuję, że tutaj otrzymujesz od nas tylko pewną zajawkę. Mimo wszystko na pewno wystarczy ona nawet na spore podciągnięcie oceny swojej pracy magisterskiej. Wielu promotorów będzie w niebo wziętych jeśli w poniższy sposób udowodnisz, że między dwiema zmiennymi zachodzi krzywoliniowa relacja. Przykłady takich relacji mógłbym mnożyć i mnożyć … ale mi się nie chce 🙂
Jestem jednak pewien, że Twoja analiza statystyczna do pracy magisterskiej lub doktoratu będzie bogatsza jeśli dodasz do niej analizę związków krzywoliniowych. Oczywiście jeśli będą ku temu przesłanki płynące z teorii i przeglądu dotychczasowych badań innych autorów. Nie traktuj analizy, którą tutaj pokazujemy jako eksplorację i podejście “poklikajmy i zobaczymy co wyjdzie”. Powinieneś mieć jakieś podwaliny by móc przypuszczać i testować krzywoliniową relację między zmiennymi.

Wszystkich dociekliwych odsyłam między innymi do fajnej książki Davida Garsona z North Carolina State University, który opublikował ogrom świetnych e-booków o statystyce pod nazwą Blue Book Series.