fbpx

Blog

START | BLOG

Jak nie prezentować wyników swoich badań

10 października 2014 | Autor: Pogotowie Statystyczne

Muszę osobiście zamknąć pewną zakładkę przeglądarki z artykułem w pdfie, a nie mogę zrobić tego bez podzielenia się z Wami swoimi spostrzeżeniami. Dokładnie rzecz ujmując chodzi o artykuł pt. “Poczucie kontroli w kontekście innych cech osobowości sportsmenek” autorstwa pewnej Pani dr opublikowany na łamach czasopisma Sport Wyczynowy. Znajdziecie go tutaj:

Psychologia sportu. Poczucie kontroli w kontekście innych cech osobowości sportsmenek. Katarzyna Rutkowska

Jest to przykład bardzo niewłaściwego prezentowania wyników swoich badań i prawdziwego wysypu błędów merytorycznych. Nie piszę jednak tego posta w celu pastwienia się nad autorką i wytykania jej błędów między innymi w postaci pomylenia stopni swobody (df) z poziomem istotności (value) czy też odchylenia standardowe (SD) z  błędem standardowym (SE). Żeby nie być jednak gołosłownym i unikać konfliktów “słowo przeciwko słowu” pokażę kilka przykładów.

1. Niewłaściwa interpretacja wartości p (p value) czyli istotności statystyki testowej. 

O co chodzi? Nie mam pewności ponieważ wynik jest zaraportowany totalnie niezgodnie ze standardem APA, ale zapewne autorka uzyskała wynik korelacji r = 0,39; p = 0,020. Tak zapisany byłby OK, ale interpretacja mówiąca o tym, że taki wynik wskazuje na 98%-owe prawdopodobieństwo występowania korelacji jest błędna. Jak interpretować wynik istotny statystycznie i samą wartość p wyjaśniamy w TYM WPISIE NA NASZYM BLOGU

2. Pomylenie istotności statystycznej (p value) ze stopniami swobody (df – z ang. degress of freedom). 

Nie wiem czy tutaj muszę komukolwiek tłumaczyć co się stało. W sumie to ja sam sobie tego wytłumaczyć nie mogę bo stało się coś tak złego, że nawet nie miało prawa. No ale jest … . Co się zatem dzieje? Pisząc w górnej części tabeli t; df autorka informuje nas, że za chwilę w dolnej części tabeli będzie podana statystyka testowa t Studenta oraz stopnie swobody (df). Do wszystkich “kumatych” – ciekawe z jakiego wzoru df wyszło 0,001 lub 0,013 🙂 Do wszystkich “statystycznych laików” – df nie mogło tutaj wynosić 0,001 lub 0,013. To na pewno jest p value a nie df. Różnica jest tak duża jak między kolorem białym a czarnym. Pomyłka nie ma prawa się zdarzyć. To tak jakby pisać “mężczyźni” myśląc o kobietach lub pisać w tekście artykułu naukowego “kobiety” myślać o mężczyznach. Po prostu NIE!

No dobra … może to jakiś błąd w druku? Może korzystano z jakiegoś automatycznego generatora tabel i on miał wbudowany błąd polegający na tym, że p zamieniał na df. Raczej nic z tego bo w tekście jest to samo 🙁

3. Zapewne pomylone SD z SE czyli błąd standardowy (SE) z odchyleniem standardowym (SD).

W niektórych przypadkach w jednym artykule naukowym nie tylko pozwala się ale nawet trzeba raz podawać SD czyli odchylenie standardowe a innym razem SE czyli błąd standardowy. Tutaj jednak na 99,99999% doszło do pomyłki wynikającej z całkowitego niezrozumienia czym jest jedno a czym drugie. Zauważcie, że wartość SE jest bardzo podobna do wartości SD (wartości się różnią bo w tabeli jest opisany jeden wynik a w tekście zupełnie inny, ale to nieważne). Ze wzoru na SD i SE wynika, że SE jest zawsze mniejsze bo SE to SD podzielone przez pierwiastek z N czyli liczby badanych osób. Jestem pewien, że autorka liczyła albo tylko SD albo tylko SE ale raz sobie pisała tak a raz tak. Nie wiem czemu, ale jak się dowiem to na pewno Wam powiem 🙂

Tak jak pisałem – nie chodzi mi o bezsensowne wytykanie błędów jakiegoś badacza, którego nie znam i poświęcanie swojego cennego czasu na dyskredytowanie go jako naukowca. Co więcej, nie tylko autorka jest “winna”, ale również redakcja tegoż czasopisma naukowego. Przecież ktoś ten artykuł czytał, poddał wnikliwiej analizie krytycznej i następnie zaakceptował jako bezbłędny oraz godny publikacji.

Moim celem jest …. dla ułatwienia w punktach:

1. Zaprezentowanie wszystkim przykładu opisu wyników jakiego nigdy od nas nie otrzymacie zlecając nam wykonanie analiz wraz z opisem i interpretacją. Pomijając błędy merytoryczne i stworzenie przekazu trudnego w odbiorze nawet dla osoby, która siedzi całymi dniami z nosem w badaniach, chciałem wspomnieć w tym punkcie przede wszystkim o standardzie APA. Bądź co bądź już na poziomie pracy licencjackiej należy chociaż próbować trzymać się standardu obowiązującego w naukach społecznych. Uwierzcie mi, że nie został on stworzony po to, by utrudnić nam życie. Wręcz przeciwnie. Nie odpowiada mi oczywiście to, że co kilka lat standardy te ulegają zmianom lub to, że są inne w zależności od znaku, który oddziela miejsca dziesiętne od pełnych wartości (kropka vs przecinek), ale naprawdę nie trzeba być naukowcem roku, żeby się do nich dostosować.

Już od ponad roku można ściągnąć stąd (LINK) bardzo pomocną publikację. Niestety brakuje tam wielu kwestii poświęconych prezentowaniu wyników badań. Czy to problem? Od kilku dobrych już lat, dzięki wyszukiwarce GOOGLE odpowiedź brzmi “NIE”. Używasz w swojej pracy dyplomowej testu t Studenta, analizy korelacji, jednoczynnikowej analizy wariancji czy analizy regresji? Zapraszam do odpalenia tego cuda techniki jakim jest google.com i wpisania np. “how to report ANOVA in APA”, albo “correlations table in APA” etc.

2. Uświadomienie studentom, którzy chcą kiedyś robić naukę, jak ważny jest wybór odpowiedniego promotora lub ćwiczeniowca prowadzącego zajęcia ze statystyki. Nie ważne czy wyboru dokonujecie na studiach magisterskich czy doktoranckich. Czasami dopiero w ramach pisanej pracy dyplomowej uczymy się jak przeszukiwać np. bazę EBSCO w poszukiwaniu interesującego nas zaplecza teoretycznego, jak na jego podstawie postawić odpowiednie hipotezy oraz zaplanować całą metodologię naszego badania. Ostatecznie przychodzi nam również samodzielnie policzyć wyniki naszych badań … o ile nie zrobi tego promotor. Co prawda na studiach była pierwsza praca empiryczna, później druga, była też psychometria, ale często praca grupowa na takich zajęciach sprawia, że odpowiedzialność się rozmywa. Najczęściej rozmywa się tak, że “ogarnięci” studenci robią wszystko za tych mniej ogarniętych 🙂 . Nic nie stoi na przeszkodzie by “nieogarnięty” student w końcu się ogarnął np. na IV roku studiów i zapragnął robić doktorat. Zapewne będzie mu potrzebne solidne wsparcie w zakresie analizy statystycznej. Podobnie jest z tymi “piątkowymi” studentami, którzy wybierają ścieżkę badacza-praktyka i z uwagi na to, że kwestie związane ze statystyką po kilku lat trochę wyparowały potrzebują pewnej i kompetentnej ręki… a raczej głowy promotora.

Licząc się z tym, że prawdopodobnie bardzo generalizuję i może oceniam niesłusznie to napiszę, że jeśli Waszym promotorem lub co gorsza, nauczycielem statystyki byłaby osoba wypuszczająca spod swojego pióra takie artykuły jak powyższe, to jeśli nie weźmiecie się za naukę sami, to macie mówiąc delikatnie – przerąbane.

Jest szansa, że w tym miejscu jakiś doktor, doktorant lub profesor się obruszy i pomyśli “co on wygaduje, przecież doktoranci to elita elit i jeśli ktoś nie zna się na statystyce na poziomie chociaż średniozaawansowanym to nie ma czego szukać na wyższych poziomach studiów”. Odpowiadam. Nie, nie jest tak (pomijając oczywiście podstawową wiedzę pozwalającą na rozumienie artykułów naukowych). Nie można powiedzieć człowiekowi, żeby sprzedał samochód i już nigdy nawet nie myślał o jeździe bo sam nie wymieni sobie klocków hamulcowych lub paska rozrządu. Nawet kierowcy rajdowi mają sztab mechaników… każdy od innego podzespołu. Podobnie jak wielu promotorów wie o statystyce tyle co zdążyli przeczytać na studiach w latach 70-tych, 80-tych czy 90-tych, tak wielu jest studentów, którzy wiedzą o niej tyle, ile zdążyli wyłapać i zrozumieć na ćwiczeniach/wykładach.  O tym jednak poniżej.

3Stwierdzenie, że wina za obecny stan rzeczy (kiepska znajomość statystycznych metod analizy danych … a przede wszystkim testowania hipotez na potrzeby badań w naukach społecznych) leży po obu stronach. Z jednej, studenci nauk społecznych wypierają wszystko, co może mieć jakikolwiek związek z matematyką. Z drugiej, pracownicy naukowi są nadto zajęci lub wręcz uzdolnieni jedynie w kierunku zdobywania punktów za kolejne publikacje. Ci pierwsi powinni się wziąć do roboty, szczególnie w obecnym czasie, kiedy cyferki są wszędzie, a umiejętność ich poskromienia i zrozumienia jest na wagę złota… nie tylko w pracy naukowca. Ci drudzy z kolei zapomnieli w wielu przypadkach, że na uczelni są po to, by wykładać, uczyć, być dydaktykami i to nie byle jakimi – najlepszymi! Takimi jakich słucha się z zapartym tchem, a po powrocie z wykładu lub ćwiczeń z uśmiechem na ustach zgłębia się temat dalej. Jestem przekonany, że dobry nauczyciel jest w stanie zarazić studenta pędem do dobywania wiedzy nawet w zakresie badania struktury kału nietoperzy. Jeśli mówi o czymś z pasją, potrafi uargumentować ogromną wagę wykładanego przedmiotu oraz objaśnić jego znaczącą rolę w rzeczywistym świecie to tylko idiota będzie zamknięty na przekazywane treści przez takiego dydaktyka. Nie twierdzę, że nie ma ignorantów wśród studentów, którzy będą zamknięci na wszystko… zawsze… wszędzie. O nich jednak nie piszemy.

…ok, ale nie o tym miał być ten akapit 🙂 Miał być on o zlecaniu usług profesjonalistom. To odnośnie tego przykładu z mechanikiem. Może z uwagi na to, że prowadzę Pogotowie Statystyczne i na własnym blogu namawiam do korzystania z własnych usług ta wypowiedź będzie trochę kontrowersyjna, ale już owe kontrowersje ukrócam. Mamy w Polsce gospodarkę wolnorynkową. Analityków/badaczy/osób, które w praktyce potrafią zastosować wiedzę z zakresu statystycznej analizy danych jest wiele. Jedni świetni, inni dobrzy, inni źli lub tragiczni. Zdarzają się też oszuści. Jak to w  usługach. Możecie skorzystać z usług naszych jak i tych, które świadczy nasza konkurencja. Jednak jeśli nie jesteście pewni swoich umiejętności używania SPSS’a w celu przeanalizowania wyników swoich badań to skorzystajcie z wiedzy i doświadczenia profesjonalistów. To nie wstyd, to nie plagiat, to żadna ujma na honorze. Podobnie jak ujmą dla kierowcy nie jest oddanie swojego samochodu do warsztatu nawet w celu wymiany oleju w silniku. Ba! Nawet w celu dolania płynu do spryskiwaczy czy wymiany wycieraczki. Jak masz coś zepsuć, zrobić źle i spowodować wypadek to skorzystaj z pomocy kogoś, kto zrobi to za Ciebie i będzie ręczył głową za wyniki swojej pracy. Tak, jak ktoś jest specjalistą z zakresu psychologii poznawczej, psychoterapii w nurcie takim lub innym, specjalistą od coachingu, budowy statków lub chirurgii plastycznej tak są również specjaliści poświęcający każdy dzień na zgłębianie sztuki jaką jest analiza statystyczna. Jeśli nie czytasz każdego dnia choć jednego nowego artykułu o tej niezwykle rozwojowej dziedzinie lub nie jesteś jej praktykiem to jest umiarkowane prawdopodobieństwo, że analizę przeprowadzisz w odpowiedni sposób np. przy użyciu odpowiednich testów lub poprawnie opiszesz uzyskane wyniki. Nie napisałem, że zrobisz to źle. Szanse są “pół na pół”, więc jeśli jest to dla Ciebie wystarczające to OK. Nie było tematu 🙂

Podziel się wiedzą

z innymi

Opinie Klientów

Co o nas sądzą?

Współpracowaliśmy

między innymi z:

Nasi partnerzy