Wstęp

Kiedy mówimy o analizie statystycznej w kontekście pracy dyplomowej czy publikacji naukowej przed oczami mamy zwykle tabele z wynikami testów statystycznych, wartości p i wykresy. To zrozumiałe, jednak  raportowanie wyników jest jedynie etapem końcowym długiego łańcucha działań i decyzji, podejmowanych wcześniej. 

Modele językowe (które dla uproszczenia będziemy w tym tekście nazywać też potocznie “AI”; jednocześnie jesteśmy świadomi że modele statystyczne AI są istotną częścią analizy danych) mogą w kilka sekund stworzyć tekst, który wygląda, przynajmniej pozornie, na gotowy raport. Ale czy faktycznie tak jest? Odpowiadamy z góry – nie jest i prawdopodobnie nigdy nie będzie.  AI może być pomocne np. podczas raportowania wyników, jednak nie jest narzędziem do przeprowadzenia pełnej analizy danych (a tak jest nierzadko wykorzystywane). 

Analiza danych to złożony proces!

Dlaczego model językowy AI nie zastąpi analityka danych? Odpowiedzmy na to pytanie analizując poszczególne etapy procesu badawczego. Przyjrzyjmy im się pokrótce. 

Etap 1: Konceptualizacja, pytania badawcze i hipotezy 

Na podstawie przeglądu literatury formułowane są problemy, pytania badawcze i hipotezy. Te wskazują z kolei konkretny kierunek analizy danych. To one będą determinować odpowiedni wybór metody analitycznej na dalszym etapie i tym samym strukturyzować też całą pracę.

Etap 2: Operacjonalizacja

Operacjonalizacja to sprowadzenie badanych konstruktów teoretycznych do mierzalnej formy – dobór wskaźników, za pomocą których dokonujemy ich pomiaru. Na podstawie tego dobierane są konkretne narzędzia, często są to standaryzowane kwestionariusze psychometryczne.

Etap 3: Dobór próby

Dobór próby, jej wielkość, sposób rekrutacji badanych, kryteria włączania i wyłączania uczestników stanowią podstawy prawidłowo wykonanych badań. Od tych zagadnień będzie zależeć czy uzyskane wyniki będzie można uogólniać na populację czy też nie, a także czy uzyskany wynik będzie w ogóle wiarygodny (więcej o tym poczytasz w naszym wpisie na temat G*Power). 

Etap 4: Przygotowanie danych

Przed rozpoczęciem analizy danych niezbędna jest ich wstępna weryfikacja. Ten etap polega przede wszystkim na sprawdzeniu kompletności danych, identyfikacji braków danych i obserwacji odstających. Tutaj podejmujemy decyzję o ewentualnym uzupełnianiu braków, wykluczeniu obserwacji, transformacji zmiennych. W tym kroku obliczamy również wyniki dla kwestionariuszy standaryzowanych (jeśli je stosujemy) oraz testujemy ich rzetelność.

Etap „obróbki danych” zajmuje czasami więcej czasu niż weryfikacja hipotez wraz z raportowaniem wyników. Niemniej, jest on kluczowy w kontekście uzyskania wiarygodnych wyników już na etapie samej analizy. 

Etap 5: Wybór metod i weryfikacja założeń

Po odpowiednim przygotowaniu danych, można przejść do wyboru odpowiednich metod i weryfikacji ich założeń. Każda metoda statystyczna jest realizowana w określonych warunkach. Testy parametryczne wymagają spełnienia szeregu założeń (np. w przypadku testu t dla prób niezależnych – normalności rozkładu, homogeniczności wariancji), podobnie jak analizy regresji czy korelacji. Ich spełnienie lub nie będzie determinować konkretną metodę analizy danych. Jest to istotny etap, jednak często traktowany “po macoszemu”.

Etap 6: Analiza, interpretacja i raportowanie

Samo przeprowadzenie obliczeń, „wyklikanie” ich w programie zajmuje niewiele czasu. Uzyskane wyniki muszą jednak zostać właściwie zinterpretowane i zaraportowane w kontekście pytania badawczego czy hipotezy. Opis ten powinien spełniać określone kryteria (np. APA 7), z czym modele językowe radzą sobie wciąż nienajlepiej. Ogólnie, prawidłowe raportowanie wyników wymaga dużego doświadczenia, również dlatego, że do raportu końcowego trafia często niewielka część uzyskanego w pakiecie statystycznym wydruku (wymagana jest ścisła selekcja informacji).

Wnioski? AI nie widzi szerszego kontekstu

 Jak widzimy, prowadzenie badań składa się z kilku etapów i wszystkie one są bezpośrednio lub pośrednio powiązane z analizą danych. Doświadczony analityk widzi badanie jako całość, a każdy etap rozpatruje w kontekście pozostałych.  Rozumie np. konsekwencje błędnie postawionych hipotez i jest w stanie – na tyle na ile to możliwe już po zebraniu danych – zasugerować odpowiednią korektę. Częste w naszej pracy są sugestie dotyczące zastosowanych testów, np. propozycja zmiana korelacji na regresję liniową, prostego modelu porównań na analizę wieloczynnikową czy uzupełnienia analizy o zmienne kontrolne.

 Modele językowe z kolei nie widzą tego szerszego kontekstu.  Chcesz rozpisać hipotezy? Obliczyć wyniki kwestionariusza? Potrzebujesz opisu? Obliczyć wynik testu? Wszystko otrzymasz w kilka sekund! I owszem, niektóre uzyskane elementy będą poprawne. Jednak szansa na to, że uzyskany rezultat będzie całościowo poprawny jest niewielka. Co z tego, że otrzymasz poprawnie napisany wniosek z analizy, skoro dotyczyć będzie on błędnie dobranego testu statystycznego, albo analiza zostanie wykonana na bazie danych zawierającej błędy?  Analiza danych jest jak efekt motyla – jeden z pozoru prosty błąd może skutkować katastrofą. 

W czym modele językowe AI mogą być przydatne?

 Oczywiście nie jest tak, że modele językowe są bezużyteczne. Są bardzo przydatne, jednak muszą być wykorzystywane “z głową”.  O tym jednak już wiemy, bo po erze zachłyśnięcia się ich możliwościami przyszła pora na refleksję i zrozumienie, że ich stosowanie wymaga ścisłej kontroli.

 Paradoksalnie, najlepiej z modeli AI będą w stanie skorzystać doświadczeni badacze i analitycy danych, wykorzystując je do tworzenia lub modyfikacji opisu.  Jednakże, ich użycie wymaga kontroli i świadomości, że (przynajmniej obecnie) popełniają one wiele błędów i na każdym kroku należy weryfikować ich wytwory. Im większa wiedza, tym większa kontrola.  Modele językowe AI mogą być też przydatne dla studentów do przeprowadzania “burzy mózgów” czy jako wsparcie na innych etapach prowadzenia badania, np. poprzez prośbę o weryfikację stworzonego tekstu.  Jednak znów, trzeba być ostrożnym i posiadać solidne rozeznanie w swoim projekcie badania i podstawową ogólną wiedzę z zakresu metodologii, psychometrii i statystyki.

 Z kolei w przypadku niedoświadczonych osób, stosowanie modeli językowych to pole minowe. Najgorszy scenariusz i zarazem dość częsty to wrzucanie do czatbota AI zlepku informacji wraz z promptem “przeprowadź analizę danych” lub “stwórz opis tych wyników” i bezrefleksyjne wykorzystanie otrzymanego rezultatu. 

Najczęstsze błędy statystyczne generowane przez AI w pracach dyplomowych

Poniżej prezentujemy zestawienie najczęściej powtarzających się błędów wynikających z opisanych powyżej ograniczeń, które obserwujemy konsultując różnego rodzaju prace.

1. Ignorowanie założeń testów parametrycznych

Testy parametryczne (np. t Studenta, ANOVA, korelacja Pearsona) wymagają spełnienia konkretnych założeń: normalności rozkładu, homogeniczności wariancji, niezależności obserwacji. AI regularnie pomija ten etap, choć potrafi deklarować jego przeprowadzenie.

2. Błędna interpretacja wartości p

AI potrafi podawać błędne interpretacji wartości p, na przykład: “p = 0,03, a więc ryzyko błędu pierwszego rodzaju wynosi 3%”. To nieprawda. Błąd pierwszego rodzaju to ustalone z góry α (np. 0,05). Wartość p = 0,03 mówi jedynie, że wynik przekroczył ten próg. α to reguła decyzyjna, p to wynik pomiaru, a to dwie różne rzeczy, które należy odróżnić 

3. Pominijanie wielkości efektu

Testy statystyczne służą do oceny występowania efektu, a nie oceny jego skali. Na przykład test t odpowiada na pytanie “czy różnica istnieje?”, a nie “jak duża jest ta różnica?”. AI standardowo zatrzymuje się na samej wartości p i nie proponuje obliczania siły efektu, np. d Cohena, η², ω² ani r, nawet gdy obecnie jest to wymóg większości prac naukowych. 

4. Mylenie korelacji z przyczynowością

AI potrafi generować zdania w stylu: “Wyższy poziom motywacji wpływa na lepsze wyniki w pracy (r = 0,68, p < 0,001)”. Słowo “wpływa” jest nadużyciem. W ramach korelacji nie sprawdzamy związków przyczynowo-skutkowych, a jedynie współwystępowanie zmiennych. 

5. Błędy przy analizie danych ze skal Likerta

Skala Likerta to dane porządkowe, nie interwałowe (ilościowe). AI często oblicza średnie dla pojedynczych pozycji i stosuje testy parametryczne zamiast nieparametrycznych odpowiedników (Manna-Whitneya, Kruskala-Wallisa). Jako ilościowe z kolei traktuje się zwyczajowo wskaźniki obliczane jako średni lub suma z wielu danych opartych na skali Liketa (sytuacja typowa dla testów psychometrycznych).

6. Błędy w przygotowaniu danych

AI nie testuje zazwyczaj rzetelności skali (np. alfa Cronbacha), nie weryfikuje obecności wartości odstających, nie uwzględnia kryteriów włączenia i wyłączenia uczestników. Nawet jeżeli to zrobi, prawdopodobnie przyjmie błędne progi i kryteria, niepasujące do specyfiki danych.

7. Nieprawidłowe raportowanie wyników

Przykładowo według standardów APA 7, zapis wyników testu t wygląda następująco: t(58) = 2,34; p = 0,022; d = 0,61; 95% CI [10,25; 23,34]. Typowy opis wygenerowany przez AI: “Test t wykazał istotną różnicę (p = 0,022)” lub „Test t wykazał istotną różnicę t(58) = 2,34; p = 0,022.” Często brakuje statystyki testowej, stopni swobody, wielkości efektu i przedziałów ufności.

8. Nadinterpretacja wyników granicznych (p-hacking)

AI ma tendencję do formułowania wniosków z wyników na granicy istotności: “wynik był bliski istotności statystycznej (p = 0,051), co sugeruje trend w kierunku…” Wartość p jest decyzyjna: albo przekracza próg α, albo nie. Wynik p = 0,051 przy α = 0,05 jest wynikiem nieistotnym, a nie “prawie istotnym”, jak często sugeruje AI. 

9. Niespójność metodologiczna między rozdziałami

Każda sesja z AI to czysta karta, a model nie pamięta deklaracji z poprzednich promptów. To powoduje często brak logicznej spójności między poszczególnymi elementami pracy. A nawet, jeśli pracujemy w obrębie jednego czatu lub mamy włączoną funkcję analizy innych czatów, to AI szybko zaczyna się gubić z powodu mnogości wątków i przeczy sam sobie.

10. Fałszywa precyzja wyników

AI zwraca wyniki z wieloma miejscami po przecinku, co sprawia wrażenie precyzji. Standard APA 7 wymaga 2–3 miejsc. “Średni poziom satysfakcji wyniósł 3,847293” dla skali 1–5 to nie precyzja wyników, a jedynie zbędny szum liczbowy niezgodny z wymogami raportowania.

Oczywiście takich błędów może być więcej, tutaj przytoczyliśmy jedynie niektóre z częściej spotykanych przykładów. Jeśli nie jesteś pewien czy Twoje decyzje metodologiczne są trafne warto, zanim oddasz pracę, je zweryfikować. Dlatego też zachęcamy do konsultacji na każdy etapie prac.