Testy post-hoc (ang. post hoc, „po fakcie”) – to procedury porównań wielokrotnych stosowane najczęściej po analizie wariancji. Sama ANOVA odpowiada na pytanie, czy między średnimi analizowanych grup występują jakiekolwiek różnice, ale nie wskazuje, które konkretnie grupy różnią się między sobą.
Istotny wynik ANOVA oznacza, że co najmniej jedna średnia różni się od pozostałych, natomiast testy post-hoc pozwalają ustalić, pomiędzy którymi grupami występują te różnice. Testy post-hoc stosuje się przede wszystkim wtedy, gdy nie określono wcześniej konkretnych porównań planowanych. Ich zadaniem jest kontrolowanie ryzyka błędu I rodzaju, które rośnie wraz z liczbą wykonywanych porównań. Im więcej par średnich testujemy, tym większa szansa przypadkowego uzyskania wyniku istotnego statystycznie.
Dobór testu zależy m.in. od homogeniczności wariancji, liczebności grup oraz tego, czy interesują nas wszystkie możliwe porównania parami czy bardziej złożone kontrasty. Nie istnieje jeden uniwersalnie najlepszy test post-hoc – wybór procedury powinien wynikać z założeń analizy, liczebności grup i celu porównań.
Proste porównania parami oparte na błędzie z ANOVA. Słabsza kontrola skumulowanego błędu I rodzaju.
LSD = tα/2,df √[MSE(1/ni + 1/nj)]
Gdzie:
LSD – najmniejsza istotna różnica między średnimi
tα/2,df – wartość krytyczna rozkładu t
α – przyjęty poziom istotności
df – stopnie swobody dla błędu
MSE – średni kwadrat błędu z ANOVA
ni, nj – liczebności porównywanych grup
Test NIR Fishera, czyli LSD (Least Significant Difference), należy do najstarszych procedur porównań parami. W praktyce wykorzystuje logikę podobną do testu t Studenta. Przy większej liczbie porównań słabo kontroluje rodzinne ryzyko błędu I rodzaju, dlatego obecnie powinien być stosowany ostrożnie.
Prosta kontrola rodzinnego poziomu błędu przez podzielenie α przez liczbę porównań.
α* = α / m
Gdzie:
α* – skorygowany poziom istotności dla pojedynczego porównania
α – rodzinny poziom istotności, np. 0,05
m – liczba wykonywanych porównań
Poprawka Bonferroniego zmniejsza poziom α proporcjonalnie do liczby wykonywanych porównań m. Dla α = 0,05 i trzech porównań otrzymujemy α* ≈ 0,017. Metoda jest prosta i skuteczna, ale przy dużej liczbie testów może wyraźnie obniżać moc.
Test Sidaka
Korekta podobna do Bonferroniego, zwykle nieco mniej konserwatywna.
α* = 1 − (1 − α)1/m
Gdzie:
α* – skorygowany poziom istotności dla pojedynczego porównania
α – rodzinny poziom istotności
m – liczba wykonywanych porównań
Procedura Sidaka również kontroluje rodzinny poziom błędu, ale wyznacza skorygowany próg na podstawie prawdopodobieństwa łącznego. W typowych zastosowaniach daje nieco mniej restrykcyjny próg niż Bonferroni.
Test Duncana większa moc
Liberalna procedura oparta na studentyzowanym rozstępie. Większa moc kosztem kontroli błędu I rodzaju.
Rp = qp,df √(MSE / n)
Gdzie:
Rp – krytyczna różnica dla zakresu obejmującego p średnich
qp,df – odpowiednia wartość krytyczna studentyzowanego rozstępu
p – liczba pozycji obejmowanych przez porównywany zakres średnich
df – stopnie swobody błędu
MSE – średni kwadrat błędu
n – liczebność grupy przy równych liczebnościach
Test Duncana wykorzystuje studentyzowany rozstęp i zmienia kryterium w zależności od odległości porównywanych średnich w uporządkowanym szeregu. Jest bardziej liberalny niż Tukey czy Scheffé, dlatego łatwiej wykrywa różnice, ale słabiej chroni przed błędem I rodzaju.
Silna kontrola błędu rodzinnego; nadaje się również do złożonych kontrastów.
|ΣciMi| > √[(k−1)F · MSE · Σ(ci²/ni)]
Gdzie:
ci – współczynnik kontrastu dla grupy i
Mi – średnia w grupie i
k – liczba porównywanych grup
F – odpowiednia wartość krytyczna rozkładu F
MSE – średni kwadrat błędu z modelu ANOVA
ni – liczebność grupy i
Σ – suma wartości dla wszystkich uwzględnionych grup
Procedura Scheffégo nie ogranicza się do prostych porównań parami. Może służyć także do oceny dowolnych kontrastów liniowych. Ceną tej elastyczności jest konserwatywność i mniejsza moc w porównaniu z metodami projektowanymi wyłącznie do porównań parami.
Standardowa procedura dla wszystkich porównań parami przy jednorodnych wariancjach.
HSD = qα,k,df √(MSE / n)
Gdzie:
HSD – najmniejsza różnica uznawana za istotną w teście Tukeya
qα,k,df – wartość krytyczna studentyzowanego rozstępu
α – poziom istotności
k – liczba grup
df – stopnie swobody błędu
MSE – średni kwadrat błędu z ANOVA
n – liczebność każdej grupy przy równych liczebnościach
Test Tukeya HSD (Honestly Significant Difference) wykorzystuje rozkład studentyzowanego rozstępu. Jest jednym z podstawowych wyborów, gdy interesują nas wszystkie porównania parami i można przyjąć homogeniczność wariancji.
Przy nierównych liczebnościach stosowana jest odmiana Tukeya–Kramera, wykorzystująca liczebności obu porównywanych grup.
Test GT2 Hochberga
Przydatny przy nierównych liczebnościach grup, jeśli wariancje pozostają jednorodne.
GT2 ∝ SMM · √[MSE(1/ni + 1/nj)]
Gdzie:
GT2 – kryterium porównania Hochberga GT2
SMM – wartość krytyczna rozkładu studentyzowanego maksimum modułu
MSE – średni kwadrat błędu
ni, nj – liczebności porównywanych grup
∝ – oznacza proporcjonalność; pełne kryterium uwzględnia odpowiednią wartość krytyczną SMM
Procedura GT2 Hochberga została zaprojektowana z myślą o porównaniach średnich przy nierównych liczebnościach grup i jednocześnie jednorodnych wariancjach. Korzysta z rozkładu studentyzowanego maksimum modułu (SMM).
qij – statystyka studentyzowanego rozstępu dla grup i i j
Mi, Mj – średnie w porównywanych grupach
si², sj² – wariancje w porównywanych grupach
ni, nj – liczebności porównywanych grup
½ – czynnik wynikający ze sposobu skalowania statystyki q
Games-Howell nie wymaga założenia równości wariancji i uwzględnia odrębne wariancje oraz liczebności porównywanych grup. Stopnie swobody są wyznaczane w sposób zbliżony do aproksymacji Welcha–Satterthwaite’a.
Przy nierównych wariancjach i nierównych liczebnościach grup Games-Howell jest zwykle jednym z najbezpieczniejszych wyborów do porównań post-hoc.
Test T2 Tamhane’a konserwatywny
Procedura dla nierównych wariancji z silną kontrolą błędu I rodzaju.
tij = |Mi−Mj| / √(si²/ni + sj²/nj)
Gdzie:
tij – statystyka porównująca średnie grup i oraz j
Mi, Mj – średnie w porównywanych grupach
si², sj² – wariancje w grupach
ni, nj – liczebności grup
Test T2 Tamhane’a wykorzystuje porównania oparte na oddzielnych wariancjach grup i korektę poziomu istotności dla wielokrotnych porównań. Dobrze kontroluje błąd I rodzaju, ale zwykle jest bardziej konserwatywny niż Games-Howell i może mieć mniejszą moc testu.
W praktyce najczęściej stosuje się Tukeya HSD przy równych wariancjach oraz Gamesa-Howella przy ich naruszeniu. Testy takie jak NIR Fishera, Duncan czy Scheffé mogą być użyteczne w określonych sytuacjach, ale wymagają świadomego doboru ze względu na różny poziom konserwatywności i kontroli błędu I rodzaju.
