Poziom istotności (alfa) – wartość używana w statystyce, która określa próg, poniżej którego odrzucana jest hipoteza zerowa. Inaczej mówiąc, poziom istotności to maksymalne dopuszczalne prawdopodobieństwo popełnienia błędu I rodzaju, czyli odrzucenia hipotezy zerowej, gdy jest ona prawdziwa.
Zazwyczaj poziom istotności kojarzymy z kryterium wartości p < 0,05, co można rozpisać jako p < alfa (α). Warto jednak podkreślić, że wartości p i alfa to dwa różne współczynniki:
Weryfikacja hipotezy statystycznej w paradygmacie NHST opiera się na porównaniu wartości p do wartości alfa. Jeśli wartość p jest mniejsza niż ustalony próg alfa, taki wynik określamy jako „istotny statystycznie”. Jeśli wartość p jest większa niż wartość alfa, taki wynik określamy jako „nieistotny statystycznie”.
Dlaczego dobór wielkości alfa jest do pewnego stopnia subiektywny i zależy od rodzaju badania? Przykładowo, w badaniach dotyczących skuteczności leków przyjmuje się często niski poziom istotności, rzędu 0,001, ponieważ decyzja podejmowana na podstawie weryfikacji takiej hipotezy związana jest ze zdrowiem i życiem ludzkim. Przy niskim progu alfa uzyskanie pozytywnego wyniku (który potwierdza skuteczność leku), czyli wartości p < 0,001 wiąże się z bardzo małym prawdopodobieństwem tego, że decyzja ta jest błędna.
Zaletami użycia poziomu istotności jest uzyskanie wystandaryzowanej procedury, prostego w zastosowaniu algorytmu do podejmowania decyzji co do weryfikacji hipotez oraz zapewnienie pewnej kontroli nad ryzykiem popełnienia błędów statystycznych.
Wśród wad tego podejścia należy wymienić często nadmierne poleganie na arbitralnie ustalonym poziomie istotności. Niektórzy badacze mówią wręcz od „kulcie istotności statystycznej”, co odnosi się do bezrefleksyjnego (i co za tym idzie, często nieumiejętnego) stosowania tego podejścia. Może prowadzić to do uzyskiwania wyników statystycznie istotnych, które w praktyce nie mają istotnego znaczenia. Ponadto, używanie w każdym badaniu stałego poziomu istotności na poziomie 0,05, bez dostosowywania go do realiów danego badania, prowadzi często do nadmiernego odrzucania hipotez zerowych.
Podsumowując, poziom istotności jest przydatnym narzędziem we współczesnej statystyce do podejmowania decyzji związanych z weryfikacją hipotez, jednak nie powinien być on traktowany jako jedyna wyrocznia. Równie ważna jest interpretacja uzyskanej siły efektu (ocena przydatności), zakresu przedziału ufności uzyskanych różnic czy korelacji (ułatwiają ocenę rzeczywistych efektów w populacji) oraz mocy testu statystycznego (pozwalająca na ocenę replikowalności efektu). Ważne jest, aby badacze byli świadomi zarówno zalet, jak i wad związanych z użyciem poziomu istotności w paradygmacie NHTS.