Archiwum dla miesiąca: kwiecień 2022


 OTWÓRZ / POBIERZ ARTYKUŁ JAKO PLIK PDF 

 

Wprowadzenie

Mimo, że wykonanie analizy rzetelności przy użyciu wskaźnika Alfa Cronbacha (np. w SPSS) jest stosunkowo proste to regularnie wśród naszych klientów spotykamy się z trudnością w zarówno zrozumieniu tej analizy, jak i zaraportowaniu jej wyników. Dlatego też w tym artykule przedstawimy jej założenia, obszary zastosowania, ograniczenia, a także instrukcje i przykłady jak zaraportować jej wyniki.

Czym jest rzetelność testu?

Rzetelność jest właściwością określającą dokładność pomiaru testem psychologicznym. Ściślej mówiąc, test rzetelny to taki, który wykorzystany dwukrotnie da zbliżone wyniki. Rzetelność warto odróżnić od innego podstawowego kryterium jakości narzędzia badawczego, czyli trafności, która odnosi się do tego czy test rzeczywiście mierzy to co ma mierzyć. Obie te właściwości są kluczowe do tego, aby uznać narzędzie psychologiczne za „dobre”. Dodatkowe omówienie obu tych pojęć, w tym różnic między nimi, znajdziecie na jednym z naszych tutoriali video.

Jak dokonuje się oceny rzetelności?

Istnieją różne metody szacowania rzetelności testu. Dla przykładu, Jankowski i Zajenkowski (2009) wymieniają ich siedem. Warto zaznaczyć, że są to raczej sposoby mierzenia różnych aspektów rzetelności, aniżeli różne równorzędne metody jej pomiaru i mogą one dawać trochę odmienne wyniki.

Mimo tej różnorodności, najczęściej rzetelność określa się poprzez analizę zgodności wewnętrznej testu przy użyciu Alfa Cronbacha (α). Jest ona tak chętnie stosowana, ponieważ można ją wykorzystać „przy okazji” wykonywanego badania, nawet jeśli tego wcześniej nie planowaliśmy – można przeprowadzić ją na już posiadanym zbiorze danych. Dla kontrastu, zastosowanie innych metod wymaga dodatkowego nakładu pracy. Przykładowo, analiza zgodności sędziów kompetentnych wymaga osobnego badania, w którym sędziowie wypełniają dodatkowe arkusze. Z kolei badanie stabilności bezwzględnej opiera się na dwukrotnym pomiarze tym samym testem w pewnym odstępie czasu, w związku z czym wymagane jest wykonanie dodatkowego, drugiego pomiaru na tej samej grupie respondentów

Czym jest wskaźnik Alfa Cronbacha?

Tak jak wspomniano wyżej, Alfa Cronbacha jest wskaźnikiem określającą zgodność wewnętrzną testu. Określa ona stopień, w jakim pozycje testowe są ze sobą powiązane. Warto wspomnieć, że miarę tę możemy wykorzystać jedynie dla zmiennej ilościowej (odpowiednikiem tego wskaźnika dla skali 0-1 jest współczynnik Kudera-Richardsona KR20).

Wyjaśnijmy to na przykładzie jednego z najczęściej stosowanych testów psychologicznych – kwestionariusza samooceny SES Rosenberga. (tu można zobaczyć arkusz tego kwestionariusza). Zawiera on 10 pozycji testowych, tzw. “itemów” – w tym przypadku są to twierdzenia dotyczących samooceny. Do każdego z nich należy odnieść się, zaznaczając odpowiedź na skali od 1 (zdecydowanie nie zgadzam się) do 4 (zdecydowanie zgadzam się). Liczbę uzyskanych punktów sumuje się i w ten sposób każdy badany uzyskuje wynik w zakresie od 10 do 40, będący wskaźnikiem poziomu samooceny.

I teraz dochodzimy do sedna sprawy – mimo, że kwestionariusz SES zawiera 10 różnych stwierdzeń, to każde z nich dotyczy tego samego konstruktu teoretycznego – tej samej, jednej samooceny, a nie 10 różnych jej rodzajów. Oznacza to, że odpowiedzi danej osoby na poszczególne pytania powinny być podobne, i to założenie właśnie stoi u podstawy konstrukcji wskaźnika Alfa Cronbacha. Przykładowo osoba, którą charakteryzuje bardzo wysoka samoocena do wszystkich pytań powinna odnieść się na “4” (ew. do kilku na “3”), ponieważ jej wysoki poziom samooceny powinien zostać odzwierciedlony w każdym pytaniu. Oczywiście to samo dotyczy pozostałych osób, o względnie niskim lub średnim jej poziomie. Wskaźnik Alfa Cronbacha dotyczy właśnie tak rozumianej spójności między odpowiedziami na poszczególne pytania. Jeśli odpowiedzi na pytania kwestionariuszowe u poszczególnych badanych są podobne, to uzyskana korelacja będzie wysoka, wskazując na wysoką rzetelność. Jeśli z kolei odpowiedzi na poszczególne pytania będą silnie zróżnicowane, korelacja ta będzie niska, co będzie dowodem niskiej rzetelności.

Warto w tym momencie zaznaczyć, że wskaźnik Alfa Cronbacha nie mierzy stopnia, w jakim pozycje testowe odnoszą się do tego samego konstruktu. Jest to powszechna, ale błędna interpretacja. Ze względu na sposób obliczania wskaźnika α do uzyskania wysokich jego wartości wystarczy, że każda pozycja testowa będzie powiązana z kilkoma innymi pozycjami testowymi. Możemy sobie zatem wyobrazić sytuację, w której uzyskujemy wysoką wartość α dla 20 itemów, z których każde 5 wchodzi w skład osobnych 4 czynników, w niewielkim stopniu powiązanych ze sobą. W takim wypadku wysoka wartość Alfa Cronbacha będzie wynikiem wyłącznie korelacji między itemami w podskalach, nie będzie natomiast w żaden sposób dowodem na jednorodność skali ogólnej. Aby ją określić należy zastosować inną, dodatkową analizę, np. analizę czynnikową albo po prostu inną metodę szacowania rzetelności. Popularną alternatywą dla Alfa Cronbacha jest w takim wypadku omega (ω) McDonalda, która bazuje na analizie czynnikowej i pozwala uzyskać informację o tym jak czynnik ogólny i podskale wpływają na rzetelność całego narzędzia (Ciżkowicz, 2018).

Jaka wartość wskaźnika Alfy Cronbacha jest zadowalająca?

Wartość wskaźnika Alfa Cronbacha może przyjmować wartość od 0 do 1. Zakłada się, że im jest ona wyższa tym większa jest zgodność wewnętrzna testu, czyli test jest bardziej rzetelny. Przyjmuje się różne progi (punkty odcięcia) wskazujące na zadowalającą rzetelność. Zwykle mieszczą się one w granicach między 0,7 a 0,95 (Tavakol & Dennick, 2011). Jedną z konkretnych klasyfikacji proponują George i Mallery (2016, s. 240):
– α > 0,9 – doskonała
– α > 0,8 – dobra
– α > 0,7 – akceptowalna
– α > 0,6 – wątpliwa
– α > 0,5 – słaba
– α < 0,5 – nieakceptowana

Warto jednak wiedzieć, że sugerowanie się tego rodzaju progami przy ocenie wartości Alfa Cronbacha bywa zawodne. Wynika to z faktu, że moc tego testu zależna jest od liczby itemów wchodzących w skład danej skali (dokładne symulacje przedstawiają Heo, Kim & Faith, 2015). W praktyce oznacza to, że prawie każdą skalę o dużej liczbie pozycji testowych (rzędu 20) charakteryzować będzie wysoka wartość Alfa Cronbacha, nawet jeśli w rzeczywistości jej spójność wewnętrzna będzie niska. Z kolei wiele skal o małej liczbie itemów (np. 3-5) może uzyskać niską wartość Alfa Cronbacha, nawet jeśli w rzeczywistości spójność wewnętrzna będzie zadowalająca.

Ponadto, mimo, że wzrost wartości α wskazuje na większą spójność wewnętrzna skali, nie ma tu bezwzględnego zastosowania zasada pt. „im więcej tym lepiej”. Dlaczego? Z jednej strony – wysoka wartość Alfa Cronbacha (rzędu α = 0,95) może wskazywać na to, że część itemów jest redundantna (zbędna), ponieważ mierzy dokładnie tę samą właściwość skali (są to bliźniacze pytania), zamiast mierzyć różne jej aspekty. Z drugiej strony, istnieją sytuacje, w których uzyskanie wysokich wartości Alfa Cronbacha nie jest pożądane. Bywa tak w przypadku konstruowania testów wiedzy, które powinny charakteryzować się zróżnicowaną trudnością. W takiej sytuacji uzyskanie wartości Alfa bliskiej 1 będzie wskazywało na niewłaściwą konstrukcję testu, o mało zróżnicowanej trudności, a z kolei uzyskanie „obniżonej” wartości α będzie dowodem na odpowiedni jej stopień,

W związku z ograniczeniami analizy Alfa Cronbacha wymienionymi powyżej, kluczowym staje się umiejętność poprawnej interpretacji jej wyników. W tym celu warto odnieść je bezpośrednio do zastosowanych narzędzi i teorii leżącej u podstaw danego zjawiska. Interpretację wartości α warto uzupełnić przede wszystkim analizą struktury zastosowanych kwestionariuszy (liczbą itemów oraz analizą ich treści) ponieważ wartości α nie są zawieszone w próżni, a dotyczą właśnie ich 🙂 Warto też pamiętać o wcześniej opisanej zależności między ilością itemów w skali, a mocą tego testu. Uwzględnienie tych kwestii pozwala wykroczyć poza ocenę wartości α jako takich (na zasadzie α = 0,8 to dużo, a α = 0,5 mało) i dokonać jej w szerszym kontekście.

Kiedy i po co oblicza się wskaźnik Alfa Cronbacha?

Analizę rzetelności przeprowadza się w dwóch sytuacjach:
(1) Kiedy tworzymy nowy test od podstaw lub dokonujemy jego adaptacji (w naszym kraju zwykle z warunków angielskich na polskie). Jest to elementem procedury walidacyjnej testu, którą później opisuje się w podręczniku do narzędzia lub w artykule naukowym.
(2) Kiedy wykonujemy jakiekolwiek badanie z użyciem istniejących, zwalidowanych już kwestionariuszy. Wysoka rzetelność skal uzyskana w próbie walidacyjnej nie gwarantuje rzetelnego pomiaru w każdym badaniu, dlatego też wskaźnik Alfa Cronbacha musi zostać policzony za każdym razem, nawet jeśli stosujemy kwestionariuszy popularny (np. NEO-FFI, FCZ-KT, SES, SWLS, CISS), dla którego analiza rzetelności była setki razy wykonywana przez innych badaczy.

Dlaczego analizę rzetelności należy przeprowadzić w każdym badaniu? Wynika to z faktu, że wskaźnik Alfa Cronbacha nie dotyczy kwestionariusza jako takiego, a jego konkretnego zastosowania. Przykładowo Taber (2018) w swoim artykule przytacza badania, w których wskaźnik Alfa Cronbacha przyjmował różne wartości dla odmiennych grup wiekowych. To samo dotyczyć może próbek z różnych populacji. Przykładowo spodziewać się można, że wyniki analizy rzetelności dla kwestionariuszy używanych w Zakładach Poprawczych („poprawczakach”) lub więzieniach będą niższe niż w populacji ogólnej, z powodu m.in. fałszowania wyników przez badanych. Po prostu każdy test może „zadziałać” inaczej w różnych warunkach i na różnych próbkach obserwacji.

Warto wspomnieć tu o dodatkowym, często pomijanym celu obliczania wskaźnika Alfa Cronbacha, jakim jest sprawdzanie poprawności konstrukcji bazy danych. Jeśli uzyskana wartość α dla danej skali okaże się bardzo niska (lub ujemna, co również jest możliwe) to jest to sygnałem, że baza danych mogła zostać wykonania niewłaściwie. Błędy w tym zakresie mogą pojawić się przy okazji tworzenia bazy danych, szczególnie jeśli dane przepisywane są do bazy danych „ręcznie” z arkuszy papierowych. Inną częstą przyczyną jest brak odpowiedniego zrekodowania (odwrócenia) itemów według klucza odpowiedzi. Jeśli nie możemy tego sprawdzić bezpośrednio (prześledzić całego procesu wstecz) można wykorzystać inny sposób – dokonać rekodowania raz jeszcze i sprawdzić jak wpłynie to na zmianę wartości α . Jeśli będzie to zmiana np. z wartości 0,247 na 0,818 to mamy prawie 100% pewności, że rzeczywiście błąd leży po tej stronie. Interpretacja wartości α jest zatem przydatna przy ocenie konstrukcji bazy danych. Bez tego ryzykujemy sytuacją, w której wykonamy analizę na błędnie obliczonych wskaźnikach, uzyskując całkowicie błędne wyniki, nie zdając sobie nawet z tego sprawy.

Jak zaraportować wartości Alfa Cronbacha w swoim badaniu?

Skupimy się tu jedynie na sytuacji opisanej wyżej jako (2), to znaczy wtedy, kiedy raportujemy wynik naszego „zwykłego” badania, które nie jest walidacją narzędzia. Analiza walidacji jest z definicji wykonywana rzadko, poza tym kwestia jej przeprowadzenia to bardziej złożony temat, który odbywa się w szerszym kontekście analizy psychometrycznej, której analiza rzetelności jest jedynie częścią.

Tak jak już wspomniano, analizę rzetelności wykonujemy w każdym pojedynczym badaniu. W takiej sytuacji podajemy jednak nie jedną, a dwie wartości Alfa Cronbacha dla każdej skali:
(1) Tę uzyskaną w naszym badaniu jako potwierdzenie wysokiej zgodności wewnętrznej podczas tego konkretnie jej zastosowania.
(2) Tę obliczoną w badaniu walidacyjnym jako omówienie własności psychometrycznych uzyskanych w procesie konstrukcji narzędzia.

W jaki sposób odnaleźć wartości α uzyskane w procesie walidacji kwestionariusza? W tym celu zaglądamy do podręcznika do metody, a jeśli taki nie istnieje to do artykułu opisującego ten proces. Wiele z nich publikowanych jest na researchgate.net lub Google Scholar.

Jako przykład weźmy tekst: Opracowanie i walidacja eksperymentalnej polskiej wersji skróconej Kwestionariusza Schematów Younga (Staniszek, Popiel, 2017; dostęp: 31.03.2022). Opis wyników analizy rzetelności dla jednego z badań sporządzony został w następujący sposób:

Natomiast dokładne wartości Alfa Cronbacha przedstawione zostały w tabeli (kwestionariusza zawiera 18 podskal i 1 skalę ogólną):

Czasami informacje dotyczące wyników analizy rzetelności podane są również na stronie wydawcy testu. Możemy zobaczyć to na przykładzie testu LOT-R wydanego w Pracowni Testów Psychologicznych PTP – wyniki analizy rzetelności zostały zaraportowane na stronie z opisem tego narzędzia. Jest to ukazane na poniższym screenie.

Źródło: https://www.practest.com.pl/lot-r-test-orientacji-zyciowej; dostęp: 31.03.2022r.

Naszym zadaniem jest odczytanie tych wartości i przedstawienie ich w naszym tekście. Wystarczy ten fragment tekstu sparafrazować (lub nawet przepisać). Oprócz tego raportujemy wartości Alfa Cronbacha obliczone w naszym badaniu.

Raportowanie wartości wskaźnika Alfa Cronbacha w swoim badaniu – przykłady wraz z omówieniem

Wartości wskaźnika Alfa Cronbacha raportujemy w rozdziale z opisem metody naszego tekstu naukowego, zazwyczaj w podrozdziale z opisem zastosowanych narzędzi badawczych. Możemy też w tym celu stworzyć osobny podrozdział, szczególnie jeśli przeprowadzona przez nas analiza własności psychometrycznych jest bardziej rozbudowana i wykracza poza raportowanie wartości α.

Wyniki analizy rzetelności możemy zaraportować w tekście lub w tabeli. Zapis tabelaryczny warto wykorzystać wtedy, gdy do zaraportowania mamy wiele wartości. Poniżej znajdują się przykłady obu tych sposobów wraz z omówieniem.

PRZYKŁAD 1

Przedstawienie wyników analizy rzetelności w tekście

W badaniu zastosowano skalę satysfakcji z życia SWLS autorstwa: Ed Diener, Robert A. Emmons, Randy J. Larsen i Susan Griffin (1985). Została ona zaadaptowana do warunków polskich przez Zygfryda Juczyńskiego (2001). Ma za zadanie ocenę subiektywnego zadowolenia z własnych osiągnięć i warunków na podstawie pięciu stwierdzeń w skali siedmiostopniowej (od zupełnie nie zgadzam się do całkowicie zgadzam się). Wynik uzyskany w badaniu mieści się w granicach 5–35 i oznacza poziom satysfakcji: im wyższy, tym większe jest poczucie satysfakcji z życia.

Właściwości psychometryczne skali zostały opisane w podręczniku do metody (Juczyński, 2001). Skala charakteryzuje się zadowalającą trafność teoretyczną, szacowaną poprzez analizę jej związków ze zmiennymi, które pośrednio odzwierciedlają poczucie satysfakcji z życia lub mają na nie wpływ (dodatnia zależność ze Skalą Poczucia Własnej Wartości Rosenberga RSES; ujemna z nasileniem spostrzeganego stresu mierzonego Skalą odczuwanego Stresu PSS i kontrolą emocji gniewu, depresji i lęku mierzonej Skalą Kontroli Emocji CECS). Wskaźnik rzetelności Alfa Cronbacha w badaniu normalizacyjnym 371 osób również okazał się zadowalający, wynosząc 0,81. Wartość wskaźnika uzyskana w tym badaniu również okazała się zadowalająca, wynosząc α = 0,75.

Omówienie przykładu: Opis został stworzony częściowo na podstawie podręcznika do metody, choć niektóre z tych informacji znaleźć można również na stronie wydawcy testu. Jak widzimy, wartości Alfa Cronbacha zarówno w procesie walidacji jak i badaniu właściwym zostały zaraportowane krótko, w dwóch zdaniach. Jeśli w naszym badaniu zastosowaliśmy kilka kwestionariuszy to możemy opisać je po kolei według tego samego schematu. Ponadto należy pamiętać, że odnosząc się w tekście do poszczególnych źródeł (np. Juczyński, 2001) należy umieścić ich pełen zapis bibliograficzny w literaturze na końcu tekstu.

PRZYKŁAD 2

Przedstawienie wyników analizy rzetelności w tabeli

Analiza psychometrycznych własności użytych narzędzi została wykonana przy użyciu analizy zgodności wewnętrznej Alfa Cronbacha. Wykazała ona, że 12 spośród 16 testowanych skal osiągnęła zadawalającą rzetelność α > 0,70 (kryteria na podstawie: George & Mallery, 2016). Dla dwóch skal: Relacje (PERMA) oraz Zaangażowanie w czynności zastępcze (CISS) uzyskano rzetelność wątpliwą 0,60 < α < 0,70. Z kolei podskala Zaangażowanie (PERMA) charakteryzowała słaba rzetelność 0,50 < α < 0,60. Wszystkie obliczone wartości przedstawiono w tabeli 1.

Omówienie przykładu: Powyższy schemat raportowania jest przykładowy i możemy go zastosować, jeśli chcemy zaraportować wyniki dla wszystkich skal ze wszystkich kwestionariuszy zbiorczo. Możemy też wykorzystać tabele do raportowania wyników osobno dla poszczególnych kwestionariuszy. W takiej sytuacji najlepiej wynik dla SWLS (jako że jest tylko jeden) zapisać w tekście, a dla kwestionariuszy PERMA i LMI stworzyć dwie osobne tabele. Możemy też w tego rodzaju tabeli/tabelach umieścić nie tylko wartości α uzyskane w naszym badaniu, ale także stworzyć drugą kolumnę w które zaraportujemy poszczególne wartości obliczone w walidacji narzędzi.

 

Literatura:
Jankowski, K. & Zajenkowski, M. (2019). Jakich informacji o teście dostarcza testowanie? W: Fronczyk, K. (red.). Psychometria Podstawowe zagadnienia (84-110). Warszawa: Vizja Press.
Taber, K. (2018). The Use of Cronbach’s Alpha When Developing and Reporting Research Instruments in Science Education. Research in Science Education 48, 1-24.
Tavakol, M., Dennick, R. (2011). Making Sense of Cronbach’s Alpha. International Journal of Medical Education. 2, 53-55.
George, D., & Mallery, P. (2016). IBM SPSS statistics 23 step by step: A simple guide and reference. New York Routledge.
Heo, M., Kim, N., Faith, M. (2015). Statistical power as a function of Cronbach alpha of instrument questionnaire items. BMC Medical Research Methodology, 15.
Staniaszek, K., Popiel, A. (2017). Opracowanie i walidacja eksperymentalnej polskiej wersji skróconej Kwestionariusza Schematów Younga (YSQ-ES-PL) do badania wczesnych schematów dezadaptacyjnych, Roczniki Psychologiczne 20(2), 373-427.
Ciżkowicz, B. (2018). Omega McDonalda jako alternatywa dla alfa Cronbacha w szacowaniu rzetelności testu. Polskie Forum Psychologiczne, 23(2), 311-329.