Recenzent nie ocenia tego, czy w sekcji analiz pojawił się zaawansowany model. Sprawdza cztery rzeczy: czy test odpowiada pytaniu badawczemu i skali pomiaru, czy jego założenia zostały zweryfikowane, czy obok p-wartości raportowano wielkość efektu z przedziałem ufności oraz czy plan analizy powstał przed zebraniem danych. Stanowisko American Statistical Association mówi w tej sprawie wprost: p-wartość ani istotność statystyczna nie mierzą wielkości efektu ani ważności wyniku (Wasserstein, Lazar, 2016).
Poniżej opisujemy, na czym polega każde z tych kryteriów i w którym momencie procesu badawczego można je jeszcze spełnić bez kosztownych korekt.
Co recenzent sprawdza w sekcji analiz?
Przede wszystkim spójność łańcucha: pytanie badawcze, hipoteza, zmienna, skala pomiaru, test. Uwagi recenzenckie rzadko dotyczą arytmetyki. Dotyczą tego, że wybrana procedura odpowiada na inne pytanie niż postawione we wstępie, że zmienna porządkowa została potraktowana jak ilościowa albo że model kontroluje zmienne, które w danym projekcie są mediatorami, a nie zakłóceniami.
Drugim obszarem jest kompletność raportowania: liczebności w każdej podgrupie, informacja o brakach danych i sposobie ich obsługi, statystyki testowe ze stopniami swobody, wielkości efektu oraz uzasadnienie liczebności próby. Brak któregokolwiek z tych elementów kończy się prośbą o uzupełnienie, nawet gdy sam wynik jest poprawny.
Jak dopasować test do pytania i skali pomiaru?
Pomocne jest sprowadzenie pytania badawczego do jednego z trzech typów. Pierwszy to porównanie grup: czy średnia ocena produktu różni się między dwoma wariantami opakowania. Przy dwóch grupach niezależnych i zmiennej ilościowej właściwy jest test t dla prób niezależnych, przy trzech i więcej warunkach analiza wariancji z zaplanowanymi kontrastami, a przy pomiarach powtarzanych u tych samych osób odpowiedniki dla prób zależnych.
Drugi typ to zależność między zmiennymi: czy postrzegana wiarygodność marki wiąże się z intencją zakupu. Tu podstawą jest korelacja, przy czym współczynnik Pearsona zakłada zmienne ilościowe i związek liniowy, a Spearmana wystarcza dla skal porządkowych. Trzeci typ to modelowanie: czy efekt utrzyma się po kontroli zmiennych zakłócających i jaki jest mechanizm. Odpowiadają na to regresja, analiza mediacji i moderacji oraz modele równań strukturalnych.
Wybór testu zaczyna się więc nie od statystyki, lecz od tego, jak zdefiniowano zmienne. Rozstrzygnięcia z etapu operacjonalizacji zmiennych w badaniu konsumenckim przesądzają o tym, które procedury pozostaną dostępne po zebraniu danych.
Co zrobić, gdy założenia testu nie są spełnione?
Nie istnieje test uniwersalny i uczciwa sekcja analiz tego nie udaje. Istnieją natomiast decyzje, które należy opisać. Gdy rozkład reszt odbiega od normalnego, a próba jest liczna, twierdzenie graniczne zwykle wystarczy, by pozostać przy procedurze parametrycznej; przy małych próbach rozsądniejsze bywa przejście na odpowiednik nieparametryczny. Przy naruszonej jednorodności wariancji stosuje się korektę Welcha zamiast rezygnacji z porównania, a przy obserwacjach odstających warto raportować analizę wrażliwości, czyli wynik z tymi obserwacjami i bez nich.
Kluczowa jest jawność. Recenzent akceptuje odstępstwo, które zostało wykryte, nazwane i obsłużone. Nie akceptuje sytuacji, w której o naruszeniu założeń dowiaduje się sam, czytając tabelę.
Naruszone założenie testu nie dyskwalifikuje badania. Dyskwalifikuje je przemilczenie tego naruszenia.
Dlaczego sama p-wartość to za mało?
Stanowisko ASA porządkuje sześć zasad interpretacji p-wartości. Dla praktyki publikacyjnej najważniejsze są trzy: p-wartość nie mierzy prawdopodobieństwa, że badana hipoteza jest prawdziwa; wnioski naukowe nie powinny opierać się wyłącznie na przekroczeniu progu istotności; poprawne wnioskowanie wymaga pełnego raportowania i przejrzystości (Wasserstein, Lazar, 2016).
Praktyczna konsekwencja jest prosta. Obok wyniku testu podaje się wielkość efektu, na przykład d Cohena przy porównaniu średnich, eta-kwadrat cząstkowe w analizie wariancji lub standaryzowany współczynnik w regresji, wraz z przedziałem ufności. Przedział informuje o precyzji oszacowania, a więc o tym, czego wynik jeszcze nie rozstrzyga. To ta liczba, a nie sama istotność, pozwala odnieść efekt do wcześniejszych badań i ocenić jego znaczenie merytoryczne.
Kiedy planuje się moc i liczebność próby?
Przed zebraniem danych, nigdy po. Analiza mocy przeprowadzona wstecz na podstawie uzyskanego efektu nie wnosi nowej informacji i bywa wprost kwestionowana przez recenzentów. Planowanie liczebności wymaga trzech ustaleń: przyjętego poziomu istotności, zakładanej mocy, najczęściej 0,80 lub wyższej, oraz najmniejszego efektu, który uznajemy za istotny merytorycznie. Ostatni element jest najtrudniejszy i najczęściej pomijany, a to on decyduje o wielkości próby.
Ten sam rachunek stanowi zresztą argument w sekcji wykonalności wniosku grantowego, o czym piszemy przy okazji wykonalności badań we wniosku grantowym.
Czym są p-hacking i HARKing?
P-hacking to zbieranie danych lub dobieranie wariantów analizy do momentu, w którym wynik nieistotny staje się istotny. Analiza tekstowa artykułów z bazy PubMed wykazała nadreprezentację p-wartości tuż poniżej progu 0,05 w wielu dyscyplinach, co autorzy interpretują jako ślad tej praktyki (Head i in., 2015). HARKing, czyli formułowanie hipotez po poznaniu wyników, polega na prezentowaniu wniosku eksploracyjnego jako konfirmacyjnego. Pojęcie wprowadził Kerr (1998), wskazując, że taki zabieg zawyża wiarygodność ustalenia i utrudnia jego replikację.
Środkiem zaradczym jest przejrzystość proceduralna: preregistracja hipotez i planu analizy przed zebraniem danych, jawne rozdzielenie analiz konfirmacyjnych od eksploracyjnych oraz udostępnienie danych i kodu w repozytorium. Standardy TOP, przyjęte przez liczne czasopisma, formalizują te wymagania (Nosek i in., 2015).
Kiedy warto skonsultować analizę?
Najkorzystniej przed zebraniem danych. Na tym etapie można jeszcze zmienić skalę pomiaru, dołożyć warunek eksperymentalny albo zwiększyć próbę. Po zamknięciu zbioru pozostaje wybór najlepszej z dostępnych procedur, a części ograniczeń nie da się już usunąć. Dotyczy to zarówno pojedynczego manuskryptu, jak i analiz statystycznych w rozprawie doktorskiej, gdzie koszt błędu projektowego rozkłada się na kilka lat pracy.
Zakres, w jakim prowadzimy analizę danych i konsultacje metodologiczne, obejmuje plan analizy, diagnostykę zbioru, modelowanie i opis metody gotowy pod sekcję Methods. Obowiązuje przy tym jasna granica: pomoc statystyczna w badaniach naukowych wspiera warsztat, nie zastępuje autorstwa. Decyzje merytoryczne i tekst pozostają po stronie badacza, wkład spełniający kryteria autorstwa wymaga współautorstwa uzgodnionego na starcie, a wkład czysto techniczny odnotowuje się w podziękowaniach. Warunki współpracy z zespołami badawczymi opisujemy na stronie dla naukowców i jednostek naukowych.
Progi i wartości odcięcia dla najczęściej raportowanych wskaźników (dopasowanie modelu, rzetelność, trafność), wraz z literaturą źródłową dla każdego z nich, zestawia w jednym miejscu Explonia, narzędziowy projekt naszego zespołu.
Źródła
- Wasserstein, R. L., Lazar, N. A. (2016). The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108
- Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., Jennions, M. D. (2015). The extent and consequences of p-hacking in science. PLOS Biology, 13(3), e1002106. https://doi.org/10.1371/journal.pbio.1002106
- Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S. J., Munafò, M. R. (2013). Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5), 365–376. https://doi.org/10.1038/nrn3475
- Kerr, N. L. (1998). HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review, 2(3), 196–217. https://doi.org/10.1207/s15327957pspr0203_4
- Nosek, B. A., Alter, G., Banks, G. C., Borsboom, D., Bowman, S. D., Breckler, S. J., i in. (2015). Promoting an open research culture. Science, 348(6242), 1422–1425. https://doi.org/10.1126/science.aab2374