Dowodzenie hipotez za pomocą czynnika bayesowskiego (bayes factor) : przykłady użycia w badaniach empirycznych

• Autorzy: Artur Domurat , Michał Białek

Warianty tytułu

Weighing Evidence in Favour of Research Hypotheses Using Bayes Factor : Examples of Application in Empirical Studies

• Języki publikacji: PL

Abstrakty

Testów statystycznych używa się w nauce po to, żeby wesprzeć zaproponowane hipotezy badawcze (teorie, modele itp.). Czynnik bayesowski (Bayes Factor, BF) jest metodą bezpośrednio wskazującą tę z dwóch hipotez, która lepiej wyjaśnia uzyskane dane. Jego wykorzystanie we wnioskowaniu statystycznym prowadzi do jednego z trzech wniosków: albo badanie bardziej wspiera hipotezę zerową, albo alternatywną, albo wyniki nie wspierają żadnej w sposób rozstrzygający i są niekonkluzywne. Symetria tych wniosków jest przewagą metody czynnika bayesowskiego nad testami istotności. W powszechnie używanych testach istotności nie formułuje się wniosków wprost, lecz albo się odrzuca hipotezę zerową, albo się jej nie odrzuca. Rozdźwięk między taką decyzją a potrzebami badacza często jest powodem nadinterpretacji wyników testów statystycznych. W szczególności wyniki nieistotne statystycznie są często nadinterpretowane jako dowód braku różnic międzygrupowych lub niezależności zmiennych. W naszej pracy omawiamy założenia teoretyczne metody BF, w tym różnice między bayesowskim a częstościowym rozumieniem prawdopodobieństwa. Przedstawiamy sposób weryfikacji hipotez i formułowania wniosków według podejścia bayesowskiego. Do jego zalet należy m.in. możliwość gromadzenia dowodów na rzecz hipotezy zerowej. Wykorzystanie metody w praktyce ilustrujemy przykładami bayesowskiej reinterpretacji wyników kilku opublikowanych badań empirycznych, w których wykonywano tradycyjne testy istotności. Do obliczeń wykorzystaliśmy darmowy program JASP 0.8, specjalnie dedykowany bayesowskiej weryfikacji hipotez statystycznych. (abstrakt oryginalny)

EN

Statistical tests are used in science in order to support research hypotheses (theory, model). The Bayes Factor (BF) is a method that weighs evidence and shows which out of two hypotheses is better supported. Adopting the BF in statistical inference, we can show whether data provided stronger support for the null hypothesis, the alternative hypothesis or whether it is inconclusive and more data needs to be collected to provide more decisive evidence. Such a symmetry in interpretation is an advantage of the Bayes Factor over classical null hypothesis significance testing (NHST). Using NHST, a researcher draws conclusions indirectly, by rejecting or not rejecting the null hypothesis. The discrepancy between these decisions and the researcher's needs, often leads to misinterpretation of significance test results, e.g. by concluding that non-significant p-values are evidence for the absence of differences between groups or that variables are independent. In this work we show the main differences between the Bayesian and the frequential approach to the understanding of probability and statistical inference. We demonstrate how to verify hypotheses using the BF in practice and provide concrete examples of how it modifies conclusions about empirical findings based on the NHST procedure and the interpretation of p-values. We discuss the advantages of the BF - particularly the validation of a null hypothesis. Additionally, we provide some guidelines on how to do Bayesian statistics using the freeware statistical program JASP 0.8. (original abstract)

Słowa kluczowe

PL

Wnioskowanie statystyczne; Testowanie hipotez; Statystyka bayesowska; Czynnik Bayesa

EN

Inferential statistics; Hypothesis testing; Bayesian statistics; Bayes factor

• Czasopismo: Decyzje
• Rocznik: 2016
• Numer: nr 26
• Strony: 109--141

Twórcy

autor

Artur Domurat

• Akademia Leona Koźmińskiego w Warszawie

autor

Michał Białek

• Akademia Leona Koźmińskiego w Warszawie

Bibliografia

• Aczel, B., Palfi , B., Szaszi, B., Szollosi, A., & Dienes, Z. (2015). Commentary: Unlearning implicit social biases during sleep. Frontiers in Psychology, 6, 1428.
• Aranowska, E., & Rytel, J. (1997). Istotność statystyczna - co to naprawdę znaczy? Przegląd Psychologiczny, 40, 249-260.
• Barr, N., Pennycook, G., Stolz, J.A., & Fugelsang, J.A. (2015). The brain in your pocket: Evidence that Smartphones are used to supplant thinking. Computers in Human Behavior, 48, 473-480.
• Baumeister, R.E., Bratslavsky, E., Muraven, M., & Tice, D.M. (1998). Ego Depletion: Is the Active Self a Limited Resource? Journal of Personality and Social Psychology 74, 1252-1265.
• Bayes, M., & Price, M. (1763). An Essay towards Solving a Problem in the Doctrine of Chances. By the Late Rev. Mr. Bayes, FRS Communicated by Mr. Price, in a Letter to John Canton, AMFRS. Philosophical Transactions of the Royal Society of London, 53, 370-418.
• Białek, M., (2015) Przegląd badań współczesnej kognitywistyki nad efektem przekonań. Przegląd Filozofi czny. Nowa seria, 95, 91-107.
• Carlin, B.P., & L ouis, T.A. (1997). Bayes and empirical Bayes methods for data analysis. Statistics and Computing, 7, 153-154.
• Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25, 7-29.
• De Neys, W., & Franssens, S. (2009). Belief inhibition during thinking: Not always winning but at least taking part. Cognition, 113, 45-61.
• De Neys, W., & Glumicic, T. (2008). Confl ict monitoring in dual process theories of thinking. Cognition, 106, 1284-1299.
• Dienes, Z. (2011). Bayesian versus orthodox statistics: Which side are you on? Perspectives on Psychological Science, 6, 274-290.
• Dienes, Z. (2014). Using Bayes to get the most out of non-signifi cant results. Frontiers in Psychology, 5, 781.
• Dienes, Z. (2016). How Bayes factors change scientifi c practice. Journal of Mathematical Psychology, 72,78-89.
• Domański, H., & Pruska, K. (2000). Nieklasyczne metody statystyczne. Warszawa: PWE.
• Domurat, A., Kowalczuk, O., Idzikowska, K., Borzymowska, Z., & Nowak-Przygodzka, M. (2015). Bayesian probability estimates are not necessary to make choices satisfying Bayes' rule in elementary situations. Frontiers in Psychology, 6, 1194.
• Edwards, W., Lindman, H., & Savage, L.J. (1963). Bayesian statistical inference f or psychological research. Psychological Review, 70, 193-242.
• Fisher, R.A. (1955). Statistical methods and scientifi c induction. Journal of the Royal Statistical Society. Series B (Methodological), 17, 69-78.
• Fisher, R.A. (1925/1950). Statistical methods for research workers. Biological monographs and manuals. No. V. (11th ed.). Londyn: Oliver and Boyd.
• Frederick, S. (2005). Cognitive refl ection and decision making. The Journal of Economic Perspectives, 19, 25-42.
• Gaifman, H., & Snir, M. (1982). Probabilities over rich languages, testing and randomness. Journal of Symbolic Logic, 47, 495-548.
• Gigerenzer, G. (2004). Mindless statistics. The Journal of Socio-Economics, 33, 587-606.
• Gigerenzer G., Krauss S., Vitouch O. (2004). The null ritual. What you always wanted to know about signifi cance testing but were afraid to ask. W: Kaplan D. (red.), The Sage Handbook of Quantitative Methodology for the Social Sciences (s. 391-408). Thousand Oaks, CA: Sage
• Haller, H., & Krauss, S. (2002). Misinterpretations of signifi cance: A problem students share with their teachers. Methods of Psychological Research, 7, 1-20.
• Hays, W.L. (1973). Statistics for the Social Sciences. 2nd ed. Nowy Jork: Holt Rinehart & Winston.
• Head, M.L., Holman, L., Lanfear, R., Kahn, A.T., & Jennions, M.D. (2015). The extent and consequences of p-hacking in science. PLoS Biology, 13, e1002106.
• Hu, X., Antony, J.W., Creery, J.D., Vargas, I.M., Bodenhausen, G.V., & Paller, K.A. (2015). Unlearning implicit social biases during sleep. Science, 348, 1013-1015.
• Jarmakowska-Kostrzanowska (2016). W statystycznym matriksie: kontrowersje wokół testowania istotności hipotezy zerowej oraz p-wartości. Psychologia Społeczna.
• Jeffreys, H. (1939/1961). Theory of Probability. Oxford: Oxford University Press.
• Jóźwiak, J., & Podgórski, J. (2001) Statystyka od podstaw. Wyd. V zm. Warszawa: PWE.
• Kahneman, D., & Tversky, A. (1972). Subjective probability: A judgment of representativeness. Cognitive Psychology, 3, 430-454.
• Kass, R.E., & Raftery, A.E. (1995). Bayes Factors. Journal of the American Statistical Association, 90, 773-795.
• Koronacki, J., & Mielniczuk, J. (2001). Statystyka dla studentów kierunków technicznych i przyrodniczych. Warszawa: Wyd. Naukowo-Techniczne.
• Krämer, W., & Gigerenzer, G. (2005). How to Confuse with Statistics or: The Use and Misuse of Conditional Probabilities. Statistical Science, 20, 223-230.
• Lehmann, E.L. (2011). Fisher, Neyman, and the Creation of Classical St atistics. Nowy Jork: Springer Science & Business Media.
• Morey, R.D., Romeijn, J.W., & Rouder, J.N. (2016). The philosophy of Bayes factors and the quantifi cation of statistical evidence. Journal of Mathematical Psychology, 72, 6-18.
• Neyman, J. (1957). "Inductive Behavior" as a basic concept of philosophy of science. Review of the International Statistical Institute, 25, 7-22.
• Neyman, J., & Pearson, E.S. (1933). On the problem of the most effi cient tests of statistical hypotheses. Philosophical Transactions of the Royal Society of London. Series A, 231, 289-337
• Nickerson, R.S. (2000). Null hypothesis signifi cance testing: A review of an old and continuing controversy. Psychological Methods, 5, 241-301.
• Oakes, M. (1986). Statistical inference: A commentary for the social and behavioral sciences. Chichester: Wiley.
• Pawłowski Z. (1976). Statystyka matematyczna. Warszawa: PWN.
• Ramsey, F.P. (1931). Truth and probability. W: Trench P.K. (red.), The foundations of mathematics and other logical essays. Londyn: Truber.
• Stanovich, K. E. (2009). Rational and irrational thought: The thinking that IQ tests miss. Scientifi c American Mind, 20, 34-39.
• Toplak, M.V., West, R.F., & Stanovich, K.E. (2011). The cognitive refl ection test as a predictor of performance on heuristics-and-biases tasks. Memory & Cognition, 39, 1275-1289.
• Tversky, A., & Kahneman, D. (1971). Belief in the law of small numbers. Psychological Bulletin, 76, 105-110.
• Tyszka, T. (1999). Psychologiczne pułapki oceniania i podejmowania decyzji. Gdańsk: GWP.
• Tyszka, T. (2001). Kłopoty z myśleniem probabilistycznym. Roczniki Psychologiczne, 4, 179-191.
• Tyszka, T. (2010). Decyzje. Perspektywa psychologiczna i ekonomiczna. Warszawa: Wydawnictwo Naukowe SCHOLAR.
• Tyszka, T., Cieślik, J., Domurat, A., & Macko, A. (2011). Motivation, self-effi cacy, and risk attitudes among entrepreneurs during transition to a market economy. The Journal of Socio-Economics, 40, 124-131.
• Tyszka, T., Markiewicz, Ł., Kubińska, E., Gawryluk, K., & Zielonka, P. (2016). A belief in trend reversal requires access to cognitive resources. Journal of Cognitive Psychology.
• Vallverdú, J. (2015). Bayesians Versus Frequentists: A Philosophical Debate on Statistical Reasoning. Nowy Jork: Springer.
• Villejoubert, G., & Mandel, D.R. (2002). The inverse fallacy: An account of deviations from Bayes theorem and the additivity principle. Memory & Cognition, 30, 171-178.
• Wagenmakers, E.-J., Morey, R.D., & Lee, M.D. (2016). Bayesian benefi ts for the pragmatic researcher. Current Directions in Psychological Science, 25, 169-176.
• Wagenmakers, E.J. (2007). A practical solution to the pervasive problems of p values. Psychonomic Bulletin & Review, 14, 779-804.
• Westover, M.B., Westover, K.D., & Bianchi, M.T. (2011). Signifi cance testing as perverse probabilistic reasoning. BMC Medicine, 9, 9-20.
• Wetzels, R., Matzke, D., Lee, M.D., Rouder, J.N., Iverson, G.J., & Wagenmakers, E.J. (2011). Statistical evidence in experimental psychology an empirical comparison using 855 t tests. Perspectives on Psychological Science, 6, 291-298.

Identyfikatory

DOI

10.7206/DEC.1733-0092.79