Istotność statystyczna w czasach big data

• Autorzy: Mirosław Szreder

Warianty tytułu

Statistical Significance in the Era of Big Data

• Języki publikacji: PL

Abstrakty

Rozwój nowych technologii wpływa zarówno na realizację badań statystycznych, jak i na postrzeganie ich wyników w świetle innych źródeł informacji. W tym kontekście powraca w środowisku naukowym temat roli testowania hipotez statystycznych oraz interpretowania i przedstawiania jego wyników, w tym stosowania kategorii istotności statystycznej oraz wskaźnika p-value. Inspiracją do powstania tego opracowania stała się fala dyskusji wokół tego zagadnienia toczących się na forum czasopism "Nature" i "The American Statistician" na początku 2019 r. Celem artykułu jest ukazanie szans i zagrożeń, jakie big data stwarza dla weryfikacji hipotez i wnioskowania statystycznego, zarówno w ujęciu klasycznym, jak i w podejściu bayesowskim. Autor uzasadnia konieczność zaniechania zbyt daleko posuniętych uproszczeń w realizacji procesu wnioskowania statystycznego oraz prezentowaniu wyników weryfikacji hipotez. Chodzi zarówno o postulat uwzględnienia jakości danych próbkowych, zwłaszcza typu big data, jak i o podawanie pełnej informacji o modelu statystycznym, na podstawie którego przeprowadza się wnioskowanie. (abstrakt oryginalny)

EN

The development of new technologies has affected both the procedures of traditional statistical surveys and the perception of their results in the light of other available sources of information. In this connection, the role of the verification of statistical hypotheses and of the interpretation and presentation of its results, including the use of statistical significance and p-value, has recently returned as a frequent topic for discussion among the scientific community. The author was inspired to write this paper by a wave of discussion regarding this matter held at the beginning of 2019 in the Nature and The American Statistician journals. The aim of the paper is to present the opportunities provided and challenges posed by the use of big data to the hypothesis verification process and to statistical inference, both in the traditional and Bayesian approaches. The author explains the necessity of discontinuing adopting excessive simplifications while performing statistical inference and presenting the results of the verification of hypotheses. This involves both the postulate to pay greater attention to the quality of sampling data, especially in the case of data originating from big data sets, as well as the postulate to provide full information about the statistical model on the basis of which the inference is being performed. (original abstract)

Słowa kluczowe

PL

Wnioskowanie statystyczne; Testowanie hipotez; Big Data; Wnioskowanie bayesowskie

EN

Inferential statistics; Hypothesis testing; Big Data; Bayesian inference

• Czasopismo: Wiadomości Statystyczne
• Rocznik: 2019
• Numer: nr 11
• Strony: 42--57

Twórcy

autor

Mirosław Szreder

• Uniwersytet Gdański

Bibliografia

• Amrhein, V., Greenland, S., McShane, B. (2019). Retire statistical significance. Nature, (567), 305307.
• Amrhein, V., Trafimow, D., Greenland, S. (2019). Inferential statistics as descriptive statistics: There is no replication crisis if we don't expect replication. The American Statistician, (73: sup 1), 262270. DOI: 10.1080/00031305.2018.1543137.
• Benjamin, D. J., Berger, J. O., Johannesson, M., Nosek, B. A., Wagenmakers, E. J., Berk, R., Bollen, K. A., Brembs, B., Brown, L., Camerer, C., Cesarini, D. (2018). Redefine Statistical Significance. Nature Human Behaviour, (1), 6-10.
• Beręsewicz, M., Szymkowiak, M. (2015). Big data w statystyce publicznej - nadzieje, osiągnięcia, wyzwania i zagrożenia. Ekonometria, (2), 9 -22.
• de Finetti, B. (1964). Foresight: Its Logical Laws, its Subjective Sources. W: H. E. Kyburg, Jr., H. E. Smokler (red.), Studies in Subjective Probability (s. 93-158). New York: Wiley.
• Fisher, R. A. (1925). Statistical Methods for Research Workers. Edinburgh: Oliver & Boyd.
• Gelman, A., Stern, H. (2006). The difference between "significant" and "not significant" is not itself statistically significant. The American Statistician, (4), 328-331.
• Gołata, E. (2018). Koniec ery tradycyjnych spisów ludności. Poznań: Wydawnictwo Uniwersytetu Ekonomicznego w Poznaniu.
• Goodman, S. N. (1999). Toward evidence-based medical statistics. 1: The P value fallacy. Annals of Internal Medicine, (12), 1005-1013.
• Goodman, S. N. (2019). Why is Getting Rid of P-Values So Hard? Musings on Science and Statistics. The American Statistician, (73: sup 1), 352-357.
• Hurlbert, S. H., Levine, R. A., Utts, J. (2019). Coup de Grace for a Tough Old Bull: "Statistically Significant" Expires. The American Statistician, (73: sup 1), 26-30.
• Kmenta, J. (1990). Elements of econometrics. New York: Macmillan Publishing Company.
• Mayer-Schönberger, V., Cukier, K. (2014). Big data. Rewolucja, która zmieni nasze myślenie, pracę i życie. Warszawa: MT Biznes.
• Ramsey, F. P. (1964). Truth and Probability. W: H. E. Kyburg, Jr., H. E. Smokler (red.), Studies in Subjective Probability (s. 63-92). New York: Wiley.
• Ruberg, S. J., Harrell, F. E. Jr., Gamalo-Siebers, M., LaVange, L., Lee, J. J., Price, K., Peck, C. (2019). Inference and Decision Making for 21st-Century Drug Development and Approval. The American Statistician, (73), 319-327.
• Savage, L. J. (1954). The Foundations of Statistics. New York: Wiley.
• Stefanowicz, B., Cierpiał-Wolan, M. (2015). Błędy przetwarzania danych. Wiadomości Statystyczne, (9), 23- 29.
• Szreder, M. (2004). Od klasycznej do częstościowej i personalistycznej interpretacji prawdopodobieństwa. Wiadomości Statystyczne, (8), 1-10.
• Szreder, M. (2010). O weryfikacji i falsyfikacji hipotez. Przegląd Statystyczny, (2-3), 82- 88.
• Szreder, M. (2013). Twierdzenie Bayesa po 250 latach. Wiadomości Statystyczne, (12), 23-26.
• Szreder, M. (2015). Zmiany w strukturze całkowitego błędu badania próbkowego. Wiadomości Statystyczne, (1), 4-12.
• Wasserstein, R. L., Lazar, N. A. (2016). The ASA's Statement on p-Values: Context, Process and Purpose. The American Statistician, (70:2), 129- 133.
• Wasserstein, R. L., Schirm, A. L., Lazar, N. A. (2019). Moving to a World Beyond "p < 0.05". The American Statistician, (73: sup 1), 1-19.