O wpływie wybranych metod selekcji nieliniowych zmiennych objaśniających na jakość modeli regresyjnch

• Autorzy: Jacek Stelmach

Warianty tytułu

On the Impact of Some Methods of Selection Nonlinear Variables on Quality of Regression Models

• Języki publikacji: PL

Abstrakty

Najpopularniejsza parametryczna metoda najmniejszych kwadratów oraz jej rozszerzenia (regresja grzbietowa, metoda LASSO, metoda LARS, regresja BRIDGE) pozwalają na budowę addytywnych modeli liniowych. W rzeczywistości często mamy do czynienia z nieliniowymi zależnościami, a użyteczna informacja jest powtarzana w wielu zmiennych objaśniających. Bezkrytyczne wykorzystanie wszystkich takich dostępnych zmiennych może prowadzić do naruszenia założeń Gaussa-Markowa i najczęściej obniża jakość modeli regresyjnych. Znane metody selekcji pozwalają na wybór zmiennych, które wnoszą najwięcej użytecznej informacji, ograniczając jednocześnie zbędny szum. Opisany eksperyment weryfikuje metodą symulacji komputerowej jakość modeli regresyjnych otrzymanych za pomocą wybranych metod parametrycznych, dla których przeprowadzono selekcję predyktorów, wykorzystując: drzewa regresyjne, regresję grzbietową oraz algorytm genetyczny(abstrakt oryginalny)

EN

The most common parametric Ordinary Least Squares Method and its extension (ridge regression, LASSO and LARS methods, BRIDGE regression) allow to build additive linear models. In reality, we often have to deal with non-linear dependencies, and useful information is repeated in a number of explanatory variables. Use of all available variables can lead to violations of Gauss-Markow assumptions and frequently reduces the quality of regression models. Known methods of selection allow to select the variables that contribute the most useful information, reducing unnecessary noise. Described experiment verifies, by computer simulation, quality of regression models obtained using selected parametric methods, for which the selection was carried out using: regression trees, ridge regression and genetic algorithm.(original abstract)

Słowa kluczowe

PL

Modele regresji; Algorytmy genetyczne; Metody statystyczne

EN

Regression models; Genetic algorithms; Statistical methods

• Czasopismo: Studia Ekonomiczne / Uniwersytet Ekonomiczny w Katowicach
• Rocznik: 2015
• Numer: nr 219
• Strony: 79--96

Twórcy

autor

Jacek Stelmach

• Uniwersytet Ekonomiczny w Katowicach

Bibliografia

• Barczak A., Biolik J. (2003), Podstawy ekonometrii, Wydawnictwo AE, Katowice.
• Cule E., De Iorio M. (2012), A semi-automatic method to guide the choice of ridge parameter in ridge regression, arXiv:1205.0686v1 [stat.AP].
• Dittmann P. (2008), Prognozowanie w przedsiębiorstwie, Oficyna a Wolters Kluwer business, Kraków.
• Efron B., Hastie T., Johnstone I., Tibshirani R. (2004), Least Angle Regression, "The Annals of Statistics, Vol. 32.
• Faraway J.J. (2002), Practical Regression and Anova using R, http://cran.rproject. org/doc/contrib/Faraway-PRA.pdf (dostęp: 12.10.2012).
• Fox J., Weisberg S. (2011), An R Companion to Applied Regression, Sage, Thousand Oaks CA.
• Friedman J.H. (1991), Multivariate Adaptive Regression Splines, "Annals of Statistics", Vol. 19(1).
• Fu W.J. (1998), Penalized Regressions: The Bridge Versus the Lasso, "Journal of Computational and Graphical Statistics", Vol. 7.
• Geladi P., Kowalski B. (1986), Partial least square regression: A tutorial, "Analytica Chemica Acta", Vol. 35.
• Hastie T., Tibshirani R., Friedman J. (2008), The Elements of Statistical Learning. Data Mining, Inference, and Prediction, Springer Science+Business Media B.V., New York
• Hawkins D.M. (1994), The feasible solution algorithm for least trimmed squares regression, "Computational Statistics & Data Analysis", Vol. 17.
• Helland I.S. (1999), Some theoretical aspects of partial least squares regression, "Chemometrics and Intelligent Laboratory Systems", Vol. 58.
• Hoerl A.E., Kennard R.W. (1970), Ridge Regression: Biased Estimation for Nonorthogonal Problems, "Technometrics", Vol. 12.
• Hoskuldson A. (1988), Pls regression methods, "Journal of Chemometrics", Vol. 2.
• Huber P.J. (1964), Robust estimation of a location parameter, "The Annals of Mathematical Statistics", Vol. 35(1).
• Huber P.J., Ronchetti E.M. (2009), Robust Statistics, A John Wiley & Sons, Inc. Publication, New Jersey.
• Jackson E.J. (1991), A User's Guide to Principal Components, A John Wiley & Sons, Inc. Publication, New Jersey.
• Maddala G.S. (2008), Ekonometria, Wydawnictwo Naukowe PWN, Warszawa.
• Mix D.F. (1995), Random Signal Processing, Prentice Hall Inc.
• Rencher A.C. (2002), Methods of Multivariate Analysis, A John Wiley & Sons, Inc. Publication, New Jersey.
• Tibshirani R. (1996), Regression Shrinkage and Selection via the Lasso, "Journal of the Royal Statistical Society", Vol. 58.
• Wasserman L. (2006), All of nonparametric statistics, Springer Science+Business Media B.V., New York.
• Wilcox R.R. (2010), Fundamentals of Modern Statistical Methods, Springer Science+ Business Media B.V., New York