On Model Selection in Some Regularized Linear Regression Methods

• Autorzy: Mariusz Kubus

Warianty tytułu

O wyborze postaci modelu w wybranych metodach regularyzowanej regresji liniowej

• Języki publikacji: EN

Abstrakty

EN

A dynamic development of various regularization formulas in linear models has been observed recently. Penalizing the values of coefficients affects decreasing of the variance (shrinking coefficients to zero) and feature selection (setting zero for some coefficients). Feature selection via regularized linear models is preferred over popular wrapper methods in high dimension due to less computational burden as well as due to the fact that it is less prone to overfitting. However, estimated coefficients (and as a result quality of the model) depend on tuning parameters. Using model selection criteria available in R implementation does not guarantee that optimal model will be chosen. Having done simulation study we propose to use EDC criterion as an alternative. (original abstract)

W ostatnich latach można zaobserwować dynamiczny rozwój różnych postaci regularyzacji w modelach liniowych. Wprowadzenie kary za duże wartości współczynników skutkuje zmniejszeniem wariancji (wartości współczynników są "przyciągane" do zera) oraz eliminacją niektórych zmiennych (niektóre współczynniki się zerują). Selekcja zmiennych za pomocą regularyzowanych modeli liniowych jest w problemach wielowymiarowych preferowana wobec popularnego podejścia polegającego na przeszukiwaniu przestrzeni cech i ocenie podzbiorów zmiennych za pomocą kryterium jakości modelu (wrappers). Przyczyną są mniejsze koszty obliczeń i mniejsza podatność na nadmierne dopasowanie. Jednakże wartości estymowanych współczynników (a więc także jakość modelu) zależą od parametrów regularyzacji. Zaimplementowane w tym celu w programie R kryteria jakości modelu nie gwarantują wyboru modelu optymalnego. Na podstawie przeprowadzonych symulacji w artykule proponuje się zastosowanie kryterium EDC. (abstrakt oryginalny)

Słowa kluczowe

EN

Linear models; Multi-dimensional analysis; Regression models

PL

Modele liniowe; Analiza wielowymiarowa; Modele regresji

• Czasopismo: Acta Universitatis Lodziensis. Folia Oeconomica
• Rocznik: 2013
• Tom: 285 Multivariate Statistical Analysis Theory and Practice
• Strony: 115--123

Twórcy

autor

Mariusz Kubus

• Opole University of Technology, Poland

Bibliografia

• Bai Z.D., Krishnaiah P.R., Zhao L.C. (1986), On the detection of the number of signals in the presence of white noise, J. Multivariate Anal. 20, p. 1-25.
• Breiman L., Spector P. (1992), Submodel selection and evaluation in regression: the X-random case, International Statistical Review 60: p. 291-319.
• Burnham K. P., Anderson D.R. (2002), Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, 2nded. Springer-Verlag.
• Efron B., Hastie T., Johnstone I., Tibshirani R. (2004), Least Angle Regression, Annals of Statistics 32 (2): p. 407-499.
• Guyon I., Gunn S., Nikravesh M., Zadeh L. (2006), Feature Extraction: Foundations and Applications. Springer, New York.
• Hastie T., Tibshirani R., Friedman J. (2009), The Elements of Statistical Learning: Data Mining. Inferance, and Prediction. 2nd edition, Springer, New York.
• Hurvich C. M., Tsai C.-L. (1989), Regression and time series model selection in small samples, Biometrika, 76: p. 297-307.
• Kundu D., Murali G. (1996), Model selection in linear regression, Computational Statistics & Data Analysis 22, p. 461-469.
• Maddala G.S. (2008), Ekonometria, PWN, Warszawa.
• Nemenyi P. B. (1963), Distribution-free multiple comparisons, PhD thesis, Princeton University.
• Tibshirani R. (1996), Regression shrinkage and selection via the lasso, J.Royal. Statist. Soc. B., 58: p. 267-288.
• Wahba G. (1980), Spline bases, regularization, and generalized crossvalidation for solving approximation problems with large quantities of noisy data, Proc. of the Inter. Conf. on Approximation theory in Honour of George Lorenz, Academic Press, Austin, Texas, p. 905-912.
• Zou H., Hastie T. (2005), Regularization and variable selection via the elastic net, Journal of the Royal Statistical Society Series B, 67(2): p. 301-320.