PL EN


Preferencje help
Widoczny [Schowaj] Abstrakt
Liczba wyników
2013 | 285 Multivariate Statistical Analysis Theory and Practice | 115--123
Tytuł artykułu

On Model Selection in Some Regularized Linear Regression Methods

Autorzy
Warianty tytułu
O wyborze postaci modelu w wybranych metodach regularyzowanej regresji liniowej
Języki publikacji
EN
Abstrakty
W ostatnich latach można zaobserwować dynamiczny rozwój różnych postaci regularyzacji w modelach liniowych. Wprowadzenie kary za duże wartości współczynników skutkuje zmniejszeniem wariancji (wartości współczynników są "przyciągane" do zera) oraz eliminacją niektórych zmiennych (niektóre współczynniki się zerują). Selekcja zmiennych za pomocą regularyzowanych modeli liniowych jest w problemach wielowymiarowych preferowana wobec popularnego podejścia polegającego na przeszukiwaniu przestrzeni cech i ocenie podzbiorów zmiennych za pomocą kryterium jakości modelu (wrappers). Przyczyną są mniejsze koszty obliczeń i mniejsza podatność na nadmierne dopasowanie. Jednakże wartości estymowanych współczynników (a więc także jakość modelu) zależą od parametrów regularyzacji. Zaimplementowane w tym celu w programie R kryteria jakości modelu nie gwarantują wyboru modelu optymalnego. Na podstawie przeprowadzonych symulacji w artykule proponuje się zastosowanie kryterium EDC. (abstrakt oryginalny)
EN
A dynamic development of various regularization formulas in linear models has been observed recently. Penalizing the values of coefficients affects decreasing of the variance (shrinking coefficients to zero) and feature selection (setting zero for some coefficients). Feature selection via regularized linear models is preferred over popular wrapper methods in high dimension due to less computational burden as well as due to the fact that it is less prone to overfitting. However, estimated coefficients (and as a result quality of the model) depend on tuning parameters. Using model selection criteria available in R implementation does not guarantee that optimal model will be chosen. Having done simulation study we propose to use EDC criterion as an alternative. (original abstract)
Twórcy
  • Opole University of Technology, Poland
Bibliografia
  • Bai Z.D., Krishnaiah P.R., Zhao L.C. (1986), On the detection of the number of signals in the presence of white noise, J. Multivariate Anal. 20, p. 1-25.
  • Breiman L., Spector P. (1992), Submodel selection and evaluation in regression: the X-random case, International Statistical Review 60: p. 291-319.
  • Burnham K. P., Anderson D.R. (2002), Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, 2nded. Springer-Verlag.
  • Efron B., Hastie T., Johnstone I., Tibshirani R. (2004), Least Angle Regression, Annals of Statistics 32 (2): p. 407-499.
  • Guyon I., Gunn S., Nikravesh M., Zadeh L. (2006), Feature Extraction: Foundations and Applications. Springer, New York.
  • Hastie T., Tibshirani R., Friedman J. (2009), The Elements of Statistical Learning: Data Mining. Inferance, and Prediction. 2nd edition, Springer, New York.
  • Hurvich C. M., Tsai C.-L. (1989), Regression and time series model selection in small samples, Biometrika, 76: p. 297-307.
  • Kundu D., Murali G. (1996), Model selection in linear regression, Computational Statistics & Data Analysis 22, p. 461-469.
  • Maddala G.S. (2008), Ekonometria, PWN, Warszawa.
  • Nemenyi P. B. (1963), Distribution-free multiple comparisons, PhD thesis, Princeton University.
  • Tibshirani R. (1996), Regression shrinkage and selection via the lasso, J.Royal. Statist. Soc. B., 58: p. 267-288.
  • Wahba G. (1980), Spline bases, regularization, and generalized crossvalidation for solving approximation problems with large quantities of noisy data, Proc. of the Inter. Conf. on Approximation theory in Honour of George Lorenz, Academic Press, Austin, Texas, p. 905-912.
  • Zou H., Hastie T. (2005), Regularization and variable selection via the elastic net, Journal of the Royal Statistical Society Series B, 67(2): p. 301-320.
Typ dokumentu
Bibliografia
Identyfikatory
Identyfikator YADDA
bwmeta1.element.ekon-element-000171257357

Zgłoszenie zostało wysłane

Zgłoszenie zostało wysłane

Musisz być zalogowany aby pisać komentarze.
JavaScript jest wyłączony w Twojej przeglądarce internetowej. Włącz go, a następnie odśwież stronę, aby móc w pełni z niej korzystać.