Propozycja modyfikacji metody złagodzonego LASSO

• Autorzy: Mariusz Kubus

Warianty tytułu

The Proposition of Modification of the Relaxed LASSO Method

• Języki publikacji: PL

Abstrakty

Regularyzowana regresja liniowa (np. LASSO [Tibshirani 1996]) zyskała duże zainteresowanie jako narzędzie selekcji zmiennych. Meinshausen [2007] zaproponował mo-dyfikację metody LASSO, wprowadzając parametr łagodzący, który kontroluje wariancje parametrów strukturalnych niezależnie od etapu eliminacji zmiennych. Metoda ta jest reko-mendowana dla dużych wymiarów i dla dużego stosunku wariancji zmiennej objaśnianej do wariancji składnika losowego. W artykule zaproponowano modyfikację metody złagodzo-nego LASSO. Przeprowadzone symulacje pokazały, że nowe podejście daje bardziej stabil-ne wyniki i skuteczniej eliminuje zmienne nieistotne (tj. takie, które nie mają wpływu na zmienną objaśnianą).(abstrakt oryginalny)

EN

Regularized linear regression (i.e. LASSO [Tibshirani 1996]) has reached a lot of interest as a feature selection tool. Meinshausen [2007] proposed a modified version of the LASSO by introducing a relaxation parameter which controls the variances of the pa-rameters, regardless of the feature elimination stage. This method is recommended in high dimensions, and for the high signal-to-noise ratio. The modification of the relaxed LASSO method is proposed in this paper. The simulations show that the new approach provides more stable results, and more effectively discards noisy variables.(original abstract)

Słowa kluczowe

PL

Regresja liniowa

EN

Linear regression

• Czasopismo: Prace Naukowe Uniwersytetu Ekonomicznego we Wrocławiu. Taksonomia
• Rocznik: 2014
• Tom: 22
• Numer: nr 327 Klasyfikacja i analiza danych - teoria i zastosowania
• Strony: 77--84

Twórcy

autor

Mariusz Kubus

• Politechnika Opolska

Bibliografia

• Bai Z.D., Krishnaiah P.R., Zhao L.C. (1986), On the detection of the number of signals in the pres-ence of white noise, "Journal of Multivariate Analysis" 20, s.1-25.
• Efron B., Hastie T., Johnstone I., Tibshirani R. (2004), Least Angle Regression, ,,Annals of Statistics" 32 (2), s. 407-499.
• Guyon I., Gunn S., Nikravesh M., Zadeh L. (2006), Feature Extraction: Foundations and Applica-tions, Springer, New York.
• Hastie T., Tibshirani R., Friedman J. (2009), The Elements of Statistical Learning: Data Mining, Inferance, and Prediction, 2nd edition, Springer, New York.
• Kubus M. (2013a), Feature selection in high dimensional regression problem, [w:] C. Domański (red.), Methods and Applications of Multivariate Statistical Analysis, Acta Universitatis Lodziensis, "Folia Oeconomica" 286, s. 139-146.
• Kubus M. (2013b), On model selection in some regularized linear regression methods, [w:] Cz. Domański, A. Kupis-Fijałkowska (red.), Multivariate Statistical Analysis - Theory and Prac-tice, Acta Universitatis Lodziensis, "Folia Oeconomica" 285, s. 115-123.
• Meinshausen N. (2007), Lasso with relaxation, "Computational Statistics and Data Analysis" 52(1), s. 374-293.
• Tibshirani R. (1996), Regression shrinkage and selection via the lasso, ,,Journal of the Royal Statisti-cal Society" Series B 58, s. 267-288.
• Yuan M., Lin Y. (2007), Model selection and estimation in regression with grouped variables, ,,Journal of the Royal Statistical Society" Series B. 68(1), s. 49-67.
• Zou H., Hastie T. (2005), Regularization and variable selection via the elastic net, ,,Journal of the Royal Statistical Society" Series B. 67(2), s. 301-320.