Feature Selection in High Dimensional Regression Problem

• Autorzy: Mariusz Kubus

Warianty tytułu

Selekcja zmiennych dla regresji w przypadku dużego wymiaru przestrzeni cech

• Języki publikacji: EN

Abstrakty

EN

There are three main approaches to feature selection problem considered in statistical and machine learning literature: filters, wrappers and embedded methods. Filters evaluate and exclude some variables before learning a model. Wrappers use learning algorithm for evaluation of the feature subsets and involve search techniques in the feature subset space. Embedded methods use feature selection as an integral part of learning algorithm. When features outnumber examples, filters or embedded methods are recommended. The goal of this paper is to compare popular filters and embedded methods in high dimensional problem. In the simulation study, redundant variables will be included in the artificially generated data. (original abstract)

Metody selekcji zmiennych dyskutowane obecnie w literaturze dzielone są na trzy główne podejścia: dobór zmiennych dokonywany przed etapem budowy modelu, przeszukiwanie przestrzeni cech i selekcja zmiennych na podstawie oceny jakości modelu oraz metody z wbudowanym mechanizmem selekcji zmiennych. W przypadku, gdy liczba zmiennych jest większa od liczby obserwacji rekomendowane są głównie podejścia pierwsze lub trzecie. Celem artykułu jest porównanie wybranych metod reprezentujących te podejścia w przypadku dużego wymiaru przestrzeni cech. W przeprowadzonych symulacjach, do sztucznie generowanych danych włączano zmienne skorelowane. (abstrakt oryginalny)

Słowa kluczowe

EN

Variables selection; Econometric models; Nonparametric statistics; Machine learning

PL

Dobór zmiennych; Modele ekonometryczne; Statystyka nieparametryczna; Uczenie maszynowe

• Czasopismo: Acta Universitatis Lodziensis. Folia Oeconomica
• Rocznik: 2013
• Tom: 286 Methods and Applications of Multivariate Statistical Analysis
• Strony: 139--146

Twórcy

autor

Mariusz Kubus

• Opole University of Technology, Poland

Bibliografia

• Blum A.L., Langley P. (1997), Selection of relevant features and examples in machine learning. "Artificial Intelligence", vol. 97 no. 1-2, p. 245-271.
• Duch W. (2006), Filter methods, [in:] Guyon I., Gunn S., Nikravesh M., Zadeh L. (Eds.), Feature Extraction: Foundations and Applications. Springer, New York.
• Efron B., Hastie T., Johnstone I., Tibshirani R. (2004), Least Angle Regression. "Annals of Statistics" 32 (2): p. 407-499.
• Gatnar E. (2001), Nieparametryczna metoda dyskryminacji i regresji. PWN, Warszawa.
• Grabiński T., Wydymus S., Zeliaś A. (1982), Metody doboru zmiennych w modelach ekonometrycznych. PWN, Warszawa.
• Guyon I. (2008), Practical Feature Selection: from Correlation to Causality, [in:] F. Fogelman-Soulie et al. (Eds.), Mining Massive Data Sets for Security, IOS Press.
• Guyon I., Elisseeff A. (2003), An Introduction to Variable and Feature Selection, "Journal of Machine Learning Research" 3, p. 1157-1182.
• Hastie T., Tibshirani R., Friedman J. (2009), The Elements of Statistical Learning: Data Mining, Inferance, and Prediction. 2nd edition, Springer, New York.
• Meinshausen N. (2007), Lasso with relaxation, Computational Statistics and Data Analysis 52(1): p. 374-293.
• Ng A.Y. (1998), On feature selection: learning with exponentially many irrelevant features as training examples, In Proceedings of the 15th International Conference on Machine Learning, p. 404-412, San Francisco, CA. Morgan Kaufmann.
• Nowak E. (1984), Problemy doboru zmiennych do modelu ekonometrycznego. PWN, Warszawa.
• Nowak E. (1997), Zarys metod ekonometrii: zbiór zadań. PWN, Wyd.2, Warszawa.
• Osborne M., Presnell B., Turlach B. (2000), A new approach to variable selection in least squares problems. "JMA Journal of Numerical Analysis" 20: p. 389-404.
• Paul D., Bair E., Hastie T., Tibshirani R. (2008), "Pre-conditioning" for feature selection and regression in high-dimensional problems, Annals of Statistics 36(4): p. 1595-1618.
• Reunanen J. (2006), Search Strategies, In: I. Guyon, S. Gunn, M. Nikravesh, L. Zadeh (Eds.), Feature Extraction: Foundations and Applications, Springer, New York.
• Tibshirani R. (1996), Regression shrinkage and selection via the lasso. "J. Royal Statist. Soc. B." 58: p. 267-288.
• Zou H., Hastie T. (2005), Regularization and variable selection via the elastic net, Journal of the Royal Statistical Society Series B. 67(2): p. 301-320.