Analiza metody LARS w problemie selekcji zmiennych w regresji

• Autorzy: Mariusz Kubus

Warianty tytułu

The Analysis Of LARS Method In Feature Selection Problem In Regression

• Języki publikacji: PL

Abstrakty

Selekcja zmiennych jest typowym zadaniem data mining, gdzie prowadzący analizę poszukuje interesujących i nieoczekiwanych relacji w danych bez wiedzy początkowej na temat badanego zjawiska. W liniowym modelu regresji, zamiast popularnej procedury krokowej czy też eliminacji zmiennych testem istotności współczynników, do selekcji zmiennych zastosować można metody iteracyjnej estymacji parametrów modelu (np. LARS Efrona i in. [2004]). Celem artykułu jest zbadanie zdolności metody LARS do identyfikowania zmiennych nieistotnych, szczególnie gdy zachodzą między nimi zależności liniowe. Dokonano w nim też porównania z wybranymi metodami selekcji zmiennych.(abstrakt oryginalny)

EN

Feature selection is a typical task of data mining when a researcher looks for an interesting and unsuspected relations in the large data-sets without prior knowledge about the examined phenomenon. In linear regression, the iterative estimation methods can be applied for this purpose (i.e. LARS proposed by Efron et al. [2004]) instead of popular stepwise regression or classical testing of the significance of coefficients. The goal of this paper is to test the abilities of LARS in the identification of irrelevant variables, especially when some of them are collinear. The comparison between some feature selection methods is also given.(original abstract)

Słowa kluczowe

PL

Algorytmy; Efektywność algorytmów

EN

Algorithms; Algorithmic effectiveness

• Czasopismo: Prace Naukowe Uniwersytetu Ekonomicznego we Wrocławiu. Taksonomia
• Rocznik: 2011
• Tom: 18
• Numer: nr 176 Klasyfikacja i analiza danych - teoria i zastosowania
• Strony: 408--416

Twórcy

autor

Mariusz Kubus

• Politechnika Opolska

Bibliografia

• Blum A.L., Langley P., Selection of relevant features and examples in machine learning, ,,Artificial Intelligence" 1997, vol. 97 no. 1-2, s. 245-271.
• Efron B., Hastie T., Johnstone I., Tibshirani R., Least angle regression, ,,Annals of Statistics" 2004, 32 (2), s. 407-499.
• Gatnar E., Nieparametryczna metoda dyskryminacji i regresji, Wyd. Naukowe PWN, Warszawa 2001.
• Guyon I., Gunn S., Nikravesh M., Zadeh L., Feature Extraction: Foundations and Applications, Springer, New York 2006.
• Guyon I., Elisseeff A., An introduction to variable and feature selection, ,,Journal of Machine Learning Research" 2003, 3, s.1157-1182.
• Hastie T., Tibshirani R., Friedman J., The Elements of Statistical Learning: Data Mining, Inferance, and Prediction, 2nd ed., Springer, New York 2009.
• Liu H., Yu L., Toward integrating feature selection algorithms for classification and clustering, ,,IEEE Transactions on Knowledge and Data Engineering" 2005, 17, s. 491-502.
• Miller A., Subset Selection in Regression, 2nd ed., Chapman and Hall/CRC, Boca Raton, 2002.
• Osborne M., Presnell B., Turlach B., A new approach to variable selection in least squares problems, ,,IMA Journal of Numerical Analysis" 2000, 20, s. 389-404.
• Tibshirani R., Regression shrinkage and selection via the lasso, ,,J. Royal. Statist. Soc. B." 1996, 58, s. 267-288.