Some Remarks on Feature Ranking Based Wrappers

• Autorzy: Mariusz Kubus

Warianty tytułu

Wybrane uwagi na temat podejścia wrappers bazującego na rankingu zmiennych

• Języki publikacji: EN

Abstrakty

EN

One of the approaches to feature selection in discrimination or regression is learning models using various feature subsets and evaluating these subsets, basing on model quality criterion (so called wrappers). Heuristic or stochastic search techniques are applied for the choice of feature subsets. The most popular example is stepwise regression which applies hill-climbing. Alternative approach is that features are ranked according to some criterion and then nested models are learned and evaluated. The sophisticated tools of obtaining a feature rankings are tree based ensembles. In this paper we propose the competitive ranking which results in slightly lower classification error. In the empirical study metric and binary noisy variables will be considered. The comparison with a popular stepwise regression also will be given. (original abstract)

Jednym z podejść do problemu selekcji zmiennych w dyskryminacji lub regresji jest wykorzystanie kryterium oceny jakości modeli budowanych na różnych podzbiorach zmiennych (tzw. wrappers). Do wyboru podzbiorów zmiennych stosowane są techniki przeszukiwania (heurystyczne lub stochastyczne). Najpopularniejszym przykładem jest regresja krokowa wykorzystująca strategię wspinaczki. Alternatywne podejście polega na uporządkowaniu zmiennych wg wybranego kryterium, a następnie budowaniu modeli zagnieżdżonych i ich ocenie. Zaawansowanymi narzędziami budowy rankingów są agregowane drzewa klasyfikacyjne. W artykule został zaproponowany konkurujący ranking, który prowadzi do nieco mniejszych błędów klasyfikacji. W studium empirycznym rozważane są zmienne nieistotne metryczne oraz binarne. Przedstawiono też porównanie z popularną regresją krokową. (abstrakt oryginalny)

Słowa kluczowe

EN

Regression analysis; Linear regression; Scientific experiment

PL

Analiza regresji; Regresja liniowa; Eksperyment badawczy

• Czasopismo: Acta Universitatis Lodziensis. Folia Oeconomica
• Rocznik: 2013
• Tom: 286 Methods and Applications of Multivariate Statistical Analysis
• Strony: 147--154

Twórcy

autor

Mariusz Kubus

• Opole University of Technology, Poland

Bibliografia

• Blum A.L., Langley P. (1997), Selection of relevant features and examples in machine learning, "Artificial Intelligence", vol. 97 no. 1-2, p. 245-271.
• Breiman L. (2001), Random forests, "Machine Learning", 45, p. 5-32.
• Frank A., Asuncion A. (2010), UCI Machine Learning Repository, Irvine, CA: University of California, School of Information and Computer Science [http://archive.ics.uci.edu/ml].
• Freund Y., Schapire R.E. (1996), Experiments with a new boosting algorithm, Proceedings of the 13,h International Conference on Machine Learning, Morgan Kaufmann, p. 148-156.
• Gatnar E. (2001), Nieparametryczna metoda dyskryminacji i regresji, PWN, Warszawa.
• Gatnar E. (2008), Podejście wielomodelowe w zagadnieniach dyskryminacji i regresji, PWN, Warszawa.
• Guyon I., Gunn S., Nikravesh M., Zadeh L. (2006), Feature Extraction: Foundations and Applications, Springer, New York.
• Hastie T., Tibshirani R., Friedman J. (2009), The Elements of Statistical Learning: Data Mining, Inferance, and Prediction, 2nd edition, Springer, New York.
• Hoerl A.E., Kennard R. (1970), Ridge regression: biased estimation for nonorthogonal problems. "Technometrics" 12: p. 55-67.
• Kubus M. (2011), On model selection in some regularized linear regression methods, XXX Konferencja Wielowymiarowa Analiza Statystyczna, Łódź (to appear).
• Kubus M. (2013), Liniowy model prawdopodobieństwa z regularyzacją jako metoda doboru zmiennych, XXI Konferencja Sekcji Klasyfikacji i Analizy Danych PTS, Lipowy Most (to appear).
• Ng A.Y. (1998), On feature selection: learning with exponentially many irrelevant features as training examples, In Proceedings of the 15th International Conference on Machine Learning, p. 404-412, San Francisco, CA. Morgan
• Kaufmann. Reunanen J. (2006), Search Strategies, In I. Guyon, S. Gunn, M. Nikravesh, L. Zadeh (Eds.), Feature Extraction: Foundations and Applications, Springer, New York.
• Tibshirani R. (1996), Regression shrinkage and selection via the lasso, J.Roval. Statist. Soc. B., 58: p. 267-288.
• Zou H., Hastie T. (2005), Regularization and variable selection via the elastic net, Journal of the Royal Statistical Society Series B, 67(2): p. 301-320.