Discriminant Stepwise Procedure

• Autorzy: Mariusz Kubus

Warianty tytułu

Dyskryminacyjna procedura krokowa

• Języki publikacji: EN

Abstrakty

EN

Stepwise procedure is now probably the most popular tool for automatic feature selection. In most cases it represents model selection approach which evaluates various feature subsets (so called wrapper). In fact it is a heuristic search technique which examines the space of all possible feature subsets. This method is known in the literature under different names and variants. We organize the concepts and terminology, and show several variants of stepwise feature selection from a search strategy point of view. A short review of implementations in R is given. (original abstract)

Procedura krokowa jest obecnie chyba najpopularniejszym narzędziem automatycznej selekcji zmiennych. Najczęściej prezentuje podejście polegające na ocenie podzbiorów zmiennych za pomocą kryterium jakości modelu (wrapper). W istocie jest techniką heurystycznego przeszukiwania przestrzeni wszystkich podzbiorów oryginalnego zestawu zmiennych. Metoda ta znana jest z literatury pod różnymi nazwami i w różnych wersjach. W artykule przedstawiono ogólny schemat krokowej selekcji zmiennych oraz wskazano różne jej warianty. Uporządkowano terminologię oraz podano krótki przegląd funkcji programu R implementujących krokową selekcję zmiennych. (abstrakt oryginalny)

Słowa kluczowe

EN

Statistical analysis

PL

Analiza statystyczna

• Czasopismo: Acta Universitatis Lodziensis. Folia Oeconomica
• Rocznik: 2014
• Numer: vol. 3, t. 302 Multivariate Statistical Analysis. New methods and innovative applications
• Strony: 151--159

Twórcy

autor

Mariusz Kubus

• Opole University of Technology, Poland

Bibliografia

• Aczel A.D. (2005), Statystyka w zarządzaniu, PWN.
• Efroymson M. A. (l960), Multiple regression analysis. Mathematical Methods for Digital Computers, Ralston A. and Wilf, H. S., (eds.), Wiley, New York.
• Frank A., Asuncion A. (2010), UCI Machine Learning Repository, Irvine, CA: University of California, School of Information and Computer Science (http://archive.ics.uci.edu/ml/).
• Granitto P.M., Furlanello C., Biasioli F., Gasperi F. (2006), Recursive feature elimination with random forest for PTR-MS analysis of agroindustrial products, Chemometrics and Intelligent Laboratory Systems, Vol. 83, 2, p. 83-90.
• Guyon I., Gunn S., Nikravesh M., Zadeh L. (2006), Feature Extraction: Foundations and Applications, Springer, New York.
• Guyon I., Weston J., Barnhill S., Vapnik V. (2002), Gene Selection for Cancer Classification using Support Vector Machines, Machine Learning, 46: 389-422
• Hastie T., Tibshirani R., Friedman J. (2009), The Elements of Statistical Learning: Data Mining, Inferance, and Prediction, 2nd edition, Springer, New York.
• Kittler J. (1978), Feature set search algorithms, In C. H. Chen, editor, Pattern Recognition and Signal Processing, p. 41-60, Sijthoff & Noordhoff.
• Kubus M. (2013a), On model selection in some regularized linear regression methods, In: Domański Cz., Kupis-Fijałkowska A. (Eds.) Multivariate Statistical Analysis - Theory and Practice, Acta Universitatis Lodziensis, Folia Oeconomica 285, p. 115-223.
• Kubus M. (2013b), Some remarks on feature ranking based wrappers, In: Domański Cz. (Ed.) Methods and Applications of Multivariate Statistical Analysis, Acta Universitatis Lodziensis, Folia Oeconomica 286, p. 147-154.
• Kudo M., Sklansky J. (2000), Comparison of algorithms that select features for pattern classifiers, Pattern Recognition, 33(1):25-41.
• Marill T., Green D. M. (1963), On the effectiveness of receptors in recognition systems, IEEE Transactions on Information Theory, 9(1): 11-17.
• Nagatani T., Ozawa S., Abe S. (2010), Fast Variable Selection by Block Addition and Block Deletion, Journal of Intelligent Learning Systems and Applications, Vol. 2 No. 4, p. 200-211. doi: 10.4236/jilsa.2010.24023.
• Reunanen J. (2006), Search Strategies, In I. Guyon, S. Gunn, M. Nikravesh, L. Zadeh (Eds.), Feature Extraction: Foundations and Applications, Springer, New York.