Dobór zmiennych do zagregowanych modeli dyskryminacyjnych z wykorzystaniem algorytmów genetycznych

• Autorzy: Andrzej Dudek , Adam Kurzydłowski

Warianty tytułu

Selection of Variables into Aggregated Discriminant Models with Usage of Genetic Algorithms

• Języki publikacji: PL

Abstrakty

W artykule zaproponowana zostanie odmiana metody CFSH (Correlation-based Feature Selection based on Hellwig Heuristic) wykorzystująca do znalezienia najlepszego podzbioru zmiennych w modelu składowych optymalizację z wykorzystaniem algorytmów genetycznych. Ponadto porównane zostaną błędy klasyfikacji metod CFS, CFSH i nowej metody na zbiorach danych pochodzących z repozytorium Uniwersytetu Kalifornijskiego w Irvine. (fragment tekstu)

EN

In discriminant analysis studies models using single classification trees are often replaced by models aggregating partial models into one multiple model. Breiman [1996] showed that significant reduction of classification error can be achieved when independency of partial models is fulfilled. So key role in such approach plays appropriate selection of objects or variables of subsets of training set. Among methods of selection of objects into aggregated models the most often used are: boosting, bagging, adaptive bagging, arcing, windowing. Among methods of selection of variables into aggregated models Correlation-based Feature Selection (CFS) developed by Hall [2000] was most effective. Gatnar [2003] proposed Correlation-based Feature Selection based on Hellwig Heuristic (CFSH) method and empirically showed that CFSH gave smaller classification errors that CFS. In this paper some modification of CFSH is proposed and genetic algorithms are used to find best subsets of variables in partial models. Classification errors for CFFS, CFSH and modified method are compared on datasets from University of California Repository of Machine Learning. (original abstract)

Słowa kluczowe

PL

Drzewa klasyfikacyjne; Algorytmy genetyczne; Dobór zmiennych; Uczenie maszynowe

EN

Classification trees; Genetic algorithms; Variables selection; Machine learning

• Czasopismo: Prace Naukowe Akademii Ekonomicznej we Wrocławiu
• Rocznik: 2007
• Numer: nr 1189 Zastosowania metod ilościowych
• Strony: 147--155

Twórcy

autor

Andrzej Dudek

• Akademia Ekonomiczna we Wrocławiu

autor

Adam Kurzydłowski

• Akademia Ekonomiczna we Wrocławiu

Bibliografia

• Arabas J., Wykłady z algorytmów ewolucyjnych, WNT, Warszawa 2004.
• Breiman L., Bagging Predictors, "Machine Learning" 1996, 24, s. 123-140.
• Breiman L., Arcing Classifiers, "Annals of Statistics" 1998, 26, s. 801-849.
• Freund Y., Schapire R.E., A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting, "Journal of Computer and System Sciences" 1997, 55, s. 119-139.
• Gatnar E., Symboliczne metody klasyfikacji danych, PWN, Warszawa 1998.
• Gatnar E., Nieparametryczna metoda dyskryminacji i regresji, Wydawnictwo Naukowe PWN, Warszawa 2001.
• Gatnar E., O pewnej metodzie redukcji błędu klasyfikacji, Prace Naukowe Akademii Ekonomicznej we Wrocławiu nr 988, AE, Wrocław 2003, s. 245-253.
• Gatnar E., Dobór zmiennych do zagregowanych modeli dyskryminacyjnych, Prace Naukowe Akademii Ekonomicznej we Wrocławiu nr 1076, AE, Wrocław 2005, s. 79-85.
• Goldberg J., Algorytmy genetyczne i ich zastosowania, WNT, Warszawa 2003.
• Hall M., Correlation-based Feature Selection for Discrete and Numeric Machine Learning, [w:] Proceedings of the 17th International Conference on Machine Learning, Morgan Kaufmann, San Francisco 2000.
• Hall M., Smith L., Feature Selection for Machine Learning Comparing a Correlation-based Filter Approach to the Wrapper, http://home.eng.iastate.edu/~julied/classes/ee547/Handouts/Flairs.pdf, 2000.
• Hastie T., Tibshirani R., Friedman J., The Elements of Statistical Learning: Data Mining, Inference and Prediction, Sprmger-Verlag, New York, Berlin, Heidelberg 2001.
• Hellwig Z., O problemie optymalnego wyboru predykant. "Przegląd Statystyczny" 1969, 3-4.
• Theil H., Statistical Decomposition Analysis, North-Holland Publishing, Amsterdam 1972.
• Weiss S.M., Indurkhya N., Rule-based Machine Learning Methods for Functional Prediction, "Journal of Artificial Intelligence Research" 1995, no. 3, s. 383-403.