Dobór zmiennych do zagregowanych modeli dyskryminacyjnych

• Autorzy: Eugeniusz Gatnar

Warianty tytułu

Feature Selection to Aggregated Classification Models

• Języki publikacji: PL

Abstrakty

Rozważania nad losowym doborem zmiennych do modeli dyskryminacyjnych ukazują wpływ liczby tych zmiennych (wymiaru przestrzeni zmiennych) na dokładność klasyfikacji modelu zagregowanego. Wprowadzenie do modelu większej liczby zmiennych powoduje zwiększenie błędu klasyfikacji. Aby zmniejszyć tę liczbę, zastosowano korelacyjną metodę doboru zmiennych do modelu. Zaproponowana metoda CFSH generuje modele dyskryminacyjne dokładniejsze od tych, które uzyskał Hall. Ponieważ wykazał on, że metoda CFS jest najlepsza (w sensie minimalizacji błędu klasyfikacji) metodę CFSH porównano jedynie z metodą CFS. (fragment tekstu)

EN

Significant improvement of classification accuracy can be obtained by aggregation of multiple models. Known methods in this field are mostly based on sampling cases from the training set, or changing weights for cases. Further reduction of classification error can be achieved by random selection of variables to the training subsamples or directly to the model. In this paper we propose a new correlation-based feature selection method for classifier ensembles (CFSH) that is contextual (uses feature intercorrelations) and based on the Hellwig heuristic. It gives more accurate aggregated models than those built with other correlation-based feature selection methods. (original abstract)

Słowa kluczowe

PL

Modele dyskryminacyjne; Dobór zmiennych

EN

Discriminatory models; Variables selection

• Czasopismo: Prace Naukowe Akademii Ekonomicznej we Wrocławiu. Taksonomia
• Rocznik: 2005
• Tom: 12
• Numer: nr 1076 Klasyfikacja i analiza danych - teoria i zastosowania
• Strony: 79--86

Twórcy

autor

Eugeniusz Gatnar

• Akademia Ekonomiczna im. Karola Adamieckiego w Katowicach

Bibliografia

• Blake C., Keogh E., Merz C.J., UCI Repository of Machine Learning Databases, Department of Information and Computer Science, University of California, Irvine, CA 1998.
• Breiman L., Arcing Classifiers "Annals of Statistics" 1998, 26, s. 801-849.
• Breiman L., Bagging Predictors, "Machine Learning" 1996, 24, s. 123-140.
• Breiman L., Random Forests, "Machine Learning" 2001, 45, s. 5-32.
• Dietterich T., Bakiri G., Solving Multiclass Learning Problem via Error-Correcting Output Codes, "Journal of Artificial Intelligence Research" 1995,2, s. 263-286.
• Fayyad U.M., Irani K.B., Multi-Interval Discretisation Of Continuous-Valued Attributes, [w:] Proceedings of the XIII International Joint Conference on Artificial Intelligence, Morgan Kaufmann, San Francisco 1993, s. 1022-1027.
• Freund Y., Schapire R.E., A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting, "Journal of Computer and System Sciences" 1997, 55, s. 119-139.
• Gatnar E., Nieparametryczna metoda dyskryminacji i regresji, PWN, Warszawa 2001.
• Gatnar E., Agregacja modeli dyskryminacyjnych, "Prace Naukowe AE we Wrocławiu", nr 942, AE, Wrocław 2002, s. 217-226.
• Gatnar E., O pewnej metodzie redukcji błędu klasyfikacji, "Prace Naukowe AE we Wrocławiu", nr 988, AE, Wrocław 2003, s. 245-253.
• Gatnar E., Problem wymiaru przestrzeni cech w klasyfikacji, "Prace Naukowe AE we Wrocławiu", nr 1022, AE, Wrocław 2004, s. 477-484.
• Hall M., Correlation-Based Feature Selection for Discrete and Numeric Class Machine Learning, [w:] Proceedings of the 17th International Conference on Machine Learning, Morgan Kaufmann, San Francisco 2000.
• Hellwig Z., O problemie optymalnego wyboru predykant, "Przegląd Statystyczny" 1969, 3-4.
• Но T.K., The Random Subspace Method for Constructing Decision Forests, IEEE Trans, on Pattern Analysis and Machine Learning, 1998, 20, s. 832-844.
• Hong S.J., Use of Contextual Information for Feature Ranking and Discretization, IEEE Transactions on Knowledge and Data Engineering, 1997, 9, s. 718-730.
• Kira A., Rendell L., A Practical Approach to Feature Selection, [w:] Proceedings of the 9th International Conference on Machine Learning, red. D. Sleeman, P. Edwards, Morgan Kaufmann, San Francisco 1992, s. 249-256.
• Kohavi R., John G.H., Wrappers for Feature Subset Selection, "Artificial Intelligence" 1997,97, s. 273-324.
• Press W.H., Flannery B.P., Teukolsky S.A., Vetterling W.T., Numerical Recipes in Pascal, Cambridge University Press, Cambridge 1989.
• Themeau T.M., Atkinson E.J., An Introduction to Recursive Partitioning Using the RPART Routines, Mayo Foundation, Rochester 1997.