Feature Selection and Multiple Model Approach in Discriminant Analysis

• Autorzy: Eugeniusz Gatnar

Warianty tytułu

Dobór zmiennych a podejście wielomodelowe w analizie dyskryminacyjnej

• Języki publikacji: EN

Abstrakty

EN

Significant improvement of model stability and prediction accuracy in classification and regression can be obtained by using the multiple model approach. In classification multiple models are built on the basis of training subsets (selected from the training set) and combined into an ensemble or a committee. Then the component models (classification trees) determine the predicted class by voting. In this paper some problems of feature selection for ensembles will be discussed. We propose a new correlation-based feature selection method combined with the wrapper approach. (original abstract)

W pracy przedstawiono podstawowe zagadnienia związane z doborem zmiennych w podejściu wielomodelowym (multiple-model approach) w analizie dyskryminacyjnej. Podejście wielomodelowe polega na budowie K modeli, prostych (składowych) C₁(x), ...,C_K(x), które są następnie łączone w jeden model zagregowany C^*(x), np. w oparciu o zasadę majoryzacji
Znane z literatury metody agregacji modeli różnią się przede wszystkim sposobem tworzenia prób uczących U₁,U_K, w oparciu o które powstają modele składowe. Jedną z najprostszych jest metoda losowego doboru zmiennych do modeli składowych. Aby jednak zmienne te wpływały na jakość budowanych modeli zaproponowano wykorzystanie metody doboru zmiennych spośród tych, które zostały wylosowane. W tym celu zmodyfikowano metodę korelacyjną Hellwiga. (abstrakt oryginalny)

Słowa kluczowe

EN

Discriminant analysis; Variables selection; Classification methods; Hellwig's method

PL

Analiza dyskryminacyjna; Dobór zmiennych; Metody klasyfikacyjne; Metoda Z. Hellwiga

• Czasopismo: Acta Universitatis Lodziensis. Folia Oeconomica
• Rocznik: 2007
• Tom: 206 Methods of Multivariate Statistical Analysis and Their Applications
• Strony: 159--165

Twórcy

autor

Eugeniusz Gatnar

• The Karol Adamiecki University of Economics in Katowice, Poland

Bibliografia

• Blake С., Keogh E., Merz С. J. (1998), UCI Repository of Machine Learning Databases, Department of Information and Computer Science, University of California, Irvine (CA).
• Вreiman L. (2001), Random forests, "Machine Learning", 45, 5-32.
• Fayyad U.M., Irani K. B. (1993), Multi-interval discretisation of continuous-valued attributes, [in:] Proceedings of the XIII International Joint Conference on Artificial Intelligence, Morgan Kaufmann, San Francisco, 1022-1027.
• Gatnar E. (2001), Nieparametryczna metoda estymacji i regresji, Wydawnictwo Naukowe PWN, Warszawa.
• Hall M. (2000), Correlation-based feature selection for discrete and numeric class machine learning, [in:] Proceedings of the 17th International Conference on Machine Learning, Morgan Kaufmann, San Francisco.
• Hellwig Z. (1969), On the problem of the optimal selection of predictors, "Statistical Revue", 3-4 (in Polish).
• Hо Т. K. (1998), The random subspace method for constructing decision forests, IEEE Trans. on Pattern Analysis and Machine Learning, 20, 832-844.
• Kira A., Rendell L. (1992), A practical approach to feature selection, [in:] Proceedings of the 9th International Conference on Machine Learning, D. Sleeman, P. Edwards (eds.), Morgan Kaufmann, San Francisco, 249-256.
• Kohavi R., John G. H. (1997), Wrappers for feature subset selection, "Artificial Intelligence", 97, 273-324.
• Oza N.C., Tumar K. (1999), Dimensionality reduction through classifier ensembles. Technical Report, NASA-ARC-IC-1999-126, Computational Sciences Division, NASA Ames Research Center.
• Press W.H., Flannery B.P., Teukolsky S.A., Vetterling W.T. (1989), Numerical recipes in Pascal, Cambridge University Press, Cambridge.
• Therneau Т.M., Atkinson E.J. (1997), An introduction to recursive partitioning using the RPART routines, Mayo Foundation, Rochester.