Combing Different Types of Classifiers

• Autorzy: Eugeniusz Gatnar
• Języki publikacji: EN

Abstrakty

EN

Model fusion has proved to be a very successful strategy for obtaining accurate models in classification and regression. The key issue, however, is the diversity of the component classifiers because classification error of an ensemble depends on the correlation between its members. The majority of existing ensemble methods combine the same type of models, e.g. trees. In order to promote the diversity of the ensemble members, we propose to aggregate classifiers of different types, because they can partition the same classification space in very different ways (e.g. trees, neural networks and SVMs). (original abstract)

Łączenie modeli okazało się być bardzo efektywną strategią poprawy jakości predykcji modeli dyskryminacyjnych. Kluczowym zagadnieniem, jak wynika z twierdzenia Turnera i Ghosha (1996), jest jednak stopień różnorodności agregowanych modeli, tzn. im większa korelacja między wynikami klasyfikacji tych modeli, tym większy błąd. Większość znanych metod łączenia modeli, np. RandomForest zaproponowany przez Breimana (2001), agreguje modele tego samego typu w różnych przestrzeniach cech. Aby zwiększyć różnice między pojedynczymi modelami, w referacie zaproponowano łączenie modeli różnych typów, które zostały zbudowane w tej samej przestrzeni zmiennych (np. drzewa klasyfikacyjne i modele SVM). W eksperymentach wykorzystano 5 klas modeli: liniowe i kwadratowe modele dyskryminacyjne, drzewa klasyfikacyjne, sieci neuronowe, oraz modele zbudowane za pomocą metody k-najbliższych sąsiadów (k-NN) i metody wektorów nośnych (SVM). Uzyskane rezultaty pokazują że modele zagregowane powstałe w wyniku łączenia różnych modeli są bardziej dokładne niż gdy modele składowe są tego samego typu. (abstrakt oryginalny)

Słowa kluczowe

EN

Discriminant analysis; Linear models; Neural networks; Statistical data analysis

PL

Analiza dyskryminacyjna; Modele liniowe; Sieci neuronowe; Analiza danych statystycznych

• Czasopismo: Acta Universitatis Lodziensis. Folia Oeconomica
• Rocznik: 2008
• Tom: 216 Multivariate Statistical Analysis Statistical Inference, Statistical Models and Applications
• Strony: 253--259

Twórcy

autor

Eugeniusz Gatnar

• The Karol Adamiecki University of Economics in Katowice, Poland

Bibliografia

• Amit Y., Geman D. (1997): Shape quantization and recognition with randomized trees. Neural Computation, 1545-1588.
• Breiman L. (1996): Bagging predictors. Machine Learning, 24, 123-140.
• Breiman L. (1998): Arcing classifiers. Annals of Statistics, 26, 801-849.
• Breiman L. (1999): Using adaptive bagging to debias regressions. Technical Report 547, Department of Statistics, University of California, Berkeley.
• Breiman L. (2001): Random forests. Machine Learning 45, 5-32.
• Dietterich Т., Bakiri G. (1995): Solving multiclass learning problem via error-correcting output codes. Journal of Artificial Intelligence Research, 2, 263-286.
• Freund Y., Schapire R.E. (1997): A decision-theoretic generalization of on-line learning and an application to boosting, Journal of Computer and System Sciences 55,119- 139.
• Ho Т.К. (1998): The random subspace method for constructing decision forests. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20, 832-844.
• Turner K., Ghosh J. (1996): Analysis of decision boundaries in linearly combined neural classifiers. Pattern Recognition 29, 341-348.