Wykorzystanie metod taksonomicznych do budowy modeli zagregowanych

• Autorzy: Eugeniusz Gatnar

Warianty tytułu

The Application of Cluster Analysis in Aggregation of Classifiers

• Języki publikacji: PL

Abstrakty

Sukces podejścia polegającego na agregacji modeli w analizie dyskryminacyjnej zależy od zróżnicowania modeli składowych (lokalnych) C1 (x),..., CK (x). Jak udowodnili Turner i Ghosh [1996], błąd klasyfikacji modelu zagregowanego C*(x) maleje wraz ze spadkiem stopnia podobieństwa ("korelacji") modeli składowych. Celowe staje się więc łączenie tylko takich modeli, które jak najbardziej różnią się od siebie. Jednym z rozwiązań mogących zapewnić to, że modele składowe będą maksymalnie niepodobne jest wykorzystanie metod taksonomicznych. W artykule zaproponowano metodę budowy modeli zagregowanych, która polega na wygenerowaniu dużej liczby modeli, nр. K = 300, i pogrupowaniu ich w klasy, a następnie połączeniu reprezentantów klas w jeden model C*(x). W związku z tym, że brak jest głębszych badań nad omawianym zagadnieniem, kolejnym celem artykułu stała się analiza porównawcza metod taksonomicznych, które mogą być wykorzystane w proponowanym podejściu. Pojawił się także problem konstrukcji macierzy niepodobieństwa modeli, ponieważ istnieje kilka konkurencyjnych miar mogących służyć do tego celu. W dalszej części pracy zbadano więc także to, jak wielkość błędu klasyfikacji zależy od wyboru odpowiedniej miary zróżnicowania. (fragment tekstu)

EN

Combining multiple classifiers into an ensemble has proved to be very successful in the past decade. The key issue is the diversity of the component classifiers, because the most unrelated members the most accurate is the ensemble. In this paper we propose a new method of combining classifiers, that is based on clustering of the single models. We also compare different hierarchical clustering methods and diversity measures used to create the dissimilarity matrix. (original abstract)

Słowa kluczowe

PL

Metody taksonomiczne; Macierze

EN

Taxonomic methods; Matrix

• Czasopismo: Prace Naukowe Akademii Ekonomicznej we Wrocławiu. Taksonomia
• Rocznik: 2007
• Tom: 14
• Numer: nr 1169 Klasyfikacja i analiza danych - teoria i zastosowania
• Strony: 57--64

Twórcy

autor

Eugeniusz Gatnar

• Akademia Ekonomiczna im. Karola Adamieckiego w Katowicach

Bibliografia

• Breiman L. (1998), Arcing Classifiers, "Annals of Statistics" 26, s. 801-849.
• Breiman L. (1996), Bagging Predictors, "Machine learning" 24, s. 123-140.
• Breiman L. (2001), Random Forests, "Machine Learning" 45, s. 5-32.
• Dietterich Т., Bakiri G. (1995), Solving Multiclass Learning Problem via Error- Correcting Output Codes, ,,Journal of Artificial Intelligence Research" 2, s. 263-286.
• Freund Y., Schapire R.E. (1997), A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting, "Journal of Computer and System Sciences" 55, s. 119-139.
• Gatnar E. (2001), Nieparametryczna metoda dyskryminacji i regresji, PWN, Warszawa.
• Gatnar E. (2006), Wykorzystanie miary Hamanna do oceny podobieństwa modeli w podejściu wielomodelowym, Taksonomia 13, "Prace Naukowe AE we Wrocławiu", nr 1126, AE, Wrocław, s. 56-64.
• Giacinto G., Roli F. (2001), Design of Effective Neural Network Ensembles for Image Classification Processes, "Image Vision and Computing Journal" 19, s. 699-707.
• Giacinto G., Roli F., Fumera G. (2000), Design of Effective Multiple Classifier Systems by Clustering of Classifiers, Proc. of the Int. Conference on Pattern Recognition, ICPR'00, IEEE.
• Но Т.K. (1998), The Random Subspace Method for Constructing Decision Forests, "IEEE Transactions on Pattern Analysis and Machine Intelligence" 20, s. 832-844.
• Kuncheva L., Whitaker C., Shipp D., Duin R. (2000), Is Independence Good for Combining Classifiers, Proceedings of the 15th International Conference on Pattern Recognition, Barcelona, Spain, s. 168-171.
• Margineantu M.M., Dietterich T.G. (1997), Pruning Adaptive Boosting, Proceedings of the 14th International Conference on Machine Learning, Morgan Kaufmann, San Mateo, s. 211-218.
• Partridge D., Yates W.B. (1996), Engineering Multiversion Neural-Net Systems, "Neural Computation" 8, s. 869-893.
• Skalak D.B. (1996), The Sources of Increased Accuracy for Two Proposed Boosting Algorithms, Proceedings of the American Association for Artificial Intelligence AAAI-96, Morgan Kaufmann, San Mateo.
• Themeau T.M., Atkinson E.J. (1997), An Introduction to Recursive Partitioning Using the RPART Routines, Mayo Foundation, Rochester.
• Turner K., Ghosh J. (1996), Analysis of Decision Boundaries in Linearly Combined Neural Classifiers, "Pattern Recognition" 29, s. 341-348.
• Wolpert D. (1992), Stacked Generalization, "Neural Networks" 5, s. 241-259.