Badanie relacji między zróżnicowaniem pojedynczych modeli a błędem modelu zagregowanego

• Autorzy: Dorota Rozmus

Warianty tytułu

Analysis of Relationship Between Single Models Diversity End Error of Aggregated Model

• Języki publikacji: PL

Abstrakty

Badania empiryczne zaprezentowane w tym artykule miały na celu sprawdzenie, czy dekompozycje te pozwolą na sformułowanie relacji zachodzących między stopniem zróżnicowania pojedynczych modeli a błędem modelu zagregowanego. Ponadto celem tego opracowania było także sprawdzenie, która z tych dwóch dekompozycji jest bardziej użyteczna w badaniu wspomnianej relacji. Ujawnienie się jasnej relacji między stopniem zróżnicowania a błędem modelu zagregowanego jest ważne, bo coraz częściej pojawiają się algorytmy, które taki czynnik, jak zróżnicowanie modeli, w sposób jawny biorą pod uwagę w procesie konstrukcji modelu zagregowanego. (fragment tekstu)

EN

Ensembles become more and more popular in classification and regression problems. Very often they have better empirical and theoretical properties than single models. One factor that is needed in order to get high performance of aggregated model is recognized as models diversity. The paper discusses the problem of ensemble diversity in regression using the idea of ensemble error decomposition introduced by Ueda, Nakano (1995) and Krogh, Vedelsby (1996). We show also results of experiments concerning the relationship between ensemble error and ensemble diversity, measured by means of the two presented decompositions. (original abstract)

Słowa kluczowe

PL

Klasyfikacja; Badania empiryczne

EN

Classification; Empirical researches

• Czasopismo: Prace Naukowe Akademii Ekonomicznej we Wrocławiu. Taksonomia
• Rocznik: 2007
• Tom: 14
• Numer: nr 1169 Klasyfikacja i analiza danych - teoria i zastosowania
• Strony: 195--201

Twórcy

autor

Dorota Rozmus

• Akademia Ekonomiczna im. Karola Adamieckiego w Katowicach

Bibliografia

• Blake C., Keogh E., Merz С.J. (1988), UCI Repository of Machine Learning Databases, Department of Information and Computer Science, University of California, Irvine.
• Breiman L. (1996), Bagging Predictors, "Machine Learning" 26 (2).
• Breiman L. (2001), Random Forests, "Machine Learning" 45.
• Carney J., Cunningham P. (1999), Tuning Diversityin Bagged Neural Network Ensembles,, "Technical Report TCD-CS-1999-44", Trinity College Dublin.
• Но Т.K. (1998) The Random Subspace Method for Constructing Decision Forests, "IEEE Transactionson Pattern Analysis and Machine Intelligence" 20, 8.
• Krogh A., Vedelsby J. (1995), Neural Network Ensembles, Cross Validation, and Active Learning, [w:] G. Tesauro, D. Touretzky, T. Leen (red.), Advances in Neural Information Processing Systems 7, Mass.: MIT Press, Cambridge.
• Opitz D. (1999), Feature Selection for Ensambles, Proceedings of 16th National Conference on Artificial Intelligence (AAAI).
• Ruta D., Gabryś В. (2001) Analysis of the Correlation between Majority Voting Error and the Diversity Measures in Multiple Classifier Systems, Proceedings of the SOCO/ISFI'2001 Conference, Paisley, UK.
• Ruta D., Gabryś В. (2002), Set Analysis of Coincident Errors and its Applications for Combining Classifiers, "Pattern Recognition and String Matching, Combinatorial Optimisation" 13, Kluwer Academic Publishers.
• Teda N., Nakano R. (1996), Generalization Error of Ensemble Estimators, Proceedings of International Conference on Neural Networks.