Problem zmiennych zakłócających w agregowanych klasyfikatorach KNN

• Autorzy: Mariusz Kubus

Warianty tytułu

A Problem of The Noisy Variables in The Aggregated KNN Classifiers

• Języki publikacji: PL

Abstrakty

Podejście wielomodelowe w dyskryminacji i regresji zyskało duże uznanie ze względu na poprawę stabilności modeli oraz ich dokładności przewidywań. Agregowanie klasyfikatorów k najbliższych sąsiadów (kNN) napotyka jednak poważne problemy. Metoda kNN, wykorzystująca w klasyfikacji wyłącznie odległości między obiektami, jest względnie stabilna, przez co zróżnicowanie klasyfikatorów bazowych można osiągnąć, jedynie wybierając różne podprzestrzenie. Tu z kolei napotykamy problem zmiennych zakłócających (noisy variables), to jest takich, które nie mają wpływu na zmienną objaśnianą, a które w metodzie kNN znacznie obniżają dokładność klasyfikacji. W artykule dokonano przeglądu zaproponowanych w literaturze metod agregowania klasyfikatorów kNN oraz zweryfikowano je z własną propozycją algorytmu. W badaniach wykorzystano zbiory danych rzeczywistych z dołączonymi zmiennymi zakłócającymi(abstrakt oryginalny)

EN

Ensemble learning in discrimination and regression has gained a great appreciation due to the improved stability of the model, and often improved accuracy of the predictions. Aggregating of k nearest neighbors classifiers (kNN), however, faces serious problems. The kNN method, which uses only the distances between objects, is relatively stable, so the diversity of base classifiers can only be achieved by choosing different subspaces. Here, in turn, we encounter the problem of noisy variables, those that do not affect the response variable, and which result in decreasing the accuracy of the kNN classifier. This article reviews the methods of the aggregated kNN classifiers, which were proposed in the literature. We also verify our own proposition of the algorithm. The real data with noisy variables added are used in the empirical study(original abstract)

Słowa kluczowe

PL

Podejście wielomodelowe; Taksonomia

EN

Multiple-model approach; Taxonomy

• Czasopismo: Prace Naukowe Uniwersytetu Ekonomicznego we Wrocławiu. Taksonomia
• Rocznik: 2017
• Tom: 28
• Numer: nr 468
• Strony: 116--126

Twórcy

autor

Mariusz Kubus

• Politechnika Opolska

Bibliografia

• Bay S.D., 1999, Nearest neighbor classification from multiple feature subsets, Intelligent Data Analysis, vol. 3(3), s.191-209.
• Breiman L., 1996, Bagging predictors, Machine Learning, vol. 24(2), s. 123-140.
• Breiman L., 2001, Random forests, Machine Learning, vol. 45, s. 5-32.
• Demsar J., 2006, Statistical comparison of classifiers over multiple data sets, Journal of Machine Learning Research, vol. 7, s. 1-30.
• Domeniconi C., Peng J., Gunopulos D., 2002, Locally adaptive metric nearest neighbor classification, IEEE Trans on Pattern Analysis and Machine Intelligence, vol. 24(9), s. 1281-1285.
• Domeniconi C., Yan B., 2004, Nearest neighbor ensemble, IEEE Proceedings of the 17th International Conference on Pattern Recognition (ICPR 2004), vol. 1, s. 228-231.
• Dudek A., 2009, Tworzenie zagregowanych modeli dyskryminacyjnych dla obiektów symbolicznych: wybrane problemy, Studia i Prace Uniwersytetu Ekonomicznego w Krakowie, nr 3, s. 33-40.
• Enas G.G., Choi S.C., 1986, Choice of the smoothing parameter and efficiency of k-nearest neighbor classification, Computer and Mathematics with Applications, 12A(2), s. 235-244.
• Frank A., Asuncion A., 2010, UCI Machine Learning Repository, University of California, School of Information and Computer Science, Irvine, CA, http://archive.ics.uci.edu/ml/ (2.02.2016).
• Freund Y., Schapire R.E., 1997, A decision-theoretic generalization of on-line learning and an application to boosting, Journal of Computer and System Sciences, no. 55, s. 119-139.
• Friedman J.H., Popescu B.E., 2005, Predictive learning via rule ensembles, Technical Report. Department of Statistics, Stanford University.
• Gatnar E., 2008, Podejście wielomodelowe w zagadnieniach dyskryminacji i regresji, Wydawnictwo Naukowe PWN, Warszawa.
• Górecki T., Krzyśko M., 2015, Regression Methods for Combining Multiple Classifiers, Communications in Statistics-Simulation and Computation, vol. 44(3), s. 739-755.
• Gul A., Perperoglou A., Khan Z., Mahmoud O., Miftahuddin M., Adler W., Lausen B., 2014, Ensemble of a subset of kNN classifiers, Advances in Data Analysis and Classification, s. 1-14, DOI 10.1007/s11634-015-0227-5.
• Ho T.K., 1998, Nearest neighbors in random subspaces, Proceedings of the Second International Workshop on Statistical Techniques in Pattern Recognition, Sydney, Australia, s. 640-648.
• Kononenko I., 1994, Estimating attributes: Analysis and extensions of RELIEF, Proceedings European Conference on Machine Learning, s. 171-182.
• Kubus M., 2016a, Lokalna ocena mocy dyskryminacyjnej zmiennych, Prace Naukowe Uniwersytetu Ekonomicznego we Wrocławiu, nr 427, Taksonomia 27, s. 143-152, DOI: 10.15611/pn.2016.427.15.
• Kubus M., 2016b, Propozycja agregowanego klasyfikatora kNN z selekcją zmiennych, Ekonometria, nr 3 (53), s. 32-41, DOI: 10.15611/ekt.2016.3.03.
• Opitz D., Maclin R., 1999, Popular ensemble methods: An empirical study, ,Journal of Artificial Intelligence Research, vol. 11, s. 169-198.
• Rozmus D., 2008, Wykorzystanie podejścia zagregowanego w taksonomii, Prace Naukowe Uniwersytetu Ekonomicznego we Wrocławiu, nr 7 (1207), Taksonomia 15, s. 330-336.
• Trzęsiok M., 2006, Łączenie równoległe modeli klasyfikacji otrzymanych metodą wektorów nośnych, Studia Ekonomiczne, Akademia Ekonomiczna w Katowicach, nr 39, s. 129-137.
• Tumer K., Ghosh J., 1996, Error correlation and error reduction in ensemble classifiers, Connection Science, vol. 8(3-4), s. 385-403.
• Zhou Z.H., Yu Y., 2005a, Adapt bagging to nearest neighbor classifiers, Journal of Computer Science and Technology, vol. 20(1), s. 48-54.
• Zhou Z.H., Yu Y., 2005b, Ensembling local learners trough multimodal perturbation, IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics, vol. 35(4), s. 725-735.

Identyfikatory

DOI

10.15611/pn.2017.468.12