Dyskryminacja za pomocą modelu reguł łączonych

• Autorzy: Mariusz Kubus

Warianty tytułu

Discrimination Using Rule Ensembles

• Języki publikacji: PL

Abstrakty

Podejście wielomodelowe okazało się jednym z najskuteczniejszych narzędzi dyskryminacji. Friedman i Popescu [2005] zaproponowali wykorzystanie w charakterze funkcji bazowych reguły klasyfikacji postaci "jeśli koniunkcja warunków, to klasa". Metoda zaimplementowana w algorytmie RuleFit łączy idee podejścia wielomodelowego, indukcji reguł oraz regularyzowanej regresji liniowej. Celem artykułu jest zweryfikowanie jakości klasyfikacji na danych rzeczywistych oraz zbadanie wybranych własności algorytmu RuleFit.(abstrakt oryginalny)

EN

Ensembles have turned out to be one of the most effective tools of discrimination. Friedman and Popescu [2005] proposed to use the classification rules in the form "if conjunction of conditions then class" as a base functions. Their method implemented in RuleFit combines the ideas of ensembles, rules induction and regularized linear regression. The goal of this paper is to verify the classification accuracy of RuleFit on real world data and to test some of its properties. (original abstract)

Słowa kluczowe

PL

Rozkłady wielomodalne; Algorytmy; Analiza dyskryminacyjna; Badania empiryczne

EN

Multimodal distributions; Algorithms; Discriminant analysis; Empirical researches

• Czasopismo: Prace Naukowe Uniwersytetu Ekonomicznego we Wrocławiu. Taksonomia
• Rocznik: 2010
• Tom: 17
• Numer: nr 107 Klasyfikacja i analiza danych - teoria i zastosowania
• Strony: 415--422

Twórcy

autor

Mariusz Kubus

• Politechnika Opolska

Bibliografia

• Breiman L., Arcing classifiers, "Annals of Statistics" 1998 no 26.
• Breiman L., Random forests, "Machinę Learning" 2001 no 45.
• Cohen W.W., Singer Y., A Simple, Fast, and Effective Rule Learner, Proceedings of Ann. Conf. of American Association for Artif. Intelligence, 1999.
• Dembczyński К., Kotłowski W., Słowiński R" A General Framework for Learning an Ensemble of Decision Rules, [w:] LeGo '08: From Local Patterns to Global Models, ECML/PKDD 2008. Workshop, Antwerp, Belgium 2008.
• Freund Y., Schapire R.E., Experiments with a New Boosting Algorithm, Proceedings of the 13th Intern. Conf. on Machine Learning, Morgan Kaufmann, 1996.
• Friedman J.H., Greedy function approximation: a gradient boosting machine, "Annals of Statistics"2001 no 29.
• Friedman J.H., Hastie Т., Tibshirani R., Additive logistic regression: a statistical view of boosting, "Annals of Statistics" 2000 no 28(2).
• Friedman J.H., Popescu B.E., Gradient Directed Regularization for Linear Regression and Classification, (Technical Report). Dept. of Statistics, Stanford University, 2004.
• Friedman J.H., Popescu B.E., Predictive Learning Via Rule Ensembles, (Technical Report). Dept. of Statistics, Stanford University, 2005.
• Fürnkranz J., Separate-and-conquer rule learning, "Artif. Intelligence Review" 1999 no 13(1).
• Gatnar E., Podejście wielomodelowe w zagadnieniach dyskryminacji i regresji, PWN, Warszawa 2008.
• Hastie Т., Tibshirani R., Friedman J., The Elements of Statistical Learning: Data Mining, Inferance, and Prediction, Springer, New York 2001.
• Kubus M., Porównanie indukcji reguł z wybranymi metodami dyskryminacji, [w:] Klasyfikacja i analiza danych teoria i zastosowania, Taksonomia 16, K. Jajuga, M. Walesiak (red.). Prace Naukowe Uniwersytetu Ekonomicznego we Wrocławiu nr 47, UE, Wrocław 2009.
• Kubus M., The Analysis of Some Properties of SLIPPER Algorithm, 27th Conference on Multivariate Statistical Analysis, University of Łódź (w druku), 2008.
• Quinlan J.R., C4.5 Programs for Machine Learning, Morgan Kaufmann, San Mateo 1993.
• Tibshirani R., Regression shrinkage and selection via the lasso, "J.Royal. Statist. Soc. B." 1996 no 58.
• Weiss S., Indurkhya N., Lightweight Rule Induction, Proceedings of the 17th International Conference on Machine Learning, Morgan Kaufmann, 2000.