Boosting Regression Models

• Autorzy: Dorota Rozmus
• Języki publikacji: EN

Abstrakty

EN

In a wide variety of classification problems, boosting technique have proven to be very effective method for improving prediction accuracy (Bauer, Kohavi, 1999). While more evidence compiles about the utility of these technique in classification problems, little is known about their effectiveness in regression. Freund and Schapire (1995) gave a suggestion as to how boosting might improve regression models using their algorithm AdaBoost.R. The main aim of this article is to present an application of the new boosting method for regression problems which was introduced by Ridgeway (2005). We will discuss the influence of the main parameters of this algorithm, such as eg. learning rate or number of iterations on the model performance. (original abstract)

Boosting jesl jedną z najlepszych metod agregacji modeli dyskryminacyjnych (Bauer, Kohavi, 1999). Liczne badania empiryczne potwierdzają możliwość znacznej poprawy jakości modeli klasyfikacyjnych, niewiele jednakże wiadomo na temat efektywności tej metody w przypadku modeli regresyjnych. Freund i Schapire (1995), stosując swój algorytm AdaBoost.R, podjęli próbę wykorzystania metody boosting do tego typu zagadnień. Głównym celem artykułu jest prezentacja nowej implementacji metody boosting w regresji, która opracowana została przez Ridgeway'a (2005). W przeprowadzonych eksperymentach zbadany został wpływ wartości podstawowych parametrów tego algorytmu, takich jak np. współczynnik uczenia, czy też liczba iteracji, na jakość modelu zagregowanego.( abstrakt oryginalny)

Słowa kluczowe

EN

Regression models; Algorithms; Studying; Scientific experiment

PL

Modele regresji; Algorytmy; Uczenie się; Eksperyment badawczy

• Czasopismo: Acta Universitatis Lodziensis. Folia Oeconomica
• Rocznik: 2009
• Tom: 228 Multivariate Statistical Analysis : Statistical Inference, Statistical Models and Applications
• Strony: 69--76

Twórcy

autor

Dorota Rozmus

• The Karol Adamiecki University of Economics in Katowice, Poland

Bibliografia

• Blake C., Keogh E., Merz C. J. (1988), UCI Repository of Machine Learning Databases. Department of Information and Computer Science, University of California, Irvine.
• Bauer E., Kohavi R. (1999) An empirical comparison of voting classification algorithms: bagging, boosting, and variants, Machine Learning, 36, p. 105-139.
• Breiman L. (1999), Using adaptive bagging to debias regression, Technical Report, Statistics Department, University of California, Berkeley.
• Freund Y. (1990), Boosting a weak learning algorithm by majority, Proceedings of the 3rd Annual Workshop on Computational Learning Theory, p. 202-216.
• Freund Y. (1995), Boosting a weak learning algorithm by majority, Information and Computation, 121 (2), p. 256-285.
• Freund Y., Schapire R. E. (1995), A decision-theoretic generalization of on-line learning and an application to boosting, Proceedings of the 2nd European Conference on Computational Learning Theory, Springer-Verlag, p. 23-27.
• Friedman J. (2001) Greedy function approximation: a gradient boosting machine, Annals of Statistics, 29(5), p. 1189-1232.
• Friedman J. (2002), Stochastic gradient boosting, Computational Statistics and Data Analysis 38(4), p. 367-378.
• Friedman J., Hastie T., Tibshirani R. (1998), Additive logistic regression: a statistical view of boosting, Technical Report.
• Ridgeway G. (2005) Generalized boosted models: A guide to the gbm package, http://i-pensieri.com/gregr/papers/gbm-vignette.pdf