Gradient Boosting in Regression

• Autorzy: Eugeniusz Gatnar

Warianty tytułu

Gradientowa odmiana metody boosting w analizie regresji

• Języki publikacji: EN

Abstrakty

EN

The successful tree-based methodology has one serious disadvantage: lack of stability. That is, regression tree model depends on the training set and even small change in a predictor value could lead to a quite different model. In order to solve this problem single trees are combined into one model. There are three aggregation methods used in classification: bootstrap aggregation (bagging), adaptive resample and combine (boosting) and adaptive bagging (hybrid bagging-boosting procedure). In the field of regression a variant of boosting, i.e. gradient boosting, can be used. Friedman (1999) proved that boosting is equivalent to a stepwise function approximation in which in each step a regression tree models residuals from last step model. (original abstract)

Szeroko stosowane w praktyce metody nieparametryczne wykorzystujące tzw. drzewa regresyjne mają jedną istotną wadę. Otóż wykazują one niestabilność, która oznacza, że niewielka zmiana wartości cech obiektów w zbiorze uczącym może prowadzić do powstania zupełnie innego modelu. Oczywiście wpływa to negatywnie na ich trafność prognostyczną. Tę wadę można jednak wyeliminować, dokonując agregacji kilku indywidualnych modeli w jeden. Znane są trzy metody agregacji modeli i wszystkie opierają się na losowaniu ze zwracaniem obiektów ze zbioru uczącego do kolejnych prób uczących: agregacja bootstrapowa (boosting), losowanie adaptacyjne (bagging) oraz metoda hybrydowa, łącząca elementy obu poprzednich. W analizie regresji szczególnie warto zastosować gradientową, sekwencyjną, odmianę metody boosting. W istocie polega ona wykorzystaniu drzew regresyjnych w kolejnych krokach do modelowania reszt dla modelu uzyskanego w poprzednim kroku. (abstrakt oryginalny)

Słowa kluczowe

EN

Gradient method; Regression analysis; Nonparametric regression; Regression models; Bootstrap

PL

Metoda gradientu; Analiza regresji; Regresja nieparametryczna; Modele regresji; Metody samowsporne

• Czasopismo: Acta Universitatis Lodziensis. Folia Oeconomica
• Rocznik: 2005
• Tom: 194 Multivariate Statistical Analysis : Probability, Statistical Inference and Applications
• Strony: 11--19

Twórcy

autor

Eugeniusz Gatnar

• The Karol Adamiecki University of Economics in Katowice, Poland

Bibliografia

• Breiman L. (1996), Bagging predictors, Machine Learning, 24, 123-140.
• Breiman L. (1999), Using adaptive bagging to debias regressions, Technical Report, 547, Statistics Department, University of California, Berkeley.
• Breiman L., Friedman, J., Olshen, R., Slone, C. (1984), Classification and Regression Trees, Wadsworth, Belmont, CA.
• Freund Y., Schapire, R.E. (1997), A decision-theoretic generalization of on-line learning and an application to boosting, Journal of Computer and System Sciences, 55, 119-139.
• Friedman J.H. (1991), Multivariate adaptive regression splines, Annals of Statistics, 19, 1-141.
• Friedman J.H. (1999), Greedy Function Approximation: a Gradient Boosting Machine, Statistics Department, Stanford University, Stanford.
• Galnar E. (2001), Nieparametryczna metoda dyploryminacji i regresji (Nonparametric method for discrimination and regression; in Polish) PWN, Warszawa.
• Harrison D., Rubinfeld, D.L. (1978), Hedonic prices and the demand for clean air, Journal of Environmental Economics and Management, 8, 81-102.
• Hastie T., Tibshirani, R., F'riedman, J. (2001), The Elements of Statistical Learning, Springer, New York.
• Pace R.K., Barry, R. (1997), Sparse spatial autoregressions, Statistics and Probability Letters, 33, 291-297.