Unbiased Recursive Partitioning Algorithm in Regression Trees

• Autorzy: Dorota Rozmus
• Języki publikacji: EN

Abstrakty

EN

Classification and regression trees are very popular tool for prediction. The construction of these models is based on recursive partitioning of multidimensional attribute space into disjoint homogenous regions till gaining the maximum homogeneity from the point of view of the dependent variable value. The main aim of this research is to apply in regression trees unbiased recursive partitioning algorithm proposed by Hothorn, Hornik and Zeileis (2006), which is based on permutation tests. The research takes into consideration both single and aggregated approach and compare the results with classical method of tree model construction based on exhaustive search algorithm proposed by Breiman et al. (1984). (original abstract)

Drzewa klasyfikacyjne i regresyjne są bardzo popularnym narzędziem predykcji. Budowa takiego modelu polega na stopniowym podziale wielowymiarowej przestrzeni cech na rozłączne obszary aż do uzyskania maksymalnej ich homogeniczności ze względu na wartość zmiennej objaśnianej y. Podział ten kontynuowany jest w kolejnych krokach, w oparciu o wartości wybranych zmiennych objaśniających. Istnieje wiele możliwych sposobów wyboru tych zmiennych, a jednym z najpopularniejszych jest algorytm wyczerpującego przeszukiwania (ang. exhaustive search) opracowany przez Breimana (Breimana et al., 1984). Zaproponowany przez Hothorna, Hornika i Zeileisa, (2006) sposób doboru zmiennych znany pod nazwą nieobciążonej metody rekurencyjnego podziału (ang. unbiased murene partitioning) opierający się na zastosowaniu testów permutacyjnych miał na celu ominięcie podstawowej wady tradycyjnego podejścia, jakim jest tendencja do wyboru zmiennych dających wiele potencjalnych możliwości podziału. Okazuje się, że w przypadku dyskryminacji to nowatorskie podejście prowadzi do uzyskania modeli zapewniających bardzo zbliżone wyniki klasyfikacji jak podejście tradycyjne, a w podejściu wielomodelowym może doprowadzić do pogorszenia poprawności klasyfikacji. Zasadniczym celem referatu jest przedstawienie wyników badań, które mają na celu porównanie dokładności predykcji na podstawie drzew regresyjnych, które doboru zmiennych objaśniających dokonują za pomocą algorytmu wyczerpującego przeszukiwania oraz za pomocą podejścia bazującego na testach permutacyjnych. Ponadto porównane zostaną wyniki predykcji modeli zagregowanych, w których modelami składowymi będą te dwa rodzaje drzew regresyjnych. (abstrakt oryginalny)

Słowa kluczowe

EN

Classification trees; Regression models; Algorithms; Scientific research

PL

Drzewa klasyfikacyjne; Modele regresji; Algorytmy; Badania naukowe

• Czasopismo: Acta Universitatis Lodziensis. Folia Oeconomica
• Rocznik: 2009
• Tom: 228 Multivariate Statistical Analysis : Statistical Inference, Statistical Models and Applications
• Strony: 77--83

Twórcy

autor

Dorota Rozmus

• The Karol Adamiecki University of Economics in Katowice, Poland

Bibliografia

• Breiman L. (1996), Bagging predictors, "Machine Learning", 26 (2), 123-140.
• Breiman L. (2001), Random forests, "Machine Learning" 45, 5-32.
• Breiman L., Friedman J., Olshen R., Stone C. (1984), Classification and regression trees, CRC Press, London.
• Hothorn T., Hornik K., Zeileis A. (2006), Unbiased Recursive Partitioning: A Conditional Inference Framework, Journal of Computational and Graphical Statistics, 15 (3), 651-674.
• Kass G. (1980), An Exploratory Technique for Investigating Large Quantities of Categorical Data, Applied Statistics, 29 (2), 119-127.
• Loh W. Y., Shih Y. S. (1997), Split Selection Methods for Classification Trees, Statistica Sinica, 7, 815-840.
• Loh W.Y., Vanichsetakul N. (1988), Tree-Structured Classification via Generalized Discriminant Analysis, Journal of the American Statistical Association, 83, 715-725.
• Strasser H., Weber C., (1999), On the Asymptotic Theory of Permutation Statistics, Mathematical Methods of Statistics, 8,220-250.