On Some Simulation Procedures for Comparing Nonparametric Methods of Regression

• Autorzy: Joanna Trzęsiok

Warianty tytułu

Wybrane symulacyjne procedury porównywania nieparametrycznych metod regresji

• Języki publikacji: EN

Abstrakty

EN

Nonparametric methods of regression form a large group of varied and rapidly growing methods. In many situations we have a problem with comparing these methods in order to select one of them to solve the regression problem. We present the simulation procedure for comparing the performance of several competing algorithms of nonparametric regression. This procedure has two stages. In the first one, the ranking of nonparametric models of regression is created. In the second stage, statistical test procedures can be used to test the significance of differences in the performances of models presented in the ranking. The procedure is applied to regression benchmark studies based on real world data. (original abstract)

W artykule przedstawiono symulacyjną procedurę badawczą pozwalającą na porównywanie różnych nieparametrycznych modeli regresji, jak i wybór najlepszego z nich. Zaproponowana procedura przebiega dwuetapowo. W pierwszym etapie tworzony jest ranking modeli regresji, pod względem dokładności predykcji, mierzonej za pomocą błędu średniokwadratowego obliczonego metodą sprawdzania krzyżowego (MSE_CV ). Drugi etap analizy ma na celu zbadanie istotności różnic pomiędzy uzyskanymi wartościami MSE_CV, a tym samym skorygowanie otrzymanych rankingów. Do testowania istotności wspomnianych różnic wykorzystano nieparametryczną statystykę testującą zaproponowaną przez Hothorna. Opisaną procedurę badawczą zastosowano w badaniu empirycznym, dla zbiorów danych standardowo wykorzystywanych do analizowania własności różnych metod regresji. (abstrakt oryginalny)

Słowa kluczowe

EN

Regression models; Nonparametric regression; Scientific experiment

PL

Modele regresji; Regresja nieparametryczna; Eksperyment badawczy

• Czasopismo: Acta Universitatis Lodziensis. Folia Oeconomica
• Rocznik: 2013
• Tom: 286 Methods and Applications of Multivariate Statistical Analysis
• Strony: 155--161

Twórcy

autor

Joanna Trzęsiok

• The Karol Adamiecki University of Economics in Katowice, Poland

Bibliografia

• Bishop C. (1995), Neural Networks for Pattern Recognition, Oxford University Press, Oxford.
• Breiman L. (1996), Bagging Predictors, Machine Learning, 24, 123-140.
• Breiman L. (2001), Random Forests, Machine Learning, 45, 5-32.
• Friedman J. (1999a), Greedy Function Approximation: a Gradient Boosting Machine, Technical Report, Stanford University, Dept. of Statistics.
• Friedman J. (1999b), Stochastic Gradient Boosting, Technical Report, Stanford University, Dept. of Statistics.
• Friedman J., Stuetzle W. (1981), Projection Pursuit Regression, Journal of the American Statistical Association, 76, 817-823.
• Hothorn T., Leisch F., Zeileis A., Hornik K. (2005), The Design and Analysis of Benchmark Experiments, Journal of Computational and Graphical Statistics, 14(3), 675-699.
• Kooperberg C, Bose S., Stone C. (1997), Polychotomous Regression, Journal of the American Statistical Association, 92, 117-127.
• Meyer D., Leisch F., Hornik K. (2003), The Support Vector Machine under Test, Neurocomputing, 55(1-2), 169-186.
• Vapnik V. (1998), Statistical Learning Theory, "Adaptive and Learning Systems for Signal Processing, Communications, and Control", John Wiley & Sons, New York.