O regularyzacji wybranych nieparametrycznych modeli regresji

• Autorzy: Joanna Trzęsiok

Warianty tytułu

Various Regularization Issues of Regression

• Języki publikacji: PL

Abstrakty

Problem regularyzacji został w różny sposób rozwiązany w nieklasycznych metodach regresji. Celem tego artykułu jest przedstawienie przykładowych rozwiązań tego zagadnienia w wybranych nieparametrycznych metodach regresji, takich jak: metoda krzywych sklejanych, MARS i MART.(fragment tekstu)

EN

It is well known in statistics, that fitting the training data too well can increase prediction risk on the future predictions. In other words too large flexibility of the regression function would cause a learner to overfit the data, i.e. the learner would be able to model the noise in the data as well as the generating process and it leads to poor generalization. The process of finding the balance between minimizing the training error and controlling capacity is called regularization. The paper presents the issue and gives two examples of regularization technique in case of MARS and MART.(original abstract)

Słowa kluczowe

PL

Regresja nieparametryczna; Modele regresji

EN

Nonparametric regression; Regression models

• Czasopismo: Studia Ekonomiczne / Akademia Ekonomiczna w Katowicach
• Rocznik: 2008
• Numer: nr 50 Zastosowanie metod matematycznych w ekonomii i zarządzaniu
• Strony: 139--150

Twórcy

autor

Joanna Trzęsiok

• Akademia Ekonomiczna im. Karola Adamieckiego w Katowicach

Bibliografia

• Cherkassky V., Mulier F.: Learning from Data - Concepts, Theory, and Methods. John Wiley & Sons, Inc., New York 1998.
• Friedman J.H.: Multivariate Adaptive Regression Splines. "Annals of Statistics" 1991, 19, pp. 1-141.
• Friedman J.H.: Greedy Function Approximation: A Gradient Boosting Machine. Technical report, Dept. of Statistics, Stanford University, 1999.
• Friedman J.H.: Stochastic Gradient Boosting. Technical report, Dept. of Statistics, Stanford University, 1999.
• Harrison D., Rubinfeld D.L.: Hedonic Prices and the Demand for Clean Air. "Journal of Environmental Economics and Management 8" 1978.
• Hastie T., Tibshirani R., Friedman J.H.: The Elements of Statistical Learning. Springer-Verlag, New York 2001.
• Koronacki J., Ćwik J.: Statystyczne systemy uczące się. Wydawnictwo Naukowo-Techniczne, Warszawa 2005.
• Trzęsiok J.: Wybrane nieparametryczne metody regresji i ich zastosowania. W: Klasyfikacja i analiza danych - teoria i zastosowania. Red. K. Jajuga, M. Walesiak. "Taksonomia 11" 2004, nr 1022, s. 107-115.
• Trzęsiok J.: Metoda krzywych składanych w budowie modelu regresyjnego. Zeszyty Naukowe, nr 36, Katowice 2005, s. 171-182.