Przegląd metod regularyzacji w zagadnieniach regresji nieparametrycznej

• Autorzy: Michał Trzęsiok

Warianty tytułu

Various Regularization Issues In Nonparametric Regression

• Języki publikacji: PL

Abstrakty

Wiele nieparametrycznych funkcji regresji w trakcie wykonywania algorytmu jest systematycznie poprawianych, tak by końcowy model charakteryzował się jak najlepszym dopasowaniem do danych ze zbioru uczącego. W efekcie otrzymujemy modele o niskich wartościach błędów resubstytucji i wysokiej złożoności, które jednak charakteryzują się niewielką zdolnością uogólniania, rozumianą jako zdolność poprawnej predykcji na nowych obiektach. Zachodzi potrzeba przeciwdziałania temu zjawisku. Proces uproszczenia postaci modelu przy jednoczesnym kontrolowaniu jego dopasowania nazywamy regularyzacją. W artykule przedstawione i porównane zostały techniki regularyzacji wykorzystywane w nieparametrycznych metodach regresji.(abstrakt oryginalny)

EN

It is well known in statistics that fitting the training data too well can increase prediction risk on future predictions. In other words too large flexibility of the regression function would cause a learner to overfit the data, i.e. the learner would be able to model the noise in the data as well as the generating process and it leads to poor generalization. The process of finding the trade-off between minimizing the training error and controlling capacity is called regularization. The paper presents the issue and gives examples of regularization technique in case of nonparametric methods of regression.(original abstract)

Słowa kluczowe

PL

Regresja nieparametryczna

EN

Nonparametric regression

• Czasopismo: Prace Naukowe Uniwersytetu Ekonomicznego we Wrocławiu. Taksonomia
• Rocznik: 2011
• Tom: 18
• Numer: nr 176 Klasyfikacja i analiza danych - teoria i zastosowania
• Strony: 330--339

Twórcy

autor

Michał Trzęsiok

• Uniwersytet Ekonomiczny w Katowicach

Bibliografia

• Breiman L., Friedman J., Stone C., Olshen R., Classification and Regression Trees, CRC Press, London 1984.
• Gatnar E., Podejście wielomodelowe w zagadnieniach dyskryminacji i regresji, PWN, Warszawa 2008.
• Harrison D., Rubinfeld D.L., Hedonic prices and the demand for clean air, "Journal of Environmental Economics and Management" 1978, no. 8.
• Hastie T., Tibshirani R., Friedman J., The Elements of Statistical Learning, Springer -Verlag, New York, 2001.
• Friedman J., SMART user's Guide, Technical Report 1, Department of Statistics, Stanford University, 1984.
• Friedman J., Stuetzle W., Projection pursuit regression, "Journal of the American Statistical Association" 1981, no. 76, s. 817-823.
• Kooperberg C., Bose S., Stone C., Polychotomous regression, "Journal of the American Statistical Association" 1997, no. 92, s. 117-127.