Symulacyjna ocena jakości zagregowanych modeli zbudowanych metodą wektorów nośnych

• Autorzy: Michał Trzęsiok

Warianty tytułu

Benchmarking Aggregated Support Vector Regression Models

• Języki publikacji: PL

Abstrakty

Wyniki publikowane w wielu pozycjach literatury świadczą o tym, że dyskryminacja z wykorzystaniem metody wektorów nośnych na ogół daje mniejsze błędy klasyfikacji niż metody alternatywne. Otrzymane za jej pomocą modele są nieliniowe, przestrzeń hipotez jest bardzo liczna, ale jednocześnie w metodzie jest wykorzystywany mechanizm regularyzacji przeciwdziałający nadmiernemu dopasowaniu modelu do danych ze zbioru uczącego, gdyż jest to częstą przyczyną wystąpienia dużych błędów predykcji. Istnieje naturalny sposób przeformułowania metody wektorów nośnych tak, aby realizowała zadania regresji. Wiele pożądanych własności dyskryminacyjnej metody SVM przenosi się na jej odpowiednik regresyjny, lecz w porównaniu z innymi modelami regresji wydaje się tracić pozycję metody najdokładniejszej na rzecz metod wykorzystujących drzewa regresyjne. Ponadto metody zagregowanych drzew regresyjnych wydają się mieć przewagę w większej prostocie oraz możliwościach interpretowania modeli składowych i pozyskiwania z nich wiedzy o badanym zjawisku. Ich algorytm jest prostszy i efektywniejszy pod względem numerycznym niż w metodzie SVM. Na uwagę zasługuje fakt, potwierdzony również przyspieszonym rozwojem badań w tym obszarze, że na ogół najlepsze rezultaty można otrzymać, gdy buduje się nie jeden model, lecz wiele modeli składowych, które się agreguje otrzymując model końcowy. Zasadę tą przede wszystkim jednak stosuje się do agregowania modeli drzew regresyjnych. Ze względu na wbudowany mechanizm redukcji wariancji modelu w algorytmie metody wektorów nośnych nie zawsze stosowanie techniki łączenia równoległego modeli prowadzi do wygenerowania modelu o dokładniejszej predykcji niż model zbudowany wprost na całym zbiorze uczącym z odpowiednio dobranymi parametrami. Wobec niewielkiej redukcji błędu predykcji oraz znacznej złożoności obliczeniowej pojedynczej metody SVM można więc uznać, że dodatkowe powiększanie tej złożoności przez stosowanie techniki łączenia równoległego wielu składowych modeli SVM nie jest zasadne. Interesująca wydaje się jednak inna możliwość łączenia wielu modeli SVM o strukturze sekwencyjnej. (fragment tekstu)

EN

Support Vector Machines (SVM) are a state-of-the-art classification method, but they are also suitable, after a special reformulation, to perform a regression task. Similarly to classification, for a nonlinear regression problem, SVMs use the kernel trick and map the input space into a high-dimensional feature space first, and then perform linear regression in the high-dimensional feature space. One can use the model ensemble approach to try to improve the prediction accuracy. The paper presents the comparison of a single SVM, aggregated SVM and other regression models (linear regression, Projection Pursuit Regression, Neural Networks, Regression Trees, Random Forest, Bagging) by the means of a mean squared test set error. (original abstract)

Słowa kluczowe

PL

Modele matematyczne; Symulacja; Metoda wektorów nośnych (SVM)

EN

Mathematical models; Simulation; Support Vector Machines (SVM)

• Czasopismo: Studia Ekonomiczne / Uniwersytet Ekonomiczny w Katowicach
• Rocznik: 2013
• Numer: nr 132 Zastosowania metod matematycznych w ekonomii i zarządzaniu
• Strony: 115--126

Twórcy

autor

Michał Trzęsiok

Bibliografia

• Breiman L.: Bagging Predictors.,,Machine Learning" 1996, No. 24.
• Cristianini N., Shawe-Taylor J.: An Introduction to Support Vector Machines (and Other Kernel-based Learning Methods). Cambridge University Press, Cambridge 2000.
• Friedman J.: Multivariate Adaptive Regression Splines. "The Annals of Statistics" 1991, 19 (1).
• Gatnar E.: Podejście wielomodelowe w zagadnieniach dyskryminacji i regresji. Wydawnictwo Naukowe PWN, Warszawa 2008.
• Gunn S.R.: Support Vector Machines for Classification and Regression. Technical Report, Image Speech and Intelligent Systems Research Group, University of Southampton, 1997.
• Rozmus D.: Random forest jako metoda agregacji modeli dyskryminacyjnych. W: Taksonomia 11. Klasyfikacja i analiza danych - teoria i zastosowania. Red. K. Jajuga, M. Walesiak. Wydawnictwo Akademii Ekonomicznej, Wrocław 2004, s. 441-448.
• Smola A., Schölkopf B.: Learning with Kernels. Support Vector Machines, Regularization, Optimization, and Beyond. MIT Press, Cambridge, USA, 2002.
• Trzęsiok M.: Analiza wybranych własności metody dyskryminacji wykorzystującej wektory nośne. W: Postępy ekonometrii. Red. A.S. Barczak. Wydawnictwo Akademii Ekonomicznej, Katowice 2004, s. 331-342.
• Trzęsiok M.: Metoda wektorów nośnych w konstrukcji nieparametrycznych modeli regresji. W: Taksonomia 12. Klasyfikacja i analiza danych. Red. K. Jajuga, M. Walesiak. Wydawnictwo Akademii Ekonomicznej, Wrocław 2005, s. 501-510.
• Vapnik V.: Statistical Learning Theory. John Wiley & Sons, Nowy Jork 1998.