Agregacja modeli predykcyjnych z wykorzystaniem dekompozycji błędu średniokwadratowego

• Autorzy: Ryszard Szupiluk

Warianty tytułu

Prediction models ensemble with MSE decomposition

• Języki publikacji: PL

Abstrakty

W niniejszym artykule przedstawione zostaną teoretyczne podstawy dla działania metody agregacji modeli w oparciu o wielowymiarowe dekompozycje danych. W metodzie tej traktujemy zbiór rezultatów predykcji jako wielowymiarową zmienną, zawierającą destrukcyjne dla wyniku prognozy ukryte komponenty. Wykorzystanie technik dekorelujących dane oraz dekompozycja błędu średniokwadratowego pozwala na identyfikacje i eliminuję komponentów destrukcyjnych. Prowadzi to do poprawy wyników predykcji. Potwierdzeniem skuteczności metody jest praktyczny eksperyment prognozowania zużycia energii elektrycznej. (abstrakt oryginalny)

EN

In this paper we present the theoretical background for ensemble methods via multivariate decompositions. Having a set of models we treat their results as a multivariate variable with destructive and constructive latent components. The data decorrelation and MSE error decompositions provide to proper destructive components identification and elimination. The elimination of destructive components should improve final prediction. The validity of the approach is verified by energy load prediction problem. (original abstract)

Słowa kluczowe

PL

Energia elektryczna; Zużycie energii; Sztuczna inteligencja; Agregacja modeli

EN

Electric power; Energy use; Artificial intelligence; Aggregation models

• Czasopismo: Roczniki Kolegium Analiz Ekonomicznych / Szkoła Główna Handlowa
• Rocznik: 2009
• Numer: nr 19 Technologie informatyczne w zarządzaniu organizacjami : wybrane zagadnienia
• Strony: 163--170

Twórcy

autor

Ryszard Szupiluk

• Szkoła Główna Handlowa w Warszawie

Bibliografia

• Amari S. (1998) Natural gradient works efficiently in learning, Neural Computation, 10:271-276.
• Bastes J.M., C.W.J. Granger (1969) The combination of forecasts, Operations Research Quarterly 20, 451-468.
• Bishop C. M. (1995), Neural Networks for Pattern Recognition Oxford University Press.
• Breiman L. (1996) Bagging Predictors, Machine Learning 24, 123-140.
• Cardoso J.F. (1999) High-order contrasts for independent component analysis, in Neural Computation, vol. 11, no 1, pp. 157-192, Jan.
• Cichocki, A., Amari, S. (2002) Adaptive Blind Signal and Image Processing, John Wiley, Chichester.
• Cichosz P., (2007) Systemy uczące się, WNT 2007.
• Clemen R. T. (1997) Combining forecasts: review and annotated bibliography, Int. J. of Forecasting 5 (1989): 559-583.
• Drucker H. Improving Regressors using Boosting Techniques. ICML 1997, 107-115.
• Elliott G., A. Timmermann (2004) Optimal forecast combinations under general loss functions and forecast error distributions, Journal of Econometrics 122(1),47-79.
• Gatnar E. (2008), Podejście wielomodelowe w zagadnieniach dyskryminacji i regresji, PWN, Warszawa.
• Haykin, S. (1994) Neural networks: a comprehensive foundation, Macmillan, New York.
• Hoeting J., D. Madigan, A. Raftery, C. Volinsky (1999) Bayesian model averaging: a tutorial. Statistical Science, 14, 382-417.
• Hyvarinen, A., Karhunen, J., Oja, E. (2001) Independent Component Analysis. John Wiley.
• Joliffe I. T. (2002) Principal Component Analysis, Springer Verlag, July.
• Lendasse, A., Cottrell, M., Wertz, V., Verdleysen (2002) M. Prediction of Electric Load using Kohonen Maps - Application to the Polish Electricity Consumption, Proc. Am. Control Conf., Anchorage AK 3684-3689.
• Mitchell, T. (1997) Machine Learning. McGraw-Hill, Boston.
• Rutkowski L. (2006) Metody i techniki sztucznej inteligencji, PWN.
• Osowski S. (1996) Sieci neuronowe w ujęciu algorytmicznym, WNT.
• Siwek K. (2000), Prognozowanie obciążeń w systemie elektroenergetycznym przy wykorzystaniu sztucznych sieci neuronowych, Warszawa, Politechnika Warszawska.
• Siwek K., Osowski S., Szupiluk R., Wojewnik P., Ząbkowski T. (2005), Blind Source Separation for Improved Load Forecasting in the Power System, IEEE Conf. ECCTD 2005, Cork, Irlnandia.
• Scholkopf B., Smola A. (2002), Learning With Kernels: Support Vector Machines, Regularization, Optimization and Beyond, MIT Press.
• Szupiluk, R., Wojewnik, P., Zabkowski, T. (2004) Model Improvement by the Statistical Decomposition. Artificial Intelligence and Soft Computing Proceedings. LNCS, Springer-Verlag Heidelberg, 1199-1204.
• Szupiluk, R., Wojewnik, P., Zabkowski, T. (2007) Smooth Component Analysis as Ensemble Method for Prediction Improvement, ICA2007, Lecture Notes in Computer Science, Springer Berlin-Heidelberg, vol. 4666/ 2007 pp. 277-284.
• Szupiluk R., Wojewnik P., Zabkowski T., (2006) Temporal Blind Source Separation Methods For Models Results Improvement, Artificial Intelligence and Soft Computing, seria Challanging Problems in Science, wydawnictwo Exit, Warszawa.
• Therrien, C.W. (1992) Discrete Random Signals and Statistical Signal Processing. Prentice Hall, New Jersey.
• Vapnik V. (1998), Statistical Learning Theory, John Wiley.
• Witten I. H., Frank E. (2005) Data Mining: Practical Machine Learning Tools and Techniques (Second Edition), Morgan Kauftnann.
• Wolpert D. (1992) Stacked Generalization. Neural Networks, Vol. 5, 241-259.
• Zibulevsky, M., Kisilev, P., Zeevi, Y.Y., Pearlmutter, B.A. (2002) Blind source separation via multinode sparse representation. In Advances in Neural Information Processing.