Integracja modeli w metodach Data Mining

• Autorzy: Ryszard Szupiluk

Warianty tytułu

Models integration in Data Mining

• Języki publikacji: PL

Abstrakty

W odróżnieniu od standardowych procedur zadaniem nowej metody integracji nie jest uśrednianie czy ważenie wyników kilku modeli (boosting, bagging) w sposób optymalny dla jednego kryterium błędu (np. MSE), lecz poszukiwanie fundamentalnych komponentów mających wpływ na predykcję. Czynimy to jednak nie od strony danych wejściowych, a od strony rezultatów. Czynniki te mogą być bowiem związane zarówno z danymi wejściowymi, jak i działaniem modeli, rezultaty zaś zawierają informację o całym procesie. Estymacja, interpretacja, a następnie eliminacja destrukcyjnych komponentów jest rzeczą kluczową w całym procesie. Zauważmy też, że eliminacja takiego czynnika prowadzi (teoretycznie) do poprawy we wszystkich modelach, według wszystkich kryteriów. Metoda opisana powyżej może być traktowana jako wielowymiarowa filtracja eliminująca negatywne komponenty, która w odróżnieniu od klasycznej filtracji wykorzystuje informację generowaną jednocześnie przez wiele modeli. Istotnym czynnikiem przemawiającym za stosowaniem niniejszej metody może być to, że mimo nowatorskiej koncepcji jej realizacja odbywa się przez wykorzystanie standardowych procedur istniejących w pakietach Data Mining. Adresowana więc może zarówno do statystyków, jak i informatyków baz danych. (abstrakt oryginalny)

EN

In this paper we propose a novel ensemble methods for prediction improvement. Results generated by a model usually include both wanted and destructive components. In case of a few models, some of the components can be common to all of them. Our aim is to find basis elements and distinguish the components with the constructive influence on the modelling quality from the destructive ones. After rejecting the negative elements from the models' results we obtain better results in terms of some standard error criteria. (original abstract)

Słowa kluczowe

PL

Data Mining; Zarządzanie przedsiębiorstwem; Analiza finansowa

EN

Data Mining; Enterprise management; Financial analysis

• Czasopismo: Roczniki Kolegium Analiz Ekonomicznych / Szkoła Główna Handlowa
• Rocznik: 2006
• Numer: nr 16 Współczesne trendy w informatyce ekonomicznej
• Strony: 301--309

Twórcy

autor

Ryszard Szupiluk

• Szkoła Główna Handlowa w Warszawie

Bibliografia

• Akaike H., A new look at the statistical model identification, "IEEE Transactions on Automatic Control" 1974, Vol. 19, s. 716-723.
• Armstrong J.S., Collopy F., Error Measures For Generalizing About Forecasting Methods: Empirical Comparisons, "International Journal of Forecasting" 1992, Vol. 8, s. 69-80.
• Breiman L., Bagging predictors, "Machine Learning" 1996, Vol. 24, s. 123-140.
• Breiman L., Bias, Variance, and Arcing Classifiers, Technical Report No. 460 Statistics Depertinent, University of California 1996.
• Breiman L., Stacked Regressions, "Machine Learning" 1996, Vol. 24, nr 1, s. 41-64.
• Cichocki A., Amari S., Adaptive Blind Signal and Image Processing, John Wiley, Chichester 2002.
• Clemen R.T., Combiningforecasts: A review and annotated bibliography, "International Journal of Forecasting" 1989, No 5, s. 559-583.
• Drucker H., Improving Regressors using Boosting Techniques, Proceedings of 14th International Conference on Machine Learning, Morgan-Kaufmann 1997, s. 107-115.
• Greene W.H., Econometric analysis, Prentice Hall 2000.
• Golub G.H., Van-Loan C.F., Matrix Computations, John Hopkins 1996.
• Haykin S., Neural Networks: a comprehensive foundation, Macmillan, New York 1994.
• Hoeting J., Madigan D., Raftery A., Volinsky C., Bayesian model averaging: a tutorial, "Statistical Science" 1999, Vol. 14, s. 382-417.
• Hyvarinen A., Karhunen J., Oja E., Independent Component Analysis, John Wiley 2001.
• Kennedy R.L., Lee Y., Van Roy B., Reed C., Lippman R.P., Solving Data Mining Problems with Pattern Recognition, Prentice Hall 1997.
• Mitchell T., Machine Learning, McGraw-Hill, Boston 1997.
• Szupiluk R., Wojewnik P., Ząbkowski T., Model Improvement by the Statistical Decomposition, Artificial Intelligence and Soft Computing Proceedings, "Lecture Notes in Computer Science", Springer Verlag, Heidelberg 2004, s. 1199-1204.
• Szupiluk R., Wojewnik P., Ząbkowski T., Combining Forecasts with Blind Signal Separation Methods in Electric Load Prediction Framework, Artificial Intelligence and Applications, AIA 2006, Innsbruck, February 13-16,2006.
• Szupiluk R., Wojewnik P., Ząbkowski T., Siwek K., Wielokryterialny system decyzyjny dla integracji modeli metodami ślepej separacji sygnałów, XXIXIC-SPETO, Ustroń 2005.
• Witten I.H., Frank E., Data Mining: Practical Machine Learning Tools and Techniques, Morgan Kaufman 2005.
• Wolpert D.H., Stacked generalization, "Neural Networks" 1992, No 5,241-259.
• Yang Y., Adaptive regression by mixing, "Journal of American Statistical Association" 2001, Vol. 96.