Wzmacnianie zdolności predykcyjnych modeli dyskryminacyjnych przez wyodrębnianie zmiennych objaśniających z sieci neuronowych

• Autorzy: Michał Trzęsiok

Warianty tytułu

Improving Classification Accuracy Through Neural Networks' Feature Extraction

• Języki publikacji: PL

Abstrakty

Wybór metody jest elementem decydującym o pomyślności procesu modelowania, choć jakość i dobór informacji wykorzystanych przy budowie modelu automatycznego uczenia się wydają się co najmniej tak samo ważne. Mimo zautomatyzowanego mechanizmu uczenia nie wystarczy do zbioru uczącego wrzucenie wszystkich danych, jakimi dysponujemy. Konieczne jest dostarczenie informacji istotnych. Jedną z możliwości jest dobór zmiennych do modelu. Inną jest ich przekształcanie. W artykule przedstawiono procedurę łączącą te dwa podejścia - wyodrębnianie zmiennych z wielowarstwowych sieci neuronowych jako metodę doboru zmiennych do modeli budowanych innymi metodami wielowymiarowej analizy statystycznej. Celem artykułu jest zbadanie, jak takie podejście wpływa na zdolności predykcyjne modeli. Pokazano, że technikę tę należy traktować jako jedną z metod wstępnego przetwarzania danych, którą warto wypróbować, bo może prowadzić do polepszenia zdolności predykcyjnych modelu końcowego, choć tego nie gwarantuje.(abstrakt oryginalny)

EN

Combining different methods has proven to be a good idea that yields models with better prediction abilities. By deleting the output layer we can use neural networks as a method for feature extraction designed to work well for classification problems. By doing this we obtain dimensionality reduction similar to PCA, but with the new features being built with the specific purpose - for classification task. We can expect this technique to generate features with high discrimination power. The main goal of the research is to analyze whether this neural networks' feature extraction method can significantly improve the classification accuracy. The results show that it does the job sometimes, but comes with no warranty. Still it can be treated as an interesting, nonlinear alternative to PCA and a vaulable data preprocessing (dimensionality reduction) technique.(original abstract)

Słowa kluczowe

PL

Modelowanie ekonometryczne; Dobór zmiennych

EN

Econometric modeling; Variables selection

• Czasopismo: Prace Naukowe Uniwersytetu Ekonomicznego we Wrocławiu
• Rocznik: 2018
• Tom: 21
• Numer: nr 508 Klasyfikacja i analiza danych - teoria i zastosowania
• Strony: 227--236

Twórcy

autor

Michał Trzęsiok

• Uniwersytet Ekonomiczny w Katowicach

Bibliografia

• Breiman L., 2001, Random Forests, Machine Learning, 45, s. 5-32.
• Fisher R.A., 1936, The use of multiple measurements in taxonomic problems, Annals of Human Genetics, 7(2), s.179-188.
• Freund Y., Schapire R.E., 1997, A decision-theoretic generalization of on-line learning and an application to boosting, Journal of Computer and System Sciences, 55(1), s. 119-139.
• Gatnar E., 2008, Podejście wielomodelowe w zagadnieniach dyskryminacji i regresji, Wydawnictwo Naukowe PWN, Warszawa.
• Hastie T., Tibshirani R., Friedman J., 2009, The Elements of Statistical Learning, 2 wyd., Springer Verlag, New York.
• Krzyśko M., Wołyński W., Górecki T., Skorzybut M., 2008, Systemy uczące się. Rozpoznawanie wzorców, analiza skupień i redukcja wymiarowości, WNT, Warszawa.
• Meyer D., Leisch F., Hornik K., 2003, The Support Vector Machine under Test, Neurocomputting, 55(1), s. 169-186.
• Mori K., Matsugu M., Suzuki T., 2005, Face Recognition Using SVM Fed with Intermediate Output of CNN for Face Detection, IAPR Conference on Machine Vision Applications, May 16-18, s. 410-413.
• Rosenblatt F., 1962, Principles of neurodynamics: Perceptrons and the theory of brain mechanisms, Spartan, Washington DC.
• Rozmus D., 2008, Agregacja modeli klasyfikacyjnych i regresyjnych, Fundacja Promocji i Akredytacji Kierunków Ekonomicznych, Warszawa.
• Trzęsiok M., 2006, Metoda wektorów nośnych na tle innych metod wielowymiarowej analizy danych, Taksonomia 13, Klasyfikacja i analiza danych - teoria i zastosowania, red. K. Jajuga, M. Walesiak, Wydawnictwo Akademii Ekonomicznej we Wrocławiu, Wrocław, s. 536-542.
• Vapnik V., 1998, Statistical Learning Theory, John Wiley & Sons, New York.
• Widrow B., Hoff M.E., 1960, Adaptive switching circuits (no. TR-1553-1). Stanford University, Stanford Electronics Labs, Stanford.
• Wolpert D., Macready W., 1997, No Free Lunch theorems for Optimization, IEEE Transactions on Evolutionary Computation, 1(1), s. 67-82.

Identyfikatory

DOI

10.15611/pn.2018.508.23