Efficient Training of RBF Neural Networks

• Autorzy: Paweł Różycki , Janusz Kolbusz , Tomasz Bartczak

Warianty tytułu

Skuteczne szkolenie w zakresie sieci neuronowych radialnych funkcji bazowych (RBF)

• Języki publikacji: EN

Abstrakty

EN

RBF networks seem to be an interesting and efficient alternative for traditional sigmoid-based neural networks. More sophisticated activation function makes a network more powerful but requires developing of new training methods. The paper presents a new more efficient training algorithm based on the second-order constructive ErrCor algorithm. The effectiveness of the proposed approach has been confirmed by several experiments with both approximation and classification problems. (original abstract)

Sieci radialnych funkcji bazowych (RBF) wydają się ciekawą i skuteczną alternatywą dla tradycyjnych sieci neuronowych opartych na sigmoidach. Bardziej zaawansowana funkcja aktywująca czyni sieć potężniejszą, ale wymaga opracowania nowych metod szkolenia. Artykuł przedstawia nowy, bardziej skuteczny algorytm szkolenia oparty na konstruktywnym algorytmie drugiego rzędu ErrCor. Skuteczność proponowanego podejścia została potwierdzona przez kilka eksperymentów zarówno z problemami aproksymacyjnymi, jak i klasyfikacyjnymi. (abstrakt oryginalny)

Słowa kluczowe

EN

Wireless local area network (WLAN); High-tech; Internet; Wi-Fi; High-performance computing systems

PL

Bezprzewodowa sieć lokalna (WLAN); Nowe technologie; Internet; Wi-Fi; Systemy wysokiej wydajności

• Czasopismo: Kwartalnik Naukowy Uczelni Vistula
• Rocznik: 2018
• Numer: nr 2(56)
• Strony: 257--268

Twórcy

autor

Paweł Różycki

• Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

autor

Janusz Kolbusz

• Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

autor

Tomasz Bartczak

• Akademia Finansów i Biznesu Vistula w Warszawie

Bibliografia

• Bengio Y. (20090, Learning deep architectures for AI , "Foundations and Trends in Machine Learning", No. 2(1).
• Cecati C., Kolbusz J., Różycki P., Siano P., Wilamowski B. (2015), A Novel RBF Training Algorithm for Short-Term Electric Load Forecasting and Comparative Studies , "IEEE Transactions on Industrial Electronics".
• Ciresan D.C., Meier U., Gambardella L.M., Schmidhuber J. (2010), Deep big simple neural nets excel on handwritten digit recognition , CoRR.
• Huang G.-B., Chen L., Siew C.-K. (2006), Universal approximation using incremental constructive feedforward networks with random hidden nodes , "IEEE Transactions on Neural Network", Vol. 17, No. 4.
• Huang G.-B., Chen L. (2007), Convex incremental extreme learning machine , "Neurocomputing", Vol. 70, No. 16-18.
• Huang G.-B., Zhu Q.-Y., Siew Ch.-K. (2006), Extreme learning machine: theory and applications , "Neurocomputing", Vol. 70, Iss. 1-3.
• Fahlman S.E., Lebiere C. (1990), The cascade-correlation learning architecture, (in:) D.S. Touretzky (ed.), Advances in Neural Information Processing Systems 2 , Morgan Kaufmann, San Mateo.
• Lang K.L., Witbrock M.J. (1988), Learning to Tell Two Spirals Apart , Proceedings of the 1988 Connectionists Models Summer School, Morgan Kaufman.
• Płaczek S., Adhikari B. (2014), Analysis of MultiLayer Neural Networks with Direct and Cross Forward Connection , "Fundamenta Informaticae", Vol. 133, No. 2-3.
• Różycki P., Kolbusz J. (2015), Enhanced Error Correction Algorithm for RBF Neural Networks , Proceedings of 24th International Workshop Concurrency, Specification & Programming, (CS&P'15), Rzeszów, September 28-30.
• Rumelhart D.E., Hinton G.E., Williams R.J. (1986), Learning representations by back -propagating errors , "Nature", Vol. 323.
• Smola A.J., Schölkopf B. (1998), A tutorial on support vector regression , NeuroCOLT2 Technical Report NC2-TR-1998-030.
• Vapnik V.N. (1998), Statistical Learning Theory, Wiley, New York.
• Werbos P.J. (1988), Back-propagation: Past and Future , Proceeding of International Conference on Neural Networks, San Diego.
• Wilamowski B.M. (2010), Challenges in Applications of Computational Intelligence in Industrial Electronics , "IEEE International Symposium on Industrial Electronics", July 04-07.
• Wilamowski B.M., Yu H. (2010), Neural Network Learning Without Backpropagation , "IEEE Transactions on Neural Networks", Vol. 21, No. 11.
• Wu X., Wilamowski B.M. (2013), Advantage analysis of sigmoid based RBF networks, Proceedings of the 17th IEEE International Conference on Intelligent Engineering Systems (INES'13).
• Yu H., Xie T., Hewlett J., Różycki P., Wilamowski B. (2012), Fast and Efficient Second Order Method for Training Radial Basis Function Networks , "IEEE Transactions on Neural Networks", Vol. 24, Iss. 4.
• Yu H., Reiner P., Xie T., Bartczak T., Wilamowski B. (2014), An Incremental Design of Radial Basis Function Networks , "IEEE Transactions on Neural Networks and Learning Systems", Vol. 25, No. 10.
• http://www.dcc.fc.up.pt/~ltorgo/Regression/cal_housing.html [access: 01.10.2017].