Ontogenic neural networks using orthogonal activation functions

• Autorzy: Yevgeni Bodyanskiy , Oleksandr Slipchenko
• Języki publikacji: EN

Abstrakty

EN

Artificial neural networks (ANNs) are widely applied to solving a variety of problems such as information processing, data analysis, system identification, control etc. under structural and parametric uncertainty. The goal of the present paper is the development of an algorithm for structural and synaptic adaptation of ANNs for nonlinear system modeling, capable of online operation, i.e. sequential information processing without re-training after structure modification.

Artykuł zawiera propozycję utworzenia ontogenicznej inteligentnej sieci neuronowej (ANN). Sieć działa, opierając się na ortogonalnej funkcji aktywacji, co znakomicie przyczynia się do redukcji złożoności obliczeniowej. Inną korzyścią tego podejścia jest stabilność numeryczna, ponieważ system aktywacji funkcji z definicji jest liniowo niezależny. Dla sieci ANN opracowana została procedura ucząca zapewniająca przez parametr przestrzeni konwergencję z minimum globalnym funkcji błędu. Algorytm umożliwia dodanie lub usunięcie węzła w czasie rzeczywistym bez ponownego uczenia sieci. Otrzymane wyniki symulacji potwierdzają efektywność proponowanego podejścia. (abstrakt oryginalny)

Słowa kluczowe

EN

Neural networks; Computer networks; Artificial intelligence; Algorithms; Knowledge based systems

PL

Sieci neuronowe; Sieci komputerowe; Sztuczna inteligencja; Algorytmy; Systemy z bazą wiedzy

• Czasopismo: Prace Naukowe Akademii Ekonomicznej we Wrocławiu
• Rocznik: 2006
• Numer: nr 1121 Pozyskiwanie wiedzy i zarządzanie wiedzą
• Strony: 13--20

Twórcy

autor

Yevgeni Bodyanskiy

autor

Oleksandr Slipchenko

Bibliografia

• Bateman H., Erdelyi A., Higher Transcendental Functions, Vol. 2, McGraw-Hill, 1953.
• Baumann M., Nutzung Neuronale Netze zur Prognose von Aktionkursen, Report Nr. 2/96, TU Ilmenau, 1996, 113 S.
• Bodyanskiy Ye.V., Kolodyazhniy V.V., Slipchenko O.M., Forecasting Neural Network with Orthogonal Activation Functions, [in:] Proc. of 1st Int. conf. Intelligent decision-making systems and information technologies, Chernivtsi, Ukraine, 2004, p. 57 (in Russian).
• Cun Y.L., Denker J.S., Solla S.A., Optimal Brain Damage, Advances in Neural Information Processing Systems, 2, 1990, p. 598-605.
• Fahlman S.E., Lebiere C, The Cascade-correlation Learning Architecture, Technical Report CMU-CS-90-100, School of Computer Science, Carnegie Mellon University, Pittsburgh, PA, 1990.
• Fueser K., Neuronale Neteze in der Finanzwirtshaft, Gabler, Wiesbanden 1995, 437 S.
• Gantmacher F.R., The Theory of Matrices, Chelsea Publ. Comp., New York 1977.
• Handbook of Neural Computation, IOP Publishing and Oxford University Press, 1997.
• Hassibi B., Stork D.G., Second-order Derivatives for Network Pruning: Optimal Brain Surgeon, [in:] Advances in Neural Information Processing Systems, Hanson et al. (eds.), 1993, p. 164-171.
• Liying M., Khorasani K., Constructive Feedforward Neural Network Using Hermits Polinomial Activation Functions, IEEE Trans. On Neural Networks, 16, No. 4, 2005, p. 821-833.
• Nag A., Ghosh J., Flexible Resource Allocating Network for Noisy Data, [in:] Proc. SPIE Conf. on Applications and Science of Computational Intelligence, SP1E Proc. Vol. 3390, Orlando, Fl., April 1998, p. 551-559.
• Narendra K.S., Parthasarathy K., Identification and Control of Dynamic Systems Using Neural Networks, IEEE Trans, on Neural Networks, 1, 1990, p. 4-26.
• Nelles O., Nonlinear System Identification, Springer, Berlin 2001.
• Patra J.C., Kot A.C., Nonlinear Dynamic System Identification Using Chebyshev Functional Link Artificial Neural Network, IEEE Trans, on System, Man and Cybernetics - Part B, 32, 2002, p. 505-511.
• Platt.J., A Resource Allocating Network for Function Interpolation, Neural Computation, 3, 1991, p. 213-225.
• Poggio T., Girosi F., A Theory of Networks for Approximation and Learning, A.I. Memo No. 1 140, Artificial Intelligence Laboratory, Massachusetts Institute of Technology, 1989.
• Prechelt L., Connection Pruning with Static and Adaptive Pruning Schedules, Neurocomputing, 16, 1997, p. 49-61.
• Scott I., Mulgrew B., Orthonormal Function Neural Network for Nonlinear System Modeling, [in:] Proceedings of the International Conference on Neural Networks (ICNN-96), June 1996.
• Takagi T., Sugeno M., Fuzzy Identification of Systems and its Application to Mode/ing and Control, IEEE Trans, on System, Man and Cybernetics. 15, 1985, p. 116-132.
• Yingwei L., Sundararajan N., Saratchandran P., Performance Evaluation of a Sequential Minimal Radial Basis Function (RBF) Neural Network Learning Algorithm, IEEE Trans, on Neural Networks, 9, 1998, p. 308-318.