Dywergencje Jensena-Shannona oraz Jensena-Rényiego jako miary rozbieżności struktur

• Autorzy: Ewa Wędrowska

Warianty tytułu

Jensen-Shannon And Jensen-Rényi Divergences As Discrepancy Measures Of Structures

• Języki publikacji: PL

Abstrakty

W artykule wskazano na możliwość wykorzystania do oceny stopnia rozbieżności struktur miar dywergencji. Zaprezentowano symetryczne "wygładzenie" dywergencji Kullbacka-Leiblera, jakim jest miara rozbieżności Jensena-Shannona, będąca funkcją entropii Shannona. Istotną zaletą dywergencji Jensena-Shannona jest możliwość uogólnienia jej do badania podobieństwa więcej niż dwóch struktur, a także możliwość uwzględnienia wag dla rozpatrywanych obiektów. Kolejna przedstawiona miara dywergencji to dywergencja Jensena-Rényiego stopnia , która jest odpowiednio funkcją entropii Rényiego i uogólnieniem dywergencji Jensena-Shannona.(abstrakt oryginalny)

EN

This paper indicates the possibility of applying the measures of divergences for the assessment of the degree of difference of structures. It presents the symmetric smoothing of Kullback-Leibler divergence in the form of the measure of divergences by Jensen- Shannon, which is a function of Shannon entropy. The possibility of its generalization for testing the similarity of more than two objects as well as the possibility of including weights for the considered objects represents important advantages of Jensen-Shannon divergence. Jensen-Rényi divergence of  degree, which is a function of Rényi entropy and the generalization of Jensen-Shannon divergence, is another measure of presented divergence.(original abstract)

Słowa kluczowe

PL

Dywergencja

EN

Divergence

• Czasopismo: Prace Naukowe Uniwersytetu Ekonomicznego we Wrocławiu. Taksonomia
• Rocznik: 2011
• Tom: 18
• Numer: nr 176 Klasyfikacja i analiza danych - teoria i zastosowania
• Strony: 383--391

Twórcy

autor

Ewa Wędrowska

• Uniwersytet Warmińsko-Mazurski w Olsztynie

Bibliografia

• Burbea J., Rao C.R., On the convexity of some divergence measures based on entropy functions, "IEEE Transactions on Information Theory" 1982, vol. 28, no. 3, s. 489-495.
• Csiszár I., Information type measures of difference of probability distributions and indirect observations, "Studia Sci. Mat. Hung" 1967, vol. 2, s. 299-318.
• Dhillon I.S., Mallele S., Kumar R., A divisive information - theoretic feature clustering algorithm for text classification, "Journal of Machine Learning Research" 2003, no. 3, s. 1265-1287.
• He Y., Hamza B., Krim H., A generalized divergence measure for robust image registration, "IEEE Transactions on Signal Processing" 2003, vol. 51, no. 5, s. 1211-1220.
• Hibbard L.S., Region segmentation using information divergence measures, "Medical Image Analysis" 2004, no. 8, s. 233-244.
• Hung W.L., Yang M.S., On the J-divergence of intuitionistic fuzzy seta with its application to pattern recognition, "Information Sciences" 2007, no. 178, s. 1641-1650.
• Lamberti P.W., Majtey A.P., Borras A., Casas M., Plastino A., Metric character of the quantum Jensen- Shannon divergence, "Physical Review A" 2008, no. 77, 052311-1 - 052311-6.
• Lavenda B.H., Mean entropies, "Open Systems & Information Dynamics" 2004, no. 12, s. 289-302.
• Lin J., Divergence measures based on the Shannon entropy, "IEEE Transactions on Information Theory" 1991, vol. 37, no. 1, s. 145-151.
• Kukuła K., Statystyczne metody analizy struktur ekonomicznych, Wyd. Edukacyjne, Kraków 1996.
• Kurek S., Starzenie się ludności na obszarach przemysłowych w Polsce, Prace Komisji Gospodarki Przemysłu nr 14, Warszawa - Kraków 2009, s. 104-120. Podstawowe informacje o rozwoju demograficznym Polski do 2007 roku. Notatka informacyjna Departamentu Badań Demograficznych, GUS, Warszawa 2008.
• Rényi A., On measures of entropy and information, Proc. Fourth Berkeley Symp. on Math. Statist. and Prob., vol. 1, Univ. of Calif. Press, Berkeley 1961, s. 547-561.