Wykorzystanie entropii Shannona i jej uogólnień do badania rozkładu prawdopodobieństwa zmiennej losowej dyskretnej

• Autorzy: Ewa Wędrowska

Warianty tytułu

Application of Shannon's entropy and its generalizations for studies on the discrete random variable probability distribution

• Języki publikacji: PL

Abstrakty

O entropii można mówić wszędzie tam, gdzie istnieje potrzeba rozpoznania i zmierzenia nieokreśloności badanych rozkładów zmiennych losowych. Potrzeba zmierzenia stopnia koncentracji występuje w badaniu wielu systemów, procesów czy zjawisk, w szczególności w badaniu zjawisk społeczno-ekonomicznych. Właśnie dlatego w badaniu tychże zjawisk coraz częściej wykorzystuje się miary zdefiniowane na gruncie teorii informacji. W artykule zaprezentowano pojęcia i własności entropii zmiennej losowej dyskretnej. Wykorzystano entropię Shannona wraz z jej uogólnieniami (entropią Rényiego i Tsallisa) do badania własności rozkładów prawdopodobieństw dyskretnych zmiennych losowych. Wskazano ponadto na liczne związki miar koncentracji dyskretnego rozkładu prawdopodobieństwa z entropią. W artykule zaproponowano miarę umożliwiającą ocenę stopnia koncentracji dyskretnego rozkładu prawdopodobieństwa będącą funkcją entropii Rényiego. (abstrakt oryginalny)

EN

Everywhere where there is need for identification and measurement of indeterminacy of the distributions studied we can talk about entropy. The need to measure the degree of diversity occurs in studies on numerous systems, processes and phenomena, in particular in studies on socioeconomic phenomena. That is why in studies on those phenomena the measures or models defined on grounds of the information theory are used increasingly often. The paper presents categorization of notions and characteristics of the entropy of a discrete random variable. In addition to Shannon's entropy, the Rényi's and Tsallis entropies were applied for studies on the properties of distributions in case of probabilities of the random variables. The notion of entropy stemming from thermodynamics found application in many fields of sciences. Shannon's entropy was defined on the grounds of the information theory, the Rényi's entropy is the result of generalization of the Kolmogorov-Nagumo average while the Tsallis entropy is a certain function of Rényi's entropy. The present paper unifies these approaches by presenting one general model of concentration measure that applies Rényi's entropy. (original abstract)

Słowa kluczowe

PL

Rozkład prawdopodobieństwa; Entropia; Teoria informacji

EN

Probability distributions; Entropy; Information theory

• Czasopismo: Przegląd Statystyczny
• Rocznik: 2010
• Tom: 57
• Numer: z. 4
• Strony: 39--53

Twórcy

autor

Ewa Wędrowska

• Uniwersytet Warmińsko-Mazurski w Olsztynie

Bibliografia

• [1] Attaran M., [1985], Industrial diversity and economic performance in U.S. areas, The Annals of Regional Science 20, s. 44-54.
• [2] Bajo O., Salas R., [2002], Inequality foundations of concentration measures: An application to the Hannah-Kay indices, Spanish Economic Review 4, s. 311-316.
• [3] Campos D., Isaza J.F., [2009], A geometrical index for measuring species diversity, Ecological Indicators 9, s. 651-658.
• [4] Chakrabarti C.G., Chakrabarty I., [2005], Shannon entropy: axiomatic characterization and application, International Journal of Mathematics and Mathematical Sciences, Vol. 17, s. 2847-2854.
• [5] Czachor M., Naudts J., [2002], Thermostatistics based on Kolmogorov-Nagumo averages: unifying framework for extensive and nonextensive generalizations, Physics Letters A 298, s. 369-374.
• [6] Garbaczewski P., [2006], Differential Entropy and Dynamics of Uncertainty, "Journal of Statistical Physics", Vol. 123, No. 2, s. 315-355.
• [7] Hackbart M.W., Anderson D.A., [1975], On measuring economic diversification, Land Economics 51, s. 374-378.
• [8] Hibbard L.S., [2004], Region segmentation using information divergence measures, Medical Image Analysis 8, s. 233-244.
• [9] Jacquemin A.P., Berry C.H., [1979], Entropy measure of diversification and corporate growth, "Journal of Industrial Economics" 27 (4), s. 359-369.
• [10] Koen F., [2007], Entropy and information theory, [w:] Hanusch H., Pyka A. (red.), The Elgar Companion to Neo-Schumpeterian Economics.
• [11] Kumar R., Kumar S., Kumar A., [2010], A New Measure of Probabilistic Entropy and its Properties, Applied Mathematical Sciences, Vol. 4, s. 1387-1394.
• [12] Kuriata E., [2001], Teoria informacji i kodowania, Oficyna Wydawnicza Politechniki Zielonogórskiej.
• [13] Lavenda B.H., [2004], Mean Entropies, Open Sys. Information Dyn. 12, s. 289-302.
• [14] Lavenda B.H., [2006], Geometric Entropies of Mixing (EOM), Open Sys. Information Dyn. 13, s. 91-101.
• [15] Masi M., [2005], A step beyond Tsallis and Rényi entropies, Physics Letters A 338, s. 217-224.
• [16] Mayoral M.M., [1998], Renyi's entropy as an index of diversity in simple-stage cluster sampling, "Journal of Information Sciences" 105, s. 101-114.
• [17] McBratney A., Minasny B., [2007], On measuring pedodiversity, Geoderma 141, s. 149-154.
• [18] Nanda A.K., Paul P., [2006], Some results on generalized residual entropy, Information Sciences 176 (1), s. 27-47.
• [19] Principe J.C., Xu D., Fisher III J.W., [????], Information-theoretic learning, in: Haykin S. (ed.), Unsupervised Adaptive Filtering. Wiley, New York, s. 265-319.
• [20] Przybyszewski R., Wędrowska E., [2005], Algorytmiczna teoria entropii, "Przegląd Statystyczny" nr 2, tom 52 Warszawa, s. 85-102.
• [21] Roeske-Słomka I., [1994], Klasyczne a entropijne miary koncentracji i asymetrii w badaniu rozmieszczenia ludności, Zesz. Nauk. AE Pozn. Seria I, nr 219, s. 48-59.
• [22] Sharma B.D., Taneja I.J., [1975], Entropy of type (a, b) and other generalized measures in information theory, Metrika 22, s. 205-215.
• [23] Troutt M. D., Acar W., [2005], A Lorenz-Pareto measures of pure diversification, "European Journal of Operational Research" 167, s. 543-549.
• [24] Wędrowska E., [2003], Datalogiczna miara ilości informacji strukturalnej jako instrument zarządzania zasobami informacji statystycznej, [w:] "Pozyskiwanie wiedzy i zarządzanie wiedzą", Prace Naukowe Akademii Ekonomicznej we Wrocławiu, nr 975 Wrocław, s. 447-459.
• [25] Woodward P.M., [1959], Wstęp do teorii informacji, PWN, Warszawa.