Desigualdade de potência de entropia - Entropy power inequality

Na teoria da informação , a desigualdade de poder de entropia ( EPI ) é um resultado que se relaciona ao chamado "poder de entropia" de variáveis ​​aleatórias . Mostra que o poder de entropia de variáveis ​​aleatórias apropriadamente bem comportadas é uma função superaditiva . A desigualdade de poder de entropia foi provada em 1948 por Claude Shannon em seu artigo seminal " A Mathematical Theory of Communication ". Shannon também forneceu uma condição suficiente para que a igualdade se mantivesse; Stam (1959) mostrou que a condição é de fato necessária.

Declaração da desigualdade

Para um vetor aleatório X  : Ω →  R ⁿ com função de densidade de probabilidade f  :  R ⁿ  →  R , a entropia diferencial de X , denotada h ( X ), é definida como sendo

${\ displaystyle h (X) = - \ int _ {\ mathbb {R} ^ {n}} f (x) \ log f (x) \, dx}$

e o poder de entropia de X , denotado N ( X ), é definido como

${\ displaystyle N (X) = {\ frac {1} {2 \ pi e}} e ^ {{\ frac {2} {n}} h (X)}.}$

Em particular, N ( X ) = | K | ^{1 / N} em que X  é normal distribuído com matriz de covariância K .

Deixe que X e Y ser variáveis aleatórias independentes com funções de densidade de probabilidade na G ^p espaço G ^p ( R ⁿ ) para alguns p  > 1. Então

${\ displaystyle N (X + Y) \ geq N (X) + N (Y). \,}$

Além disso, a igualdade é mantida se e somente se X e Y forem variáveis aleatórias normais multivariadas com matrizes de covariância proporcional .

Veja também

• Entropia de informação
• Teoria da informação
• Limitando a densidade de pontos discretos
• Auto-informação
• Divergência de Kullback-Leibler
• Estimativa de entropia

Referências

• Dembo, Amir; Cover, Thomas M .; Thomas, Joy A. (1991). "Desigualdades teóricas da informação". IEEE Trans. Inf. Teoria . 37 (6): 1501–1518. doi : 10.1109 / 18.104312 . MR   1134291 . S2CID   845669 .
• Gardner, Richard J. (2002). "A desigualdade de Brunn-Minkowski" . Touro. Amer. Matemática. Soc. (NS) . 39 (3): 355–405 (eletrônico). doi : 10.1090 / S0273-0979-02-00941-2 .
• Shannon, Claude E. (1948). "Uma teoria matemática de comunicação". Bell System Tech. J. 27 (3): 379-423, 623-656. doi : 10.1002 / j.1538-7305.1948.tb01338.x . hdl : 10338.dmlcz / 101429 . CS1 maint: parâmetro desencorajado ( link )
• Stam, AJ (1959). "Algumas desigualdades satisfeitas pelas quantidades de informação de Fisher e Shannon" . Informação e controle . 2 (2): 101-112. doi : 10.1016 / S0019-9958 (59) 90348-1 .