Estimativa de entropia - Entropy estimation

Em várias aplicações de ciência / engenharia, tais como análise de componente independente , de análise de imagem , análise genética , o reconhecimento de voz , aprendizagem colector , e estimativa de temporização que é útil para estimar a entropia diferencial de um sistema ou processo, dada algumas observações.

A abordagem mais simples e comum usa estimativa baseada em histograma , mas outras abordagens foram desenvolvidas e usadas, cada uma com suas próprias vantagens e desvantagens. O principal fator na escolha de um método é freqüentemente uma compensação entre o viés e a variância da estimativa, embora a natureza da (suspeita) distribuição dos dados também possa ser um fator.

Estimador de histograma

A abordagem do histograma usa a ideia de que a entropia diferencial de uma distribuição de probabilidade para uma variável aleatória contínua , ${\ displaystyle f (x)}$${\ displaystyle x}$

${\ displaystyle h (X) = - \ int _ {\ mathbb {X}} f (x) \ log f (x) \, dx}$

pode ser aproximado primeiro aproximando com um histograma das observações e, em seguida, encontrando a entropia discreta de uma quantização de ${\ displaystyle f (x)}$${\ displaystyle x}$

${\ displaystyle H (X) = - \ sum _ {i = 1} ^ {n} f (x_ {i}) \ log \ left ({\ frac {f (x_ {i})} {w (x_ { eu certo)}$

com probabilidades bin fornecidas por esse histograma. O histograma é em si uma estimativa de máxima verossimilhança (ML) da distribuição de frequência discretizada), onde é a largura do ésimo bin. Os histogramas podem ser rápidos e simples de calcular, portanto, essa abordagem tem alguma atração. No entanto, a estimativa produzida é enviesada e, embora possam ser feitas correções na estimativa, elas podem nem sempre ser satisfatórias. ${\ displaystyle w}$${\ displaystyle i}$

Um método mais adequado para funções de densidade de probabilidade multidimensionais (pdf) é primeiro fazer uma estimativa da pdf com algum método e, em seguida, a partir da estimativa da pdf, calcular a entropia. Um método de estimativa de pdf útil é, por exemplo, a modelagem de mistura gaussiana (GMM), onde o algoritmo de maximização de expectativa (EM) é usado para encontrar uma estimativa de ML de uma soma ponderada de pdf gaussianas aproximando-se da pdf de dados.

Estimativas baseadas em espaçamentos de amostra

Se os dados forem unidimensionais, podemos imaginar pegar todas as observações e colocá-las em ordem de valor. O espaçamento entre um valor e o próximo nos dá uma ideia aproximada (o recíproco ) da densidade de probabilidade naquela região: quanto mais próximos os valores estão, maior a densidade de probabilidade. Esta é uma estimativa muito grosseira com alta variância , mas pode ser melhorada, por exemplo, pensando sobre o espaço entre um dado valor e um m de distância dele, onde m é algum número fixo.

A densidade de probabilidade estimada desta forma pode então ser usada para calcular a estimativa de entropia, de forma semelhante à fornecida acima para o histograma, mas com alguns pequenos ajustes.

Uma das principais desvantagens dessa abordagem é ir além de uma dimensão: a ideia de alinhar os pontos de dados em ordem se desfaz em mais de uma dimensão. No entanto, usando métodos análogos, alguns estimadores de entropia multidimensionais foram desenvolvidos.

Estimativas baseadas em vizinhos mais próximos

Para cada ponto em nosso conjunto de dados, podemos encontrar a distância até seu vizinho mais próximo . Podemos, de fato, estimar a entropia a partir da distribuição da distância do vizinho mais próximo de nossos pontos de dados. (Em uma distribuição uniforme, essas distâncias tendem a ser bastante semelhantes, ao passo que em uma distribuição fortemente não uniforme elas podem variar muito mais.)

Estimador bayesiano

Quando em regime de subamostragem, ter uma prioridade na distribuição pode ajudar na estimativa. Um tal estimador Bayesiano foi proposto no contexto da neurociência conhecido como o estimador NSB ( Nemenman –Shafee– Bialek ). O estimador NSB usa uma mistura de prior de Dirichlet , escolhido de forma que o prior induzido sobre a entropia seja aproximadamente uniforme.

Estimativas baseadas na entropia esperada

Uma nova abordagem para o problema de avaliação de entropia é comparar a entropia esperada de uma amostra de sequência aleatória com a entropia calculada da amostra. O método fornece resultados muito precisos, mas é limitado a cálculos de sequências aleatórias modeladas como cadeias de Markov de primeira ordem com pequenos valores de viés e correlações. Este é o primeiro método conhecido que leva em consideração o tamanho da sequência da amostra e seu impacto na precisão do cálculo da entropia.

Referências