Termodinâmica de entropia máxima - Maximum entropy thermodynamics

Em física , a termodinâmica de entropia máxima (coloquialmente, termodinâmica MaxEnt ) vê a termodinâmica de equilíbrio e a mecânica estatística como processos de inferência . Mais especificamente, MaxEnt aplica técnicas de inferência baseadas na teoria da informação de Shannon , probabilidade Bayesiana e o princípio da entropia máxima . Essas técnicas são relevantes para qualquer situação que requeira previsão de dados incompletos ou insuficientes (por exemplo, reconstrução de imagem , processamento de sinal , análise espectral e problemas inversos ). A termodinâmica MaxEnt começou com dois artigos de Edwin T. Jaynes publicados em 1957 Physical Review .

Entropia máxima de Shannon

Central para a tese de MaxEnt é o princípio da entropia máxima . Exige como dado algum modelo parcialmente especificado e alguns dados especificados relacionados ao modelo. Ele seleciona uma distribuição de probabilidade preferida para representar o modelo. Os dados fornecidos indicam "informações testáveis" sobre a distribuição de probabilidade , por exemplo , valores de expectativa específicos , mas não são suficientes por si próprios para determiná-la de maneira única. O princípio afirma que se deve preferir a distribuição que maximize a entropia da informação de Shannon ,

${\ displaystyle S_ {I} = - \ sum _ {i} p_ {i} \ ln p_ {i}.}$

Isso é conhecido como o algoritmo de Gibbs , introduzido por J. Willard Gibbs em 1878, para configurar conjuntos estatísticos para prever as propriedades dos sistemas termodinâmicos em equilíbrio. É a pedra angular da análise mecânica estatística das propriedades termodinâmicas dos sistemas de equilíbrio (ver função de partição ).

Uma conexão direta é então feita entre a entropia termodinâmica de equilíbrio S _Th , uma função de estado de pressão, volume, temperatura, etc., e a entropia de informação para a distribuição prevista com incerteza máxima condicionada apenas nos valores esperados dessas variáveis:

${\ displaystyle S_ {Th} (P, V, T, \ ldots) _ {\ text {(eqm)}} = k_ {B} \, S_ {I} (P, V, T, \ ldots)}$

k _B , a constante de Boltzmann , não tem nenhum significado físico fundamental aqui, mas é necessário manter a consistência com a definição histórica anterior de entropia de Clausius (1865) (ver a constante de Boltzmann ).

No entanto, a escola MaxEnt argumenta que a abordagem MaxEnt é uma técnica geral de inferência estatística, com aplicações muito além disso. Portanto, também pode ser usado para prever uma distribuição para "trajetórias" Γ "ao longo de um período de tempo", maximizando:

${\ displaystyle S_ {I} = - \ sum p _ {\ Gamma} \ ln p _ {\ Gamma}}$

Esta "entropia de informação" não tem necessariamente uma correspondência simples com a entropia termodinâmica. Mas pode ser usado para prever características de sistemas termodinâmicos de não-equilíbrio conforme eles evoluem ao longo do tempo.

Para cenários de não equilíbrio, em uma aproximação que assume equilíbrio termodinâmico local , com a abordagem de entropia máxima, as relações recíprocas de Onsager e as relações de Green-Kubo caem diretamente. A abordagem também cria uma estrutura teórica para o estudo de alguns casos muito especiais de cenários distantes do equilíbrio, tornando a derivação do teorema da flutuação da produção de entropia direta. Para processos de não equilíbrio, como é o caso para descrições macroscópicas, uma definição geral de entropia para contas mecânicas estatísticas microscópicas também está faltando.

Nota técnica : Pelas razões discutidas no artigo entropia diferencial , a definição simples de entropia de Shannon deixa de ser diretamente aplicável para variáveis ​​aleatórias com funções de distribuição de probabilidade contínua . Em vez disso, a quantidade apropriada para maximizar é a "entropia de informação relativa",

${\ displaystyle H_ {c} = - \ int p (x) \ log {\ frac {p (x)} {m (x)}} \, dx.}$

H _c é o negativo da divergência de Kullback-Leibler , ou informação de discriminação, de m ( x ) de p ( x ), onde m ( x ) é uma medida invariante anterior para a (s) variável (s). A entropia relativa H _c é sempre menor que zero, e pode ser considerada como (o negativo de) o número de bits de incerteza perdidos fixando-se em p ( x ) ao invés de m ( x ). Ao contrário da entropia de Shannon, a entropia relativa H _c tem a vantagem de permanecer finita e bem definida para x contínuo e invariante sob transformações de coordenadas 1 para 1. As duas expressões coincidem para distribuições de probabilidade discretas , se alguém pode fazer a suposição de que m ( x _i ) é uniforme - ou seja, o princípio da probabilidade a priori igual , que fundamenta a termodinâmica estatística.

Implicações filosóficas

Os adeptos do ponto de vista MaxEnt têm uma posição clara sobre algumas das questões conceituais / filosóficas da termodinâmica. Esta posição é esboçada abaixo.

A natureza das probabilidades em mecânica estatística

Jaynes (1985, 2003, et passim ) discutiu o conceito de probabilidade. De acordo com o ponto de vista MaxEnt, as probabilidades em mecânica estatística são determinadas conjuntamente por dois fatores: por modelos particulares respectivamente especificados para o espaço de estados subjacente (por exemplo , espaço de fase Liouvilliano ); e por descrições parciais particulares do sistema, respectivamente especificadas (a descrição macroscópica do sistema usada para restringir a atribuição de probabilidade MaxEnt). As probabilidades são objetivas no sentido de que, dadas essas entradas, uma distribuição de probabilidade definida de forma única resultará, a mesma para todo investigador racional, independente da subjetividade ou opinião arbitrária de pessoas particulares. As probabilidades são epistêmicas no sentido de que são definidas em termos de dados especificados e derivadas desses dados por regras de inferência definidas e objetivas, as mesmas para todo investigador racional. Aqui, a palavra epistêmica, que se refere ao conhecimento científico objetivo e impessoal, a mesma para todo investigador racional, é usada no sentido que a contrasta com opiniativa, que se refere às crenças subjetivas ou arbitrárias de pessoas particulares; esse contraste foi usado por Platão e Aristóteles e é confiável hoje.

Jaynes também usou a palavra 'subjetivo' neste contexto porque outros a usaram neste contexto. Ele aceitou que, em certo sentido, um estado de conhecimento tem um aspecto subjetivo, simplesmente porque se refere ao pensamento, que é um processo mental. Mas ele enfatizou que o princípio da entropia máxima se refere apenas ao pensamento que é racional e objetivo, independente da personalidade do pensador. Em geral, do ponto de vista filosófico, as palavras 'subjetivo' e 'objetivo' não são contraditórias; frequentemente uma entidade tem aspectos subjetivos e objetivos. Jaynes rejeitou explicitamente a crítica de alguns escritores de que, só porque se pode dizer que o pensamento tem um aspecto subjetivo, o pensamento é automaticamente não objetivo. Ele rejeitou explicitamente a subjetividade como base para o raciocínio científico, a epistemologia da ciência; ele exigia que o raciocínio científico tivesse uma base plena e estritamente objetiva. No entanto, os críticos continuam a atacar Jaynes, alegando que suas idéias são "subjetivas". Um escritor chega ao ponto de rotular a abordagem de Jaynes de "ultrassubjetivista" e de mencionar "o pânico que o termo subjetivismo criou entre os físicos".

As probabilidades representam o grau de conhecimento e a falta de informação nos dados e no modelo usado na descrição macroscópica do sistema pelo analista, e também o que esses dados dizem sobre a natureza da realidade subjacente.

A adequação das probabilidades depende se as restrições do modelo macroscópico especificado são uma descrição suficientemente precisa e / ou completa do sistema para capturar todo o comportamento reproduzível experimentalmente. Isso não pode ser garantido, a priori . Por esta razão, os proponentes do MaxEnt também chamam o método de mecânica estatística preditiva . As previsões podem falhar. Mas se o fizerem, isso é informativo, porque sinaliza a presença de novas restrições necessárias para capturar o comportamento reproduzível no sistema, que não foram levados em consideração.

A entropia é "real"?

A entropia termodinâmica (em equilíbrio) é função das variáveis ​​de estado da descrição do modelo. Portanto, é tão "real" quanto as outras variáveis ​​na descrição do modelo. Se as restrições do modelo na atribuição de probabilidade são uma "boa" descrição, contendo todas as informações necessárias para prever resultados experimentais reproduzíveis, então isso inclui todos os resultados que alguém poderia prever usando as fórmulas envolvendo entropia da termodinâmica clássica. Nessa medida, o MaxEnt S _Th é tão "real" quanto a entropia na termodinâmica clássica.

Claro, na realidade, há apenas um estado real do sistema. A entropia não é uma função direta desse estado. É uma função do estado real apenas por meio da descrição do modelo macroscópico (escolhido subjetivamente).

A teoria ergódica é relevante?

O conjunto Gibbsian idealiza a noção de repetir um experimento repetidamente em sistemas diferentes , não repetidamente no mesmo sistema. Portanto, as médias de tempo de longo prazo e a hipótese ergódica , apesar do intenso interesse nelas na primeira parte do século XX, estritamente falando não são relevantes para a atribuição de probabilidade para o estado em que se pode encontrar o sistema.

No entanto, isso muda se houver conhecimento adicional de que o sistema está sendo preparado de uma determinada maneira algum tempo antes da medição. Deve-se então considerar se isso fornece mais informações que ainda são relevantes no momento da medição. A questão de como as diferentes propriedades do sistema estão 'misturando rapidamente' torna-se então muito interessante. As informações sobre alguns graus de liberdade do sistema combinado podem se tornar inutilizáveis ​​muito rapidamente; informações sobre outras propriedades do sistema podem continuar sendo relevantes por um tempo considerável.

Se nada mais, as propriedades de correlação de tempo de médio e longo prazo do sistema são assuntos interessantes para experimentação em si mesmos. A falha em predizê-los com precisão é um bom indicador de que a física macroscopicamente determinável relevante pode estar faltando no modelo.

A segunda lei

De acordo com o teorema de Liouville para a dinâmica hamiltoniana , o hiper-volume de uma nuvem de pontos no espaço de fase permanece constante à medida que o sistema evolui. Portanto, a entropia da informação também deve permanecer constante, se condicionarmos a informação original, e então seguirmos cada um desses microestados adiante no tempo:

${\ displaystyle \ Delta S_ {I} = 0 \,}$

No entanto, com o passar do tempo, as informações iniciais que tínhamos tornam-se menos acessíveis diretamente. Em vez de ser facilmente resumível na descrição macroscópica do sistema, ele se relaciona cada vez mais com correlações muito sutis entre as posições e os momentos de moléculas individuais. (Compare com o teorema H de Boltzmann .) Equivalentemente, isso significa que a distribuição de probabilidade para todo o sistema, no espaço de fase 6N-dimensional, torna-se cada vez mais irregular, espalhando-se em longos dedos finos ao invés do volume inicial de possibilidades bem definido.

A termodinâmica clássica é construída na suposição de que a entropia é uma função de estado das variáveis ​​macroscópicas - isto é, que nada da história do sistema importa, de modo que tudo pode ser ignorado.

A distribuição de probabilidade estendida, fina e evoluída, que ainda possui a entropia de Shannon inicial S _Th ⁽¹⁾ , deve reproduzir os valores esperados das variáveis ​​macroscópicas observadas no tempo t ₂ . No entanto, não será mais necessariamente uma distribuição de entropia máxima para essa nova descrição macroscópica. Por outro lado, o novo entropia termodinâmico S _Th ⁽²⁾ seguramente vai medir a distribuição máxima entropia, por construção. Portanto, esperamos:

${\ displaystyle {S_ {Th}} ^ {(2)} \ geq {S_ {Th}} ^ {(1)}}$

Em um nível abstrato, esse resultado implica que algumas das informações que originalmente tínhamos sobre o sistema se tornaram "não mais úteis" em um nível macroscópico. No nível da distribuição de probabilidade 6 N- dimensional, este resultado representa granulação grossa - isto é, perda de informação por suavização de detalhes de escala muito fina.

Advertências com o argumento

Algumas advertências devem ser consideradas com o acima.

1. Como todos os resultados mecânicos estatísticos de acordo com a escola MaxEnt, este aumento na entropia termodinâmica é apenas uma previsão . Ele assume, em particular, que a descrição macroscópica inicial contém todas as informações relevantes para prever o estado macroscópico posterior. Este pode não ser o caso, por exemplo, se a descrição inicial deixar de refletir algum aspecto da preparação do sistema que mais tarde se torne relevante. Nesse caso, a "falha" de uma previsão MaxEnt nos diz que há algo mais relevante que podemos ter esquecido na física do sistema.

Também é às vezes sugerido que a medição quântica , especialmente na interpretação da decoerência , pode dar uma redução aparentemente inesperada na entropia por esse argumento, pois parece envolver a disponibilização de informações macroscópicas que antes eram inacessíveis. (No entanto, a contabilização da entropia da medição quântica é complicada, porque para obter a decoerência total pode-se estar assumindo um ambiente infinito, com uma entropia infinita).

2. O argumento até agora encobriu a questão das flutuações . Também assumiu implicitamente que a incerteza prevista no tempo t ₁ para as variáveis ​​no tempo t ₂ será muito menor do que o erro de medição. Mas se as medições atualizam significativamente nosso conhecimento do sistema, nossa incerteza quanto ao seu estado é reduzida, dando um novo S _I ⁽²⁾ que é menor que S _I ⁽¹⁾ . (Observe que se nos permitirmos as habilidades do demônio de Laplace , as consequências desta nova informação também podem ser mapeadas para trás, então nossa incerteza sobre o estado dinâmico no tempo t ₁ agora é também reduzida de S _I ⁽¹⁾ para S _I ^{( 2)} ).

Sabemos que S _Th ⁽²⁾ > S _I ⁽²⁾ ; mas agora não podemos mais ter certeza de que é maior do que S _Th ⁽¹⁾ = S _I ⁽¹⁾ . Isso deixa aberta a possibilidade de flutuações em S _Th . A entropia termodinâmica pode tanto "descer" quanto subir. Uma análise mais sofisticada é dada pelo Teorema da Flutuação da entropia , que pode ser estabelecido como conseqüência da imagem de MaxEnt dependente do tempo.

3. Como acabamos de indicar, a inferência de MaxEnt funciona igualmente bem ao contrário. Assim, dado um determinado estado final, podemos perguntar: o que podemos "retroduzir" para melhorar nosso conhecimento sobre os estados anteriores? No entanto, o argumento da Segunda Lei acima também funciona ao contrário: dada a informação macroscópica no tempo t ₂ , devemos esperar que ela também se torne menos útil. Os dois procedimentos são simétricos no tempo. Mas agora a informação se tornará cada vez menos útil cada vez mais cedo. (Compare com o paradoxo de Loschmidt .) A inferência de MaxEnt prediz que a origem mais provável de um estado de baixa entropia atual seria como uma flutuação espontânea de um estado anterior de alta entropia. Mas isso entra em conflito com o que sabemos ter acontecido, ou seja, que a entropia tem aumentado constantemente, mesmo no passado.

A resposta dos proponentes do MaxEnt a isso seria que essa falha sistemática na previsão de uma inferência de MaxEnt é uma coisa "boa". Isso significa que há evidências claras de que algumas informações físicas importantes foram perdidas na especificação do problema. Se for correto que as dinâmicas "são" simétricas no tempo , parece que precisamos colocar à mão uma probabilidade prévia de que as configurações iniciais com uma entropia termodinâmica baixa são mais prováveis ​​do que as configurações iniciais com uma entropia termodinâmica alta. Isso não pode ser explicado pela dinâmica imediata. Muito possivelmente, surge como um reflexo da evolução evidente assimétrica no tempo do universo em uma escala cosmológica (veja a seta do tempo ).

Críticas

A termodinâmica de máxima entropia tem alguma oposição importante, em parte por causa da relativa escassez de resultados publicados da escola MaxEnt, especialmente no que diz respeito a novas previsões testáveis ​​longe do equilíbrio.

A teoria também foi criticada com base na consistência interna. Por exemplo, Radu Balescu fornece uma forte crítica à Escola MaxEnt e ao trabalho de Jaynes. Balescu afirma que a teoria de Jaynes e seus colegas de trabalho é baseada em uma lei de evolução não transitiva que produz resultados ambíguos. Embora algumas dificuldades da teoria possam ser sanadas, a teoria "carece de uma base sólida" e "não conduziu a nenhum novo resultado concreto".

Embora a abordagem de entropia máxima seja baseada diretamente na entropia informacional, ela é aplicável à física apenas quando há uma definição física clara de entropia. Não há uma definição física geral única e clara de entropia para sistemas de não equilíbrio, que são sistemas físicos gerais considerados durante um processo, em vez de sistemas termodinâmicos em seus próprios estados internos de equilíbrio termodinâmico. Segue-se que a abordagem de entropia máxima não será aplicável a sistemas sem equilíbrio até que seja encontrada uma definição física clara de entropia. Esse problema está relacionado ao fato de que o calor pode ser transferido de um sistema físico mais quente para um mais frio, mesmo quando o equilíbrio termodinâmico local não se mantém, de modo que nenhum dos sistemas tem uma temperatura bem definida. A entropia clássica é definida para um sistema em seu próprio estado interno de equilíbrio termodinâmico, que é definido por variáveis ​​de estado, sem fluxos diferentes de zero, de forma que as variáveis ​​de fluxo não aparecem como variáveis ​​de estado. Mas para um sistema fortemente fora de equilíbrio, durante um processo, as variáveis ​​de estado devem incluir variáveis ​​de fluxo diferentes de zero. As definições físicas clássicas de entropia não cobrem este caso, especialmente quando os fluxos são grandes o suficiente para destruir o equilíbrio termodinâmico local. Em outras palavras, para entropia para sistemas em desequilíbrio em geral, a definição precisará pelo menos envolver a especificação do processo incluindo fluxos diferentes de zero, além das variáveis ​​de estado termodinâmicas estáticas clássicas. A 'entropia' que é maximizada precisa ser definida adequadamente para o problema em questão. Se uma 'entropia' inadequada for maximizada, um resultado errado é provável. Em princípio, a termodinâmica de entropia máxima não se refere estritamente e apenas à entropia termodinâmica clássica. Trata-se de entropia informacional aplicada à física, dependendo explicitamente dos dados usados ​​para formular o problema em questão. De acordo com Attard, para problemas físicos analisados ​​por termodinâmica fortemente fora de equilíbrio, vários tipos fisicamente distintos de entropia precisam ser considerados, incluindo o que ele chama de segunda entropia. Attard escreve: "Maximizar a segunda entropia sobre os microestados no macroestado inicial dado dá o macroestado alvo mais provável.". A segunda entropia fisicamente definida também pode ser considerada do ponto de vista informativo.

Veja também

• Edwin Thompson Jaynes
• Primeira lei da termodinâmica
• Segunda lei da termodinâmica
• Princípio da entropia máxima
• Princípio da Informação de Discriminação Mínima
• Divergência de Kullback-Leibler
• Entropia relativa quântica
• Teoria da informação e teoria da medida
• Desigualdade de poder de entropia

Referências

Bibliografia de referências citadas

• Balescu, Radu (1997). Dinâmica Estatística: Matéria fora de equilíbrio . Londres: Imperial College Press.
• Jaynes, ET (setembro de 1968). "Probabilidades anteriores" (PDF) . IEEE Transactions on Systems Science and Cybernetics . SSC – 4 (3): 227–241. doi : 10.1109 / TSSC.1968.300117 .
• Guttmann, YM (1999). The Concept of Probability in Statistical Physics , Cambridge University Press, Cambridge UK, ISBN  978-0-521-62128-1 .
• Jaynes, ET (1979). "Onde estamos na entropia máxima?" (PDF) . Em Levine, R .; Tribus M. (eds.). O Formalismo Máximo de Entropia . MIT Press. ISBN 978-0-262-12080-7.
• Jaynes, ET (1985). "Algumas observações aleatórias". Synthese . 63 : 115–138. doi : 10.1007 / BF00485957 . S2CID  46975520 .
• Jaynes, ET (2003). Bretthorst, GL (ed.). Teoria da probabilidade: a lógica da ciência . Cambridge: Cambridge University Press. ISBN 978-0-521-59271-0.
• Kleidon, Axel; Lorenz, Ralph D. (2005). Termodinâmica de não equilíbrio e a produção de entropia: vida, terra e além . Springer. pp. 42–. ISBN 978-3-540-22495-2.

Leitura adicional