Filtro Bayer - Bayer filter
Um mosaico de filtro Bayer é uma matriz de filtro de cor (CFA) para organizar os filtros de cor RGB em uma grade quadrada de fotossensores. Seu arranjo particular de filtros de cores é usado na maioria dos sensores de imagem digital de chip único usados em câmeras digitais, filmadoras e scanners para criar uma imagem colorida. O padrão do filtro é metade verde, um quarto vermelho e um quarto azul, portanto, também é chamado de BGGR, RGBG , GRBG ou RGGB .
Recebeu o nome de seu inventor, Bryce Bayer, da Eastman Kodak . Bayer também é conhecido por sua matriz definida recursivamente, usada no pontilhamento ordenado .
As alternativas ao filtro Bayer incluem várias modificações de cores e arranjos e tecnologias completamente diferentes, como amostragem de co-site de cores , o sensor Foveon X3 , os espelhos dicróicos ou uma matriz de filtro difrativo transparente.
Explicação
- Cena original
- Saída de um sensor de 120 × 80 pixels com filtro Bayer
- Saída codificada por cores com cores de filtro Bayer
- Imagem reconstruída após interpolação de informações de cores ausentes
- Versão RGB completa em 120 × 80 pixels para comparação (por exemplo, como uma varredura de filme, Foveon ou imagem de deslocamento de pixel pode aparecer)
A patente de Bryce Bayer (US Patent No. 3.971.065) em 1976 chamou os fotossensores verdes de elementos sensíveis à luminância e os vermelhos e azuis de elementos sensíveis à crominância . Ele usou duas vezes mais elementos verdes do que vermelho ou azul para imitar a fisiologia do olho humano . A percepção de luminância da retina humana usa células cone M e L combinadas, durante a visão diurna, que são mais sensíveis à luz verde. Esses elementos são chamados de elementos sensores , sentidos , sensores de pixel ou simplesmente pixels ; os valores de amostra detectados por eles, após a interpolação, tornam-se pixels da imagem . Na época em que a Bayer registrou sua patente, ele também propôs usar uma combinação ciano-magenta-amarelo , que é outro conjunto de cores opostas. Esse arranjo era impraticável na época porque os corantes necessários não existiam, mas são usados em algumas novas câmeras digitais. A grande vantagem dos novos corantes CMY é que eles têm uma característica de absorção de luz aprimorada; ou seja, sua eficiência quântica é maior.
A saída bruta das câmeras com filtro Bayer é conhecida como imagem padrão Bayer . Como cada pixel é filtrado para registrar apenas uma das três cores, os dados de cada pixel não podem especificar totalmente cada um dos valores de vermelho, verde e azul por conta própria. Para obter uma imagem colorida, vários algoritmos de demosaicing podem ser usados para interpolar um conjunto de valores completos de vermelho, verde e azul para cada pixel. Esses algoritmos fazem uso dos pixels circundantes das cores correspondentes para estimar os valores de um determinado pixel.
Diferentes algoritmos que requerem várias quantidades de poder de computação resultam em imagens finais de qualidade variada. Isso pode ser feito na câmera, produzindo uma imagem JPEG ou TIFF , ou fora da câmera usando os dados brutos diretamente do sensor. Como o poder de processamento do processador da câmera é limitado, muitos fotógrafos preferem fazer essas operações manualmente em um computador pessoal. Quanto mais barata for a câmera, menos oportunidades de influenciar essas funções. Em câmeras profissionais, as funções de correção de imagem estão completamente ausentes ou podem ser desligadas. A gravação em formato Raw fornece a capacidade de selecionar manualmente o algoritmo de demosaicing e controlar os parâmetros de transformação, que é usado não apenas na fotografia de consumo, mas também na resolução de vários problemas técnicos e fotométricos.
Demosaicing
O Demosaicing pode ser executado de diferentes maneiras. Métodos simples interpolar o valor da cor dos pixels da mesma cor na vizinhança. Por exemplo, uma vez que o chip foi exposto a uma imagem, cada pixel pode ser lido. Um pixel com um filtro verde fornece uma medida exata do componente verde. Os componentes vermelho e azul para este pixel são obtidos dos vizinhos. Para um pixel verde, dois vizinhos vermelhos podem ser interpolados para produzir o valor vermelho, também dois pixels azuis podem ser interpolados para produzir o valor azul.
Essa abordagem simples funciona bem em áreas com cores constantes ou gradientes suaves, mas pode causar artefatos, como manchas de cor em áreas onde há mudanças abruptas de cor ou brilho, especialmente perceptíveis ao longo das bordas nítidas da imagem. Por causa disso, outros métodos de demosaicing tentam identificar bordas de alto contraste e apenas interpolar ao longo dessas bordas, mas não através delas.
Outros algoritmos baseiam-se na suposição de que a cor de uma área na imagem é relativamente constante, mesmo sob condições variáveis de luz, de modo que os canais de cores são altamente correlacionados uns com os outros. Portanto, o canal verde é interpolado primeiro, depois o vermelho e depois o canal azul, de forma que a proporção de cor vermelho-verde respectivo azul-verde seja constante. Existem outros métodos que fazem suposições diferentes sobre o conteúdo da imagem e partem desta tentativa de calcular os valores de cor ausentes.
Artefatos
Imagens com detalhes em pequena escala próximos ao limite de resolução do sensor digital podem ser um problema para o algoritmo de demosaicing, produzindo um resultado que não se parece com o modelo. O artefato mais frequente é o Moiré , que pode aparecer como padrões repetidos, artefatos coloridos ou pixels dispostos em um padrão labirinto irreal.
Artefato de cor falsa
Um artefato comum e infeliz de interpolação ou demosaicing Color Filter Array (CFA) é o que é conhecido e visto como falsa coloração. Normalmente, esse artefato se manifesta ao longo das bordas, onde mudanças abruptas ou não naturais na cor ocorrem como resultado de uma interpretação incorreta ao longo de uma borda. Existem vários métodos para prevenir e remover esta falsa coloração. A interpolação de transição de matiz suave é usada durante o demosaicing para evitar que cores falsas se manifestem na imagem final. No entanto, existem outros algoritmos que podem remover cores falsas após demosaicing. Eles têm o benefício de remover artefatos de cores falsas da imagem enquanto usam um algoritmo de demosaicing mais robusto para interpolar os planos de cores vermelho e azul.
Artefato de zíper
O artefato de zíper é outro efeito colateral do demosaicing CFA, que também ocorre principalmente ao longo das bordas, é conhecido como efeito zíper. Simplificando, zíper é outro nome para desfoque de borda que ocorre em um padrão liga / desliga ao longo de uma borda. Esse efeito ocorre quando o algoritmo demosaicing calcula a média dos valores de pixel sobre uma borda, especialmente nos planos vermelho e azul, resultando em seu desfoque característico. Como mencionado antes, os melhores métodos para prevenir esse efeito são os vários algoritmos que interpolar ao longo, em vez de através das bordas da imagem. A interpolação de reconhecimento de padrão, a interpolação de plano de cor adaptável e a interpolação direcionalmente ponderada tentam evitar o zíper pela interpolação ao longo das bordas detectadas na imagem.
Porém, mesmo com um sensor teoricamente perfeito que pudesse capturar e distinguir todas as cores em cada photosite, Moiré e outros artefatos ainda poderiam aparecer. Esta é uma consequência inevitável de qualquer sistema que faz a amostragem de um sinal contínuo em intervalos ou locais discretos. Por esse motivo, a maioria dos sensores fotográficos digitais incorpora algo chamado filtro ótico passa-baixa (OLPF) ou filtro anti-aliasing (AA) . Normalmente, trata-se de uma camada fina diretamente na frente do sensor e funciona desfocando efetivamente quaisquer detalhes potencialmente problemáticos que sejam mais precisos do que a resolução do sensor.
Modificações
O filtro Bayer é quase universal em câmeras digitais de consumo. As alternativas incluem o filtro CYGM ( ciano , amarelo , verde, magenta ) e o filtro RGBE (vermelho, verde, azul, esmeralda ), que requerem demosaicing semelhante. O sensor Foveon X3 (que camadas sensores vermelho, verde e azul verticalmente em vez de usar um mosaico) e arranjos de três CCDs separados (um para cada cor) não precisam de demosaicing.
Células "pancromáticas"
Em 14 de junho de 2007, Eastman Kodak anunciou uma alternativa ao filtro Bayer: um padrão de filtro de cor que aumenta a sensibilidade à luz do sensor de imagem em uma câmera digital usando algumas células "pancromáticas" que são sensíveis a todos os comprimentos de onda do visível luz e coletar uma quantidade maior de luz que atinge o sensor. Eles apresentam vários padrões, mas nenhum com uma unidade repetitiva tão pequena quanto a unidade 2 × 2 do padrão Bayer.
Outro pedido de patente dos EUA de 2007, por Edward T. Chang, reivindica um sensor em que "o filtro de cor tem um padrão compreendendo 2 × 2 blocos de pixels compostos por um pixel vermelho, um azul, um verde e um transparente", em uma configuração pretendida para incluir sensibilidade infravermelha para maior sensibilidade geral. O pedido de patente da Kodak foi anterior.
Essas células foram usadas anteriormente em sensores " CMYW " (ciano, magenta, amarelo e branco) "RGBW" (vermelho, verde, azul, branco), mas a Kodak ainda não comparou o novo padrão de filtro com eles.
Conjunto de filtros de cores Fujifilm "EXR"
O conjunto de filtros de cores EXR da Fujifilm é fabricado em CCD ( SuperCCD ) e CMOS (BSI CMOS). Tal como acontece com o SuperCCD, o próprio filtro é girado 45 graus. Ao contrário dos designs de filtro Bayer convencionais, sempre há dois photosites adjacentes detectando a mesma cor. O principal motivo desse tipo de array é contribuir para o "binning" de pixels, onde dois photosites adjacentes podem ser mesclados, tornando o próprio sensor mais "sensível" à luz. Outro motivo é o sensor gravar duas exposições diferentes, que são então mescladas para produzir uma imagem com maior faixa dinâmica. O circuito subjacente tem dois canais de leitura que obtêm suas informações de linhas alternadas do sensor. O resultado é que ele pode atuar como dois sensores intercalados, com tempos de exposição diferentes para cada metade dos photosites. Metade dos photosites pode ser intencionalmente subexposta para que capturem totalmente as áreas mais claras da cena. Essa informação de realce retida pode então ser combinada com a saída da outra metade do sensor que está gravando uma exposição 'total', novamente usando o espaçamento próximo de photosites de cores semelhantes.
Filtro Fujifilm "X-Trans"
O sensor CMOS Fujifilm X-Trans usado em muitas câmeras Fujifilm X-series é reivindicado para fornecer melhor resistência ao moiré colorido do que o filtro Bayer e, como tal, eles podem ser feitos sem um filtro anti-aliasing. Isso, por sua vez, permite que as câmeras que usam o sensor atinjam uma resolução mais alta com a mesma contagem de megapixels. Além disso, o novo design pretende reduzir a incidência de cores falsas, por ter pixels vermelhos, azuis e verdes em cada linha. O arranjo desses pixels também fornece granulação mais parecida com filme.
Uma das principais desvantagens é que o suporte para o padrão personalizado pode carecer de suporte total em software de processamento bruto de terceiros, como o Adobe Photoshop Lightroom, onde a adição de melhorias leva vários anos.
Quad Bayer
A Sony introduziu a matriz de filtro de cores Quad Bayer, que apareceu pela primeira vez no Huawei P20 Pro lançado em 27 de março de 2018. Quad Bayer é semelhante ao filtro Bayer, no entanto 2x2 pixels adjacentes são da mesma cor, o padrão 4x4 apresenta 4x azul, 4x vermelho, e 8x verde. Para cenas mais escuras, o processamento de sinal pode combinar dados de cada grupo 2x2, essencialmente como um pixel maior. Para cenas mais claras, o processamento de sinal pode converter o Quad Bayer em um filtro Bayer convencional para obter uma resolução mais alta. Os pixels em Quad Bayer podem ser operados em integração de longo e curto prazo para obter HDR de disparo único, reduzindo os problemas de mistura. Quad Bayer também é conhecido como Tetracell pela Samsung e 4-cell pela OmniVision .
Em 26 de março de 2019, a série Huawei P30 foi anunciada com RYYB Quad Bayer, com o padrão 4x4 apresentando 4x azul, 4x vermelho e 8x amarelo.
Nonacell
Em 12 de fevereiro de 2020, o Samsung Galaxy S20 Ultra foi anunciado com Nonacell CFA. Nonacell CFA é semelhante ao filtro Bayer, no entanto 3x3 pixels adjacentes são da mesma cor, o padrão 6x6 apresenta 9x azul, 9x vermelho e 18x verde.
Veja também
Referências
- Patente US 3971065 , Bryce E. Bayer, "Color imaging array", emitida em 1976-07-20 na web
Notas
links externos
- RGB "Bayer" Color e MicroLenses , Silicon Imaging (design, fabricação e comercialização de câmeras digitais de alta definição e soluções de processamento de imagem)
- Biblioteca de processamento de imagem eLynx , grande conjunto de código-fonte de manipulação de mosaico Bayer licenciado sob a GPL.
- Filtragem Bayer demosaic eficiente e de alta qualidade em GPUs
- Visão Global do Computador
- Revisão do Demosaicing Bayer Pattern Color Filter Array (CFA) com novos algoritmos de avaliação de qualidade
- Sensores de câmera digital