Porque é que os "zooms digitais" nas câmaras aumentam a pixelização?

Então, num zoom digital clássico, a câmara começa com a saída do sensor da câmara. Essa é toda a informação que existe para trabalhar. A informação da imagem vem desse sensor, que é uma matriz de sensores analógicos que alimenta um estágio de conversão digital.

Um zoom digital é simplesmente um recorte e uma ampliação. Agora, essa ampliação pode ser um pouco inteligente. Neste zoom 2x, a parte da ampliação poderia simplesmente transformar cada pixel em quatro pixels, mas isso gostaria de ter muito mais pixels. Então, eles interpolam entre os pixels vizinhos. Isto não adiciona realmente uma nova informação, mas torna a ampliação menos óbvia.

O mesmo processo nos leva a um zoom digital de 4x. E claro, em resoluções normais da Quora, você pode não ver a perda da qualidade da imagem, mas está lá.

Em um zoom digital 8x, é bastante claro que não estamos vendo nenhum detalhe adicional.

E em 16x, apenas esqueça... ninguém quer isso. Esta era originalmente uma imagem de 20 megapixel. Então a imagem de 2x tem apenas 5 megapixels de informação real. A 4x, é 1,25 megapixels. A 8x, 0,31 megapixels, e a 16x, apenas 0,08 megapixels. Claro, eu fiz isso no Photoshop, que tem um bom algoritmo de upscaling, então você não conseguiu a pixelização clássica, mas você pode ver o problema.

Tentei um "AI Image Enlarger" online (www.bigjpg.com)... melhor? É bastante possível que um programa de ampliação de imagem suficientemente avançado melhore uma imagem adicionando informação enquanto a amplia. Mas essa informação é essencialmente inventada. É um pouco como se você contratasse um artista para desenhar uma imagem muito realista a partir da combinação da sua imagem inicial com a imaginação deles. O que é bom se a imagem ficar melhor numa situação artística.

Google introduziu um zoom digital melhor no seu smartphone Pixel 3, que eles apelidaram de "Super Res Zoom". Esta imagem (do Google, não minha) mostra duas fotos tiradas com a mesma câmera Pixel. A da esquerda é um zoom digital comum, a da direita está usando sua técnica de zoom Super Res.

O que o Google está fazendo em uma técnica usada em astrofotografia por décadas, pelo menos, chamada de "drizzle". Cada foto é o resultado de uma amostragem de uma imagem do mundo real, seguindo as restrições do Teorema da Amostragem Nyquist-Shannon. Se você mover sua câmera apenas ligeiramente, você tira uma amostra de uma posição ligeiramente diferente, que contém informações ligeiramente diferentes. Portanto, o que um algoritmo de chuvisco faz é analisar um número de fotos tiradas de posições ligeiramente diferentes para obter informações abaixo do tamanho de um pixel individual em qualquer imagem.

Google tira uma "pilha" de tais fotos, contando com um aperto de mão natural para variar a posição da câmera. Portanto, eles estão trabalhando com muitas vezes a informação original naquele único disparo. Se a imagem estiver muito estável, ela usa o mecanismo de estabilização da câmera para mover a câmera apenas um pouco. E assim, usando uma câmera normal, o Google pode obter uma ampliação bastante convincente de 1,5x, e um resultado melhor que o zoom digital em 2x.

Isso não é ilimitado. Não importa quantas amostras sejam tiradas, um algoritmo de chuvisco não pode resolver uma imagem além da resolução óptica real da lente. Com um zoom de 1,5x, a lente do Google teria de estar resolvendo uma imagem óptica equivalente a 27 megapixels para realmente entregar essa imagem de 1,5x. Elas podem estar próximas. Mas a 2,0x, elas precisariam de uma lente capaz de resolver 48 megapixels. Isso é impossível em f/1.8 para um sensor deste tamanho.

Então eu fiz um experimento um pouco atrás para outro artigo da Quora, testando algumas técnicas de resolução. Aqui está a foto básica com uma lente de 12mm.

Aqui está o meu zoom digital da imagem original.

Neste, eu usei uma lente de 25mm e fotografei um panorama. Então criei uma versão de maior resolução da mesma imagem por "costura". A melhoria da resolução é bastante óbvia.

A minha câmera também tem um modo de alta resolução, no qual ela tira 8 fotos com 1 pixel e 1/2 pixel de offset. Ela não precisa de um verdadeiro algoritmo de chuvisco, pois o alinhamento de pixels é preciso, mas oferece uma resolução verdadeira mais alta. A melhoria é provavelmente limitada pela lente, como com o algoritmo do drizzle, isto não pode melhorar a imagem além da resolução óptica da lente.

E finalmente, aqui está um drizzle "mão" que eu fiz no Photoshop. Isto funcionou ao fotografar várias fotos com a resolução e lente originais, apenas batendo ligeiramente a câmera entre cada foto. As imagens foram zeradas e alinhadas no Photoshop, por isso conta com o algoritmo de alinhamento de imagens do Photoshop para descobrir o alinhamento subpixel. Assim, o resultado, e muito movimento de fundo entre as fotos, para ser muito eficaz, mas com um verdadeiro algoritmo de chuvisco, provavelmente melhoraria.

Leia Mais

Veja Melhor e Mais com o Super Res Zoom no Pixel 3

Dave Haynie's post em Clickworthy: Image Stacking Magic, Parte 2