O que é a revisão do modo astrofotografia no Google Pixel 4?

Segundo o que li:

"O telefone tira 16 fotos de um quarto de minuto para um tempo total de exposição de 4 minutos, reduz o ruído do sensor, depois casa as imagens juntas em uma só foto"

Ok, então o que eles estão fazendo aqui é um conceito bastante experimentado e verdadeiro conhecido como empilhamento, que é a forma como quase toda a astrofotografia é feita hoje em dia.

Nos bastidores, as imagens digitais são essencialmente apenas uma série de números. Esses números registram os valores de brilho e cor para cada pixel da imagem. Uma das grandes coisas sobre esses números é que podemos fazer contas com eles.

Parte do problema, o principal problema, com a astrofotografia é o fato de que as coisas que estamos tentando capturar são muito tênues. Como exemplo, a Galáxia Andrómeda, M31, tem um tamanho angular de quase 3° por 1,5°. Como comparação, a lua cheia tem cerca de 0,5° de diâmetro - então a M31 tem seis vezes mais largura e três vezes mais altura. Então, se é tão grande, porque não a vemos? Porque é tão ténue. Na verdade, se você for para um lugar com céu muito escuro, e muito pouca poluição luminosa, umidade, nuvens ou poeira no ar, então, assumindo que está acima do horizonte, você PODE ver M31 a olho nu como uma mancha de céu relativamente fraca e difusa.

Para obter as imagens que precisamos que mostram todos os detalhes e cores, nós capturamos exposições longas - exposições da câmera onde o obturador está aberto por longos períodos de tempo. Uma fotografia típica tirada no exterior num dia de sol pode usar uma velocidade de obturação ou tempo de exposição (estas duas coisas não são exactamente as mesmas, mas inter-relacionadas e, para os nossos propósitos, podemos tratá-las da mesma forma) de cerca de 1/1000 de segundo. Para uma foto tirada dentro de uma sala iluminada, talvez 1/250º ou 1/125º de segundo. A maioria das fotografias com flash é feita por volta de 1/90th ou 1/60th de segundo. Estas são as medidas de tempo que a luz é permitida dentro da câmera para interagir com o filme ou sensor de imagem. No mundo diurno em que vivemos, há muita luz a circular, por isso as imagens não demoram muito tempo a captar essa luz.

Mas com a astrofotografia, porque os nossos temas são tão fracos, precisamos de tempos de exposição mais longos, tempos muitas vezes medidos não só em segundos, mas minutos inteiros e mais longos.

Nos velhos tempos da astrofotografia, quando se fazia com filme, os astrofotógrafos tinham de abrir o obturador da câmara e esperar vários minutos a horas para captar a imagem. Como a Terra gira no seu eixo, os objectos no céu acima parecem mover-se de Este para Oeste ao longo da noite. Ao capturar uma imagem, o telescópio ou a lente da câmera deve se mover de forma a seguir o objeto alvo através do céu, e deve fazê-lo de forma incrivelmente precisa. Para imagens longas baseadas em filmes, um fotógrafo normalmente teria que se sentar ao lado do telescópio olhando através de um segundo telescópio montado ao lado do telescópio principal, sem nunca tocar nele, e usando uma caixa de controle para fazer pequenos ajustes na mira do telescópio para manter uma estrela no retículo do alvo até que a exposição fosse feita (algo que tenho certeza que foi forçado em estudantes de graduação insuspeitos - sempre uma fonte de mão-de-obra barata - nos principais observatórios controlados pela universidade).

Com o advento da imagem digital, temos alguns novos truques no saco para tornar este processo muito mais fácil. Primeiro, temos sistemas de autoguia, que fazem o trabalho de orientação para nós. Isto, no entanto, não se aplica à questão em questão.

A grande mudança foi a invenção do empilhamento.

Com o empilhamento, capturamos várias imagens da mesma coisa. Alinhamos então as imagens de modo a que o mesmo pixel em cada imagem cubra o mesmo pequeno pedaço de céu. Você pode pensar nisso como imprimir algo em um conjunto de folhas de plástico transparente (como as antigas folhas do retroprojetor), e empilhá-las umas em cima das outras e ajustá-las de modo que todas coincidam. Uma vez que tenhamos a pilha alinhada, nós então atravessamos a imagem, pixel a pixel, e fazemos uma análise estatística da imagem.

Eu deveria mencionar que antes de alinharmos, nós realmente fazemos algo para remover o ruído. Muitas câmeras fazem isso agora. Se você tirar uma foto, então tire outra foto com o obturador fechado mas pelo mesmo tempo de exposição, essa segunda foto deve conter todo o ruído (o que a maioria das pessoas pensaria como estático) como na foto principal. Você pode então subtrair o sinal de ruído da imagem, pixel a pixel, para remover esse ruído. Isto é geralmente referido como "dark frame substitution" ou "dark frame calibration". Você normalmente quer fazer isso ANTES de fazer sua operação de empilhamento.

Na operação de empilhamento, então, você pega todos os valores de cada pixel na pilha para aquele mesmo local. Em seguida, você os mede. A média deve fornecer um valor o mais próximo possível do valor "verdadeiro"

Em alguns casos, a análise primeiro tira a média, depois o desvio padrão, depois remove quaisquer valores que estejam mais de 1 ou 2 desvios padrão fora da média - isto significa que um valor que é invulgarmente alto ou baixo é descartado, depois tudo é novamente tirado da média, o que deve fornecer um valor "verdadeiro" ainda mais preciso. Isto é feito sobre toda a imagem, e os valores resultantes são usados para criar uma nova imagem que é feita a partir da análise de cada pixel.

E isto é o que o modo astrofotografia do Pixel 4 está a fazer. Você mantém a câmera imóvel por alguns segundos de cada vez, e ela então leva cada uma dessas imagens e executa uma operação de empilhamento sobre elas para criar a imagem final.

Neste caso, parece que ela pode estar fazendo uma operação de "empilhamento ao vivo", na qual cada nova imagem é processada para a imagem final à medida que é capturada. Existem vários sistemas que fazem isso, mas este é o primeiro que ouvi falar de ser feito em um telefone.

Para fazer isso, acho que eles também adicionaram alguma forma de estabilização de movimento. Mesmo pequenos movimentos podem arruinar a imagem de 15 segundos, mas a estabilização da imagem pode compensar isso. O grande problema aqui é fazer tudo isso rapidamente e sem problemas.

Ainda não vi um na natureza, mas estou interessado em ver o que vem disso.

Uma coisa que isso não vai fazer: não vai substituir os sistemas caros e complexos usados por astrônomos amadores para capturar imagens como nós fazemos. No entanto, ele deve ser bastante útil para imagens de paisagens noturnas.