Postado por Sam Hasinoff, engenheiro de software de percepção de máquina

O recurso de fotos em sequência é a principal ideia do software HDR+ dos smartphones recentes do Google e uma técnica de fotografia computacional fundamental para melhorar a qualidade da imagem. Toda foto tirada com HDR+ é, na verdade, uma combinação de várias fotos de alta resolução em sequência, obtidas em um curto espaço de tempo. O HDR+ ajudou o Pixel e o Pixel 2 a ficarem em primeiro lugar no ranking de câmeras de celular da DxO por dois anos seguidos. O novo modo retrato do Pixel 2 também usa o HDR+, tanto para a qualidade da imagem básica quanto para melhorar a qualidade da estimativa de profundidade.

Hoje, temos o prazer de anunciar a disponibilização pública de um arquivo de imagens em sequência para a comunidade de pesquisa. Desse modo, todos podem comparar seus métodos com os resultados do software HDR+ do Google, executados nas mesmas imagens de entrada. Esse conjunto de dados é composto de 3.640 imagens em sequência, brutas e em alta resolução, compostas por 28.461 imagens individuais, juntamente com os resultados intermediários e finais do HDR+, para fins de comparação. As imagens representam uma grande variedade de situações fotográficas, como variação no assunto, nível de movimento, brilho e faixa dinâmica.
Uso de fotos em sequência para melhorar a qualidade da imagem. O HDR+ começa com a captura de imagens em sequência, brutas e em alta resolução (esquerda). Dependendo das condições, entre 2 e 10 imagens são alinhadas e combinadas em uma imagem bruta intermediária (meio). Essa imagem combinada apresenta ruído reduzido e maior faixa dinâmica, gerando um resultado de maior qualidade (direita).
Melhores imagens com fotos em sequência
As fotos em sequência oferecem os benefícios da captura de mais luz, incluindo menor ruído e maior faixa dinâmica, mas evita o borrão de movimento que geralmente ocorre com maiores tempos de exposição. Isso é muito importante para câmeras de smartphone pequenas, cujo tamanho limita a quantidade de luz que conseguem capturar.

Como o HDR+ foi lançado pela primeira vez nos Nexus 5 e 6, trabalhamos bastante para melhorar o sistema. Descrevemos em nosso recente artigo da SIGGRAPH Asia que o HDR+ agora trabalha com imagens brutas, o que ajuda a melhorar a qualidade da imagem. Isso também significa que o canal de processamento da imagem é totalmente implementando usando nosso software. Depois, eliminamos o atraso do obturador, o que faz a fotografia parecer instantânea. A foto HDR+ que você obtém corresponde ao momento em que o botão foi pressionado. E, por fim, diminuímos os tempos de processamento e o consumo de energia implementando o HDR+ em aceleradores como o Qualcomm Hexagon DSP e o novo Pixel Visual Core.
Mosaico de imagens miniatura que mostram o tamanho e a diversidade do conjunto de dados do HDR+. A disponibilização de um sistema de fotografia computacional como o HDR+ para uso em produção, com usuários que capturam milhões de fotos por dia, significa que situações fotográficas incomuns devem ser tratadas com eficiência.
Uso do conjunto de dados
A escala e a diversidade do conjunto de dados do HDR+ é também uma oportunidade para aplicar métodos modernos de aprendizado de máquina. Nosso conjunto de dados já foi incorporado a um artigo de pesquisa recente que usa uma rede neural para aproximar parte do canal do HDR+, limitado a uma representação adequada para agilizar o processamento de imagens. Muitos outros artigos que aplicam aprendizado ao conjunto de dados do HDR+ estão sendo revisados.

Inspirados pelo arquivo de Middlebury de dados estéreo, a nossa esperança é que um conjunto de dados compartilhado permita que a comunidade se concentre na comparação de resultados. Essa abordagem é intrinsecamente mais eficiente que esperar que os pesquisadores configurem e executem por conta própria técnicas conflitantes ou as implementem do zero quando o código for proprietário. O conjunto de dados do HDR+ foi lançado com uma licença Creative Commons (CC-BY-SA). Essa licença, no geral, impõe poucas condições. No entanto, a nossa principal intenção é que o conjunto de dados seja usado para fins científicos. Se quiser saber mais sobre como citar o conjunto de dados, consulte a descrição detalhada. Estamos ansiosos para ver o que mais os pesquisadores conseguem fazer com o conjunto de dados do HDR+!

Agradecimentos
Um agradecimento especial aos fotógrafos e fotografados do conjunto de dados do HDR+.