Código Google: Segmentação de vídeo em dispositivos móveis em tempo real

Segmentação de vídeo em dispositivos móveis em tempo real

28/03/2018

Valentin Bazarevsky e Andrei Tkachenka, engenheiros de software do Google Researchredesenhandochroma keyhistórias

Segmentação de vídeo de redes neurais nas histórias do YouTube.

redes neurais convolucionais

Uma solução para dispositivos móveis deve ser leve e ter uma velocidade de execução de 10 a 30 vezes maior que os modelos mais avançados de segmentação de fotos. Para inferência em tempo real, esse modelo precisa gerar resultados a 30 frames por segundo.

Um modelo de vídeo deve aproveitar a redundância temporal (frames próximos são similares) e exibir consistência temporal (resultados próximos devem ser similares)

Resultados da segmentação de alta qualidade exigem anotações de alta qualidade.

O conjunto de dadosinterseção sobre união

Um exemplo de imagem do nosso conjunto de dados anotada cuidadosamente com nove rótulos. Os elementos de primeiro plano estão sobrepostos à imagem.

Dados da redeRGBLSTMsGRUs

O frame original (esquerda) é separado em seus três canais de cor e concatenado à máscara de referência (meio). O resultado alimenta a nossa rede neural para prever a máscara do frame atual (direita).

Procedimento de treinamento

Máscara anterior vazia — treina a rede a trabalhar da forma certa para o primeiro frame e novos objetos na cena. Essa situação emula o caso de alguém aparecendo no frame da câmera.

Máscara afim da área real transformada — pequenas transformações treinam a rede para propagar e se ajustar à máscara do frame anterior. Grandes transformações treinam a rede a entender máscaras inadequadas e descartá-las.

Imagem transformada — implementamos a suavização de spline de camada fina (thin plate) da imagem original para emular movimentos e rotações rápidas da câmera.

Nossa segmentação de vídeo em tempo real em ação.

Arquitetura da redearquitetura de rede de segmentação de ampulheta

Usamos kernels de convolução grandes com etapas (strides) grandes de quatro ou mais para detectar características de objetos no frame de entrada RGB de alta resolução. As convoluções das camadas com poucos canais (como é o caso da entrada RGB) são relativamente leves. Portanto, neste caso, o uso de kernels grandes afeta muito pouco o custo computacional.

Para aumentar a velocidade, reduzimos a amostragem agressivamente usando etapas grandes combinadas com conexões alternadas (skip connections), como o U-Net, para restaurar características pequenas durante o aumento da amostragem. Para o nosso modelo de segmentação, essa técnica gera uma melhora considerável de 5% do IOU se comparada a não usar conexões alternadas.

Rede de segmentação de ampulheta com conexões alternadas.

Para ganhar ainda mais velocidade, otimizamos os gargalos padrão do ResNet. Na literatura, os autores tendem a comprimir os canais no meio da rede por um fator de quatro (por exemplo, reduzindo 256 canais a 64 usando 64 kernels de convolução diferentes). Entretanto, percebemos que podemos comprimir com muito mais agressividade, por um fator de 16 ou 32, sem prejudicar significativamente a qualidade.

Gargalo do ResNet com fator de compressão grande.

Para refinar e aumentar a precisão das bordas, adicionamos diversas camadas DenseNet à rede em resolução total, de forma semelhante à eliminação neural de fundo (neural matting). Essa técnica melhora levemente (0,5% de IOU) a qualidade geral do modelo, mas a qualidade percebida da segmentação aumenta consideravelmente.

AgradecimentosQueremos agradecer aos membros da nossa equipe que trabalharam conosco no desenvolvimento e no lançamento deste projeto: Andrey Vakunov, Yury Kartynnik, Artsiom Ablavatski, Ivan Grishchenko, Matsvei Zhdanovich, Andrei Kulik, Camillo Lugaresi, John Kim, Ryan Bolyard, Wendy Huang, Michael Chang, Aaron La Lau, Willi Geiger, Tomer Margolin, John Nack e Matthias Grundmann.

Nenhum comentário :

Postar um comentário

Segmentação de vídeo em dispositivos móveis em tempo real

Nenhum comentário :

Labels

Archive

Feed

Google Japan

Products

Developers