Código Google: Segmentação de vídeo em dispositivos móveis em tempo real

Segmentação de vídeo em dispositivos móveis em tempo real

28/03/2018

Valentin Bazarevsky e Andrei Tkachenka, engenheiros de software do Google Researchredesenhandochroma keyhistórias

Segmentação de vídeo de redes neurais nas histórias do YouTube.

redes neurais convolucionais

Uma solução para dispositivos móveis deve ser leve e ter uma velocidade de execução de 10 a 30 vezes maior que os modelos mais avançados de segmentação de fotos. Para inferência em tempo real, esse modelo precisa gerar resultados a 30 frames por segundo.

Um modelo de vídeo deve aproveitar a redundância temporal (frames próximos são similares) e exibir consistência temporal (resultados próximos devem ser similares)

Resultados da segmentação de alta qualidade exigem anotações de alta qualidade.

O conjunto de dadosinterseção sobre união

Um exemplo de imagem do nosso conjunto de dados anotada cuidadosamente com nove rótulos. Os elementos de primeiro plano estão sobrepostos à imagem.

Dados da redeRGBLSTMsGRUs

O frame original (esquerda) é separado em seus três canais de cor e concatenado à máscara de referência (meio). O resultado alimenta a nossa rede neural para prever a máscara do frame atual (direita).

Procedimento de treinamento

Máscara anterior vazia — treina a rede a trabalhar da forma certa para o primeiro frame e novos objetos na cena. Essa situação emula o caso de alguém aparecendo no frame da câmera.

Máscara afim da área real transformada — pequenas transformações treinam a rede para propagar e se ajustar à máscara do frame anterior. Grandes transformações treinam a rede a entender máscaras inadequadas e descartá-las.

Imagem transformada — implementamos a suavização de spline de camada fina (thin plate) da imagem original para emular movimentos e rotações rápidas da câmera.

Nossa segmentação de vídeo em tempo real em ação.

Arquitetura da redearquitetura de rede de segmentação de ampulheta

Usamos kernels de convolução grandes com etapas (strides) grandes de quatro ou mais para detectar características de objetos no frame de entrada RGB de alta resolução. As convoluções das camadas com poucos canais (como é o caso da entrada RGB) são relativamente leves. Portanto, neste caso, o uso de kernels grandes afeta muito pouco o custo computacional.

Para aumentar a velocidade, reduzimos a amostragem agressivamente usando etapas grandes combinadas com conexões alternadas (skip connections), como o U-Net, para restaurar características pequenas durante o aumento da amostragem. Para o nosso modelo de segmentação, essa técnica gera uma melhora considerável de 5% do IOU se comparada a não usar conexões alternadas.

Rede de segmentação de ampulheta com conexões alternadas.

Para ganhar ainda mais velocidade, otimizamos os gargalos padrão do ResNet. Na literatura, os autores tendem a comprimir os canais no meio da rede por um fator de quatro (por exemplo, reduzindo 256 canais a 64 usando 64 kernels de convolução diferentes). Entretanto, percebemos que podemos comprimir com muito mais agressividade, por um fator de 16 ou 32, sem prejudicar significativamente a qualidade.

Gargalo do ResNet com fator de compressão grande.

Para refinar e aumentar a precisão das bordas, adicionamos diversas camadas DenseNet à rede em resolução total, de forma semelhante à eliminação neural de fundo (neural matting). Essa técnica melhora levemente (0,5% de IOU) a qualidade geral do modelo, mas a qualidade percebida da segmentação aumenta consideravelmente.

AgradecimentosQueremos agradecer aos membros da nossa equipe que trabalharam conosco no desenvolvimento e no lançamento deste projeto: Andrey Vakunov, Yury Kartynnik, Artsiom Ablavatski, Ivan Grishchenko, Matsvei Zhdanovich, Andrei Kulik, Camillo Lugaresi, John Kim, Ryan Bolyard, Wendy Huang, Michael Chang, Aaron La Lau, Willi Geiger, Tomer Margolin, John Nack e Matthias Grundmann.

3 comentários :

steve dias disse...: Situs judi online saat ini sudah menjadi hal yang sangat banyak di jumpai di dunia internet. Dan Untuk menjadi sebuah situs dewa poker online yang berkualitas, tentunya pelayanan yang kita berikan juga tidak perlu dipertanyakan lagi.Salah satu permainan judi online yang paling digemari saat ini adalah poker online dan casino online yang bisa anda kunjungi di website dewapoker terbaik di asia.; 14 de fevereiro de 2019 às 04:02
steve dias disse...: Selamat Datang di Website Resmi Pokerbo88 tempat judi Poker Online Terpecaya di asia dengan kemudahan bertransaksi Register, Deposit maupun Withdraw dengan Sangat Cepat dan Aman. Agen Pokerbo888 Selalu Memberikan Jaminan Keamanan Dalam Bermain Poker Online Tanpa Bot, Admin Serta Kami Selalu Memberikan Pelayanan Terbaik Selama 24 Jam Setiap Harinya, Kini Semua Member Dapat Bermain Poker online , dominoqq, domino qiu qiu ,Ceme, Keliling Live Poker, Capsa Susun Kapan Pun Dan Di manapun Karena Kami Menyediakan Aplikasi Android Dan Iphone Sehingga Anda Dapat Bermain Pokerbo888 Di SmartPhone Anda.; 14 de fevereiro de 2019 às 04:03
Ehsaas Program 8171 BISP disse...: Thank you for this valuable insight. Government Aid – Ehsaas Program It helped me a lot!; 6 de março de 2025 às 08:52

Postar um comentário

Segmentação de vídeo em dispositivos móveis em tempo real

3 comentários :

Labels

Archive

Feed