Código Google: GNMT

Blog oficial para desenvolvedores que falam português

Código aberto para Active Question Reformulation com Reinforcement Learning

10/23/18

Publicado por Michelle Chen Huebscher, engenheira de Software e Rodrigo Nogueira, estudante de PhD na New Your University e estagiário de engenharia de software, Google AI LanguageO processamento de linguagem naturale contínuotradução de máquinasintáticasemântica,muito maiselemento básicoTensorFlow para as Respostas Automáticas Ativasaprendizado por reforçoICLR 2018Faça as perguntas certas: a reformulação de pergunta ativa com o aprendizado por reforçoResposta Automática Ativatécnicas de aprendizado supervisionadasQuando o Tesla nasceu?Quando é o aniversário do TeslaEm que ano o Tesla nasceu10 de julho de 1856

aprendizado por reforçonosso artigopolíticareponderação do termo de consulta tf-idfstemização de palavraCrie seu próprio sistema ActiveQA

Um modelo pré-treinado de sequência para sequência que reconhece uma pergunta de entrada e retorna suas reformulações. Essa tarefa é semelhante à tradução automática, traduzindo do inglês para o inglês, e o modelo inicial pode de fato ser usado no processo de paráfrase geral. Para a implementação, utilizamos e personalizamos o Código do tutorial de tradução de máquina neural do TensorFlow. Adaptamos o código para ser compatível com o treinamento com aprendizado por reforço, usando métodos de gradiente de política.^*

Um modelo de seleção de resposta. O seletor de respostas usa uma rede neural convolucional e atribui uma pontuação a cada trio da pergunta original, reformulação e resposta. O seletor usa incorporações de palavras pré-treinadas e publicamente disponíveis (GloVe).

Um sistema de respostas automáticas (o ambiente). Para isso, utilizamos o BiDAF, um sistema popular de respostas automáticas, descrito em Seo et al. (2017).

AgradecimentosContribuíram para essa pesquisa e lançamento Alham Fikri Aji, Christian Buck, Jannis Bulian, Massimiliano Ciaramita, Wojciech Gajewski, Andrea Gesmundo, Alexey Gronskiy, Neil Houlsby, Yannic Kilcher e Wei Wang.
* O sistema relatado em nosso artigo usava o código de sequência para sequência do TensorFlow usado em Britz et al. (2017). Posteriormente, uma versão de código aberto do modelo de tradução do Google (GNMT) foi publicado como um tutorial. A versão do ActiveQA lançada hoje é baseada nessa implementação mais recente e ativamente desenvolvida. Por esse motivo, o sistema lançado pode variar um pouco do artigo. Mesmo assim, o desempenho e o comportamento são comparáveis qualitativa e quantitativamente.^↩