Código Google: Conheça o Google Research Football: um novo ambiente de aprendizado por reforço

Conheça o Google Research Football: um novo ambiente de aprendizado por reforço

04/07/2019

code { background-color: transparent }Postado por Karol Kurach, chefe de pesquisa, e Olivier Bachem, cientista de pesquisa, da Pesquisa Google, em Zuriqueaprendizado por reforçorobôscarros automáticosmuito maisAtariGoDota 2Starcraft 2Google Research Football Environmentcódigo-fonte aberto em questão no GithubFootball Engine Gameplay Football

O Football Engine é uma simulação de futebol avançada compatível com todas as principais regras do futebol, como chutes (canto superior esquerdo), gols (canto superior direito), faltas, cartões (canto inferior esquerdo), escanteios e pênaltis (canto inferior direito) e impedimentos.

estocásticoOpenAI GymFootball Benchmarksbaseado em regrasDQNIMPALARL de eficiência de amostragemrecompensas esparsasRL baseado em modelo

Há uma diferença média de gols do agente em relação ao adversário em níveis de dificuldade distintos para diferentes linhas de base. O oponente Easy pode ser derrotado por um agente DQN treinado para 20 milhões de passes, enquanto os oponentes Medium e Hard requerem um algoritmo distribuído como o IMPALA, que é treinado para 200 milhões de passes.

Football Academy e novidades futurasaprendizado curricular

Superior: é uma política de sucesso que é executada em direção ao gol (conforme necessário, já que vários adversários perseguem nosso jogador) e marca um gol. Segundo: é uma ótima maneira de iniciar e finalizar um contra-ataque. Terceiro: é uma forma simples de resolver um jogo de 2 contra 1. Inferior: o agente marca um gol depois da cobrança de um escanteio.

AgradecimentosEste projeto foi realizado em conjunto com Anton Raichuk, Piotr Stańczyk, Michał Zając, Lasse Espeholt, Carlos Riquelme, Damien Vincent, Marcin Michalski, Olivier Bousquet e Sylvain Gelly na Pesquisa Google, em Zurique. Também gostaríamos de agradecer a Lucas Beyer, Nal Kalchbrenner, Tim Salimans e os demais membros da equipe do Google Brain por discussões construtivas, comentários, ajuda técnica, além de contribuições relacionadas ao código. Por fim, somos gratos a Bastiaan Konings Schuiling, que autorizou e abriu o código da versão original deste jogo.