Como a 20th Century Fox usa o aprendizado de máquina para prever o público de um filme

Para ter sucesso na indústria cinematográfica, os estúdios precisam atrair público para seus filmes. Mas, isso não é tão fácil quanto parece. Os fãs de cinema se dividem em grupos diversificados, cada um com interesses e preferências diferentes. Historicamente, os estúdios de cinema dependiam muito da experiência para decidir investir em um script específico. Mas isso traz riscos muito altos, principalmente ao investir em histórias novas e originais. Julie Rieger, presidente e diretora de estratégia de dados e líder de mídia da Data Science e Miguel Campo-Rembado, vice-presidente sênior da Data Science, junto com a equipe de cientistas de dados da 20th Century Fox decidiram usar dados para esclarecer o processo iterativo e complexo de unir histórias e públicos.

Um desafio de dados à altura do aprendizado de máquina

Entender a segmentação de mercado do público que frequenta o cinema é a principal função dos estúdios de cinema. Ao longo dos anos, os estúdios investiram em processos de dados de alto nível para tentar mapear os segmentos de clientes e fazer previsões de futuros filmes. No entanto, as previsões granulares no nível do segmento, sem contar no nível do cliente, permaneceram evasivas até o momento devido a barreiras tecnológicas e institucionais.  

Miguel e sua equipe conseguiram derrubar algumas dessas barreiras trabalhando com parceiros como o Google Cloud. Juntos, criamos parcerias de dados de privacidade robustos para entender melhor os fãs de cinema. Além disso, desenvolvemos modelos internos de aprendizado profundo que treinam com os dados granulares de clientes e roteiros de filmes para identificar os padrões básicos nas preferências dos públicos de diferentes gêneros cinematográficos. Em um período de 18 meses, esses modelos se tornaram parte dos critérios padrão para tomar decisões de negócios importantes. Eles também fornecem um dos indicadores mais objetivos e eficazes com base em dados para avaliar o tom de um filme, sua afinidade com públicos primários e secundários, além do seu provável desempenho financeiro.

Abordaremos esses métodos em mais detalhes. Quando o assunto é cinema, analisar o texto de um roteiro não é o suficiente, pois ele só fornece o esqueleto da história, sem o dinamismo adicional que pode atrair o público a um filme. A equipe se perguntava se havia algum meio de usar a visão computacional moderna e avançada para estudar os trailers de filmes, que ainda são o principal elemento de toda a campanha de marketing de um filme. O lançamento do trailer de um filme novo é um evento altamente antecipado e pode ajudar a prever seu sucesso. Assim, é importante que as empresas garantam que o trailer passe a mensagem certa para os espectadores. Para atingir esse objetivo, a equipe de ciência de dados da 20th Century Fox se uniu ao Advanced Solutions Lab do Google para criar o Merlin Video, uma ferramenta de visão computacional que aprende representações densas de trailers para ajudar a prever o público que assistirá ao filme de um trailer específico.

Desenvolvimento de um canal de dados

Na primeira etapa, a equipe identificou a tecnologia que deveria alimentar essa ferramenta. A escolha óbvia foi a Cloud Machine Learning Engine (Cloud ML Engine) junto com a estrutura de aprendizado profundo do TensorFlow. Como é um serviço gerenciado, a Cloud ML Engine automatiza o provisionamento e o monitoramento de todos os recursos. Assim, a equipe pôde se concentrar na criação do modelo de aprendizado profundo do Merlin em vez de configurar a infraestrutura. A integração ao Cloud Dataflow também permite gerar relatórios com facilidade no Data Studio, o que proporcionou à equipe um entendimento mais profundo do funcionamento do processo. A manutenção diária do sistema (principalmente a ingestão de dados) é simples e fácil e pode ser totalmente realizada por cientistas de dados, sem a necessidade da intervenção de engenheiros de outras unidades da empresa.

Diagrama do fluxo de arquitetura do Merlin

Com a infraestrutura certa implementada, a equipe começou a análise do YouTube 8M, um conjunto de dados públicos de vídeos do YouTube. Esse conjunto de dados inclui um modelo pré-treinado do Google que consegue analisar características específicas do vídeo, como cor, iluminação, muitos formatos de rosto, milhares de objetos e inúmeras paisagens. A primeira etapa na arquitetura do Merlin, demonstrada na figura acima, é analisar essas características predefinidas como um indicador para determinar os elementos do trailer que são mais preditivos das preferências dos espectadores.

Por exemplo, se alguém assistiu a mais filmes com protagonistas masculinos, será que é mais provável que essa pessoa assista a outro filme com protagonista masculino? Vamos analisar de perto Logan, um filme de ação lançado pela 20th Century Fox estrelando Hugh Jackman como Wolverine. Veja abaixo um instantâneo dos 12 segundos do trailer oficial.

Trailer oficial de Logan, segundo 12

Para esse instantâneo, Merlin retornou as seguintes etiquetas: pelo_facial, barba, captura de tela, queixo, humano, filme. Após analisar o trailer completo, segundo por segundo, Merlin revela as principais etiquetas para Logan:

Captura de tela da ferramenta da Fox, Merlin: etiquetas marcadas, organizadas por frequência descendente

Assim que a análise de etiquetas de Logan foi atribuída, a equipe da 20th Century Fox queria comparar essa nova análise às etiquetas previamente geradas a partir de outros trailers para identificar filmes similares. Ao que tudo indica, há certa correspondência entre os públicos de Logan e outros filmes de ação, mas há dois desafios aqui. O primeiro é a posição temporal das etiquetas no trailer, ou seja, é importante quando as etiquetas ocorrem no trailer. O segundo desafio é a alta dimensionalidade desses dados. No caso de qualquer filme, há inúmeros elementos no trailer que podem prever o interesse de um público, e Merlin almeja analisar todos esses elementos simultaneamente. A elasticidade do Cloud ML Engine permitiu que a equipe de ciência de dados repetisse e testasse os dados rapidamente, sem comprometer a integridade do modelo de aprendizado profundo. Isso ajudou o Merlin a se tornar uma ferramenta pronta para produção em questão de dias, em vez de meses ou anos.

Mais especificamente, o canal de análise usa esses componentes individuais (etiquetas) para alimentar uma rede neural personalizada que foi desenvolvida pela equipe de ciência de dados. Esse modelo personalizado aprende a sequência temporal das etiquetas no trailer. A sequência temporal (por exemplo, uma gravação longa de um objeto em comparação a gravações curtas e intermitentes) pode mostrar informações sobre o tipo de filme, o enredo, os papeis dos personagens principais e as escolhas cinematográficas dos cineastas. Quando combinada aos dados históricos de clientes, a análise sequencial pode ser usada para criar previsões do comportamento do público. O canal também incluiu um modelo baseado na distância de “filtragem colaborativa” (FC) e uma camada de regressão logística que combina todos os resultados do modelo para produzir uma probabilidade de bilheteria do filme. Esse modelo é treinado de ponta a ponta, e a perda da regressão logística é retropropagada a todos os componentes que podem ser treinados (pesos). O canal de dados do Merlin é atualizado semanalmente para incluir novos lançamentos de trailers. A estrutura do canal é mostrada no diagrama abaixo:

Na etapa final, a equipe usou o BigQuery e o BigQueryML para combinar milhões de previsões de bilheteria do Merlin com outras fontes de dados a fim de criar relatórios úteis e rapidamente desenvolver planos de mídia para campanhas de marketing.

Validação do modelo

Vamos usar o exemplo de Logan de novo para conferir se os dados corroboram nossa intuição de que os espectadores que já viram um filme de ação com um protagonista masculino “bruto” provavelmente assistirão Logan também. Após o lançamento de um filme, conseguimos processar os dados sobre os filmes que já foram vistos por esse público. A tabela abaixo mostra os principais 20 públicos reais (Comp ACT) em comparação aos principais 20 públicos previstos (Comp PRED) Vamos focar os cinco principais filmes reais (mostrados abaixo em verde) e ver se eles também aparecem na coluna de previsão. Dos cinco principais filmes, todos eles foram representados pelas previsões.

Resultados produzidos pelo Merlin Video com públicos reais x previstos.

De modo geral, nossa intuição estava certa. Os principais públicos de Logan eram realmente uma combinação de super-herói (que já sabíamos) e “protagonista masculino bruto” (que não tínhamos certeza). Isso é mais evidente quando vemos que as principais previsões de “protagonista masculino bruto”, como Sete Homens e um Destino (acima em azul), John Wick (acima em verde) e O Exterminador do Futuro: Gênesis (acima em azul) também estavam presentes na lista dos 20 principais públicos reais. O resultado é inteiramente positivo porque o novo público “complementa” o público principal de super-heróis e pode ser usado para estender o alcance do filme para além do público principal.

O impacto dessas ferramentas nas equipes de dados e marketing da 20th Century Fox é significativo. Em vez de depender exclusivamente de resultados de pesquisa de público de alto nível, a equipe agora pode implantar instrumentos mais precisos para determinar a intenção do cliente. Os insights são pelo menos duas vezes mais detalhados do que os conjuntos de análises anteriores que o estúdio usava. A 20th Century Fox usa essa ferramenta desde o lançamento de O Rei do Show em 2017 e continua a usá-la para informar seus lançamentos mais recentes. Agora eles também incorporam dados de compra e locação de fontes de entretenimento pessoal para identificar correlações mais eficazes entre um integrante do público e os filmes que ele assistiu.

Por fim, como os dados são mais granulares, a equipe pode analisar o desempenho real de bilheteria em comparação às previsões internas e ver quais previsões no nível de segmento foram confirmadas. A equipe de ciência de dados de Miguel  agora cria quadros de resultados toda segunda-feira de manhã, que depois são enviados por e-mail para toda a organização.

Se você quiser saber mais sobre a pesquisa por trás do Merlin, consulte o artigo da pesquisa original aqui.