Código Google: Apresentação do TensorFlow Data Validation: entendimento, validação e monitoramento de dados em grande escala

Apresentação do TensorFlow Data Validation: entendimento, validação e monitoramento de dados em grande escala

25/09/2018

TensorFlow Data Validationplataforma TFX

Figura 1: TensorFlow Data Validation usado para análise e validação de dados no TFX

TensorFlow Data Validation em um notebook Cálculo e visualização de estatísticas descritivas

Conectores: o TFDV usa o Apache Beam para definir e processar os canais de dados. Assim, os conectores de E/S do Beam, além dos PTransforms definidos pelo usuário, podem ser usados para processar vários formatos e representações de dados. Oferecemos duas funções auxiliares para criar arquivos CSV e TFRecords de tf.Examples serializados.

# compute statistics for a CSV filetrain_stats = tfdv.generate_statistics_from_csv(TRAIN_DATA)# compute statistics for TF Record filestrain_stats = tfdv.generate_statistics_from_tfrecord(TRAIN_DATA)

Flexibilidade: a API também possibilita o cálculo de estatísticas personalizadas (além das estatísticas padrão calculadas pelo TFDV), desde que o cálculo possa ser expresso na forma de transformações do Apache Beam. Essas estatísticas personalizadas são serializadas no mesmo statistics.proto, de onde podem ser consumidas pelas bibliotecas do processo.

Escala: o TFDV cria um canal Apache Beam que é executado com um DirectRunner no ambiente de notebook. O mesmo canal pode ser distribuído com outros executores como, por exemplo, o DataflowRunner no Google Cloud Platform. As comunidades do Apache Flink e do Apache Beam também estão perto de finalizar um Flink Runner. Siga o tíquete JIRA, o blog do Apache Beam ou a lista de e-mails correspondente para receber notificações sobre a disponibilidade do Flink Runner.

statistics.proto

Figura 2: o statistics.proto pode ser visualizado e verificado em linha (usando o Facets Overview)

Inferência de um esquemaschema.protoTensorFlow Transform# Infer schema based on statisticsschema = tfdv.infer_schema(train_stats)# Display schema inline in table formattfdv.display_schema(schema)

Figura 3: o schema.proto pode ser visualizado e verificado em linha

Validação de novos dados# Compute statistics over a new set of datanew_stats = tfdv.generate_statistics_from_csv(NEW_DATA)# Compare how new data conforms to the schemaanomalies = tfdv.validate_statistics(new_stats, schema)# Display anomalies inlinetfdv.display_anomalies(anomalies)

Figura 4: o relatório de anomalias oferece uma visão geral das discrepâncias entre os dados novos e o esquema

anomalies.proto Validação de dados do TensorFlow em canais de produçãoTensorFlow Transformfunção de pré-processamento Validação de dados recebidos continuamente

Figura 5: visualização esquemática do uso de validate_statistics para validar dados recém-chegados

Figura 6: uso da visualização do Facets Overview para comparar dois conjuntos de dados. Agora, comparamos o recurso "fare" entre dois dias. Como o DAY2 (DIA2) só tem metade da quantidade de exemplos do DAY1 (DIA1), usamos porcentagens. Depois, clicamos em "expand" para aumentar o zoom da visualização. A visualização "Quantiles" mostra que a distribuição é similar, com a exceção de um ponto fora da curva no conjunto de dados DAY1.

Detecção de distorções no treinamento/apresentação

Figura 7: vista esquemática da comparação dos dados de treinamento e de apresentação com validate_statistics

TFDV e TensorFlow TransformTensorFlow Transform (TFT)Apache Beamfeature_spec = schema_utils.schema_as_feature_spec(schema).feature_specschema = dataset_schema.from_feature_spec(feature_spec) Como começar a usar o TensorFlow Data Validationgithub.com/tensorflow/data-validationexemplo de notebookexemplo completoGostaríamos de agradecer a Sudip Roy, Paul Suganthan, Ming Zhong e Martin Zinkevich pelas constribuições fundamentais. Agradecemos também aos seguintes colegas: Ahmet Altay, Deepak Bhaduria, Robert Bradshaw, Mike Case, Charles Chen, Yifei Feng, Chuan Yu Foo, Robbie Haertel, Abhijit Karmarkar‎, Gus Katsiapis, Lak Lakshmanan, Billy Lamberta, Raz Mathias, Kester Tong, Zohar Yahav, Xing Yan, Paul Yang, Xin Zhang, Lana Webb e Jarek Wilkiewicz‎.