Dataflow ML

O Dataflow ML permite-lhe usar o Dataflow para implementar e gerir pipelines de aprendizagem automática (AA) completos. Use modelos de AA para fazer inferência local e remota com pipelines de streaming e em lote. Use ferramentas de processamento de dados para preparar os dados para a preparação de modelos e para processar os resultados dos modelos.
Acerca do Dataflow ML
Quer classificar imagens em tempo real, executar chamadas de inferência remotas ou criar um controlador de modelos personalizado, pode encontrar exemplos completos de ML do Dataflow.
Ver exemplos de utilização
Use a classe MLTransform para pré-processar dados para fluxos de trabalho de aprendizagem automática (ML). Ao combinar várias transformações de processamento de dados numa classe, a MLTransform simplifica o processo de aplicação de transformações de processamento de dados de ML do Apache Beam ao seu fluxo de trabalho.
Saiba mais 
with pipeline as p:
  predictions = (
      p
      | beam.ReadFromSource('a_source')
      | RunInference(MODEL_HANDLER))
A utilização de RunInference é tão simples como adicionar o código de transformação ao seu pipeline. Neste exemplo, MODEL_HANDLER é o objeto de configuração do modelo. 
with beam.Pipeline() as p:
  transformed_data = (
    p
    | beam.Create(data)
    | MLTransform(...)
    | beam.Map(print))
Para preparar os dados para a preparação de modelos de ML, use MLTransform no seu pipeline. MLTransform envolve várias transformações de processamento de dados numa classe, o que lhe permite usar uma classe para uma variedade de tarefas de pré-processamento.

Previsão e inferência com modelos pré-preparados

Use um modelo pré-preparado com o Pytorch.
Use um modelo pré-preparado com o scikit-learn.