Conectar e armazenar dados no BigQuery

Ao adicionar um conector do BigQuery ao app do Gemini Enterprise Agent Platform Vision, todas as saídas do modelo de app conectado serão ingeridas na tabela de destino.

Você pode criar sua própria tabela do BigQuery e especificar essa tabela ao adicionar um conector do BigQuery ao app ou permitir que a plataforma do app do Gemini Enterprise Agent Platform Vision crie a tabela automaticamente.

Criação automática de tabelas

Se você permitir que a plataforma do app do Gemini Enterprise Agent Platform Vision crie a tabela automaticamente, poderá especificar essa opção ao adicionar o nó do conector do BigQuery.

As seguintes condições de conjunto de dados e tabela serão aplicadas se você quiser usar a criação automática de tabelas:

• Conjunto de dados: o nome do conjunto de dados criado automaticamente é visionai_dataset.
• Tabela: o nome da tabela criada automaticamente é visionai_dataset.APPLICATION_ID.

• Tratamento de erros:

  • Se a tabela com o mesmo nome no mesmo conjunto de dados existir, nenhuma criação automática será realizada.

Criar e especificar uma tabela manualmente

Se você quiser gerenciar a tabela de saída manualmente, ela precisará ter o esquema necessário como um subconjunto do esquema da tabela.

Se a tabela atual tiver esquemas incompatíveis, a implantação será rejeitada.

Usar o esquema padrão

Se você usar o esquema padrão para tabelas de saída de modelo, verifique se a tabela contém apenas as seguintes colunas obrigatórias. É possível copiar diretamente o texto do esquema a seguir ao criar a tabela do BigQuery. Para mais informações detalhadas sobre como criar uma tabela do BigQuery, consulte Criar e usar tabelas. Para mais informações sobre a especificação do esquema ao criar uma tabela, consulte Como especificar um esquema.

Use o texto a seguir para descrever o esquema ao criar uma tabela. Para informações sobre como usar o tipo de coluna JSON ("type": "JSON"), consulte Como trabalhar com dados JSON no SQL padrão. O tipo de coluna JSON é recomendado para consulta de anotação. Também é possível usar "type" : "STRING".

[
  {
    "name": "ingestion_time",
    "type": "TIMESTAMP",
    "mode": "REQUIRED"
  },
 {
   "name": "application",
   "type": "STRING",
   "mode": "REQUIRED"
 },
 {
   "name": "instance",
   "type": "STRING",
   "mode": "REQUIRED"
 },
 {
   "name": "node",
   "type": "STRING",
   "mode": "REQUIRED"
 },
 {
   "name": "annotation",
   "type": "JSON",
   "mode": "REQUIRED"
 }
]

Exemplo de linhas do BigQuery geradas por um app do Gemini Enterprise Agent Platform Vision:

Usar um esquema personalizado

Se o esquema padrão não funcionar para seu caso de uso, você poderá usar as funções do Cloud Run para gerar linhas do BigQuery com um esquema definido pelo usuário. Se você usar um esquema personalizado, não haverá pré-requisito para o esquema da tabela do BigQuery.

Gráfico de apps com o nó do BigQuery selecionado

O conector do BigQuery pode ser conectado a qualquer modelo que gere anotação de vídeo ou baseada em proto:

• Para entrada de vídeo, o conector do BigQuery só extrai os dados de metadados armazenados no cabeçalho do stream e ingere esses dados no BigQuery como outras saídas de anotação de modelo. O vídeo em si não é armazenado.
• Se o stream não contiver metadados, nada será armazenado no BigQuery.

Consultar os dados da tabela

Com o esquema de tabela do BigQuery, é possível realizar uma análise avançada depois que a tabela é preenchida com dados.

Amostras de consultas

É possível usar as consultas de exemplo a seguir no BigQuery para receber insights dos modelos do Gemini Enterprise Agent Platform Vision.

Por exemplo, você pode usar o BigQuery para desenhar uma curva baseada em tempo para o número máximo de pessoas detectadas por minuto usando dados do modelo de detector de pessoas / veículos com a seguinte consulta:

WITH
 nested3 AS(
 WITH
   nested2 AS (
   WITH
     nested AS (
     SELECT
       t.ingestion_time AS ingestion_time,
       JSON_QUERY_ARRAY(t.annotation.stats["fullFrameCount"]) AS counts
     FROM