Use registos da plataforma para resolver problemas de tópicos de importação

Este guia explica como usar os registos da plataforma para resolver problemas quando usa tópicos de importação, incluindo o seguinte: tópicos de importação do Google Cloud Storage, tópicos de importação do Azure Event Hubs, tópicos de importação do Amazon MSK e tópicos de importação do Confluent Cloud. Google Cloud

Acerca dos registos da plataforma

Um serviço suportado Google Cloud gera o seu próprio conjunto de registos da plataforma, captando eventos e atividades relevantes para o funcionamento desse serviço. Estes registos da plataforma contêm informações detalhadas sobre o que está a acontecer num serviço, incluindo operações bem-sucedidas, erros, avisos e outros eventos dignos de nota.

Os registos da plataforma fazem parte do Cloud Logging e partilham as mesmas funcionalidades. Por exemplo, segue-se uma lista de funcionalidades importantes para os registos da plataforma:

• Normalmente, os registos são estruturados como objetos JSON que permitem mais consultas e filtragem.

• Pode ver os registos da plataforma através do registo na consola.

• Os registos da plataforma também podem ser integrados com o Cloud Monitoring e outras ferramentas de monitorização para criar painéis de controlo, alertas e outros mecanismos de monitorização.

• O armazenamento de registos incorre em custos com base no volume carregado e no período de retenção.

Para mais informações sobre os registos da plataforma, consulte o artigo Registos da Google Cloud Platform.

Antes de começar

Certifique-se de que concluiu os pré-requisitos para criar o tópico que está a usar:

• Tópico de importação do Cloud Storage
• Tópico de importação do Azure Event Hubs
• Tópico de importação do Amazon MSK
• Tópico de importação do Confluent Cloud

Funções e autorizações necessárias

Antes de começar, verifique se tem acesso ao Logging. Precisa da função Visualizador de registos (roles/logging.viewer) Identity and Access Management (IAM). Para mais informações sobre o acesso ao registo, consulte o artigo Controlo de acesso com a IAM.

As seguintes descrições explicam como validar e conceder acesso ao IAM:

• Ver acesso atual para verificar o acesso que cada principal tem.

• Conceda uma função aos principais relevantes no seu projeto.

Acerca das falhas de carregamento de tópicos de importação

Os tópicos de importação podem encontrar problemas que impedem a ingestão bem-sucedida de dados.

Tópicos de importação do Cloud Storage

Os tópicos de importação do Cloud Storage podem encontrar problemas que impedem a ingestão bem-sucedida de dados. Por exemplo, quando usa um tópico de importação do Cloud Storage, pode ter problemas ao carregar um objeto do Cloud Storage ou parte de um objeto.

A lista seguinte descreve os motivos da falha de carregamento nos tópicos de importação do Cloud Storage que geram registos da plataforma:

• Tamanho da mensagem

  • As mensagens individuais não podem ter mais de 10 MB. Se forem apresentados, toda a mensagem é ignorada.

  • Se estiver a usar o formato Avro ou Pub/Sub Avro, os blocos Avro não podem ter mais de 16 MB. Os blocos Avro maiores são ignorados.

• Atributos de mensagens

  • As mensagens podem ter um máximo de 100 atributos. Todos os atributos adicionais são ignorados quando a mensagem é carregada.

  • As chaves de atributos não podem ter mais de 256 bytes e os valores não podem ter mais de 1024 bytes. Se o valor for superior ao tamanho máximo, o par de chave-valor completo é removido da mensagem quando é carregado.

    Para mais informações acerca das diretrizes de utilização de chaves de mensagens e atributos, consulte o artigo Use atributos para publicar uma mensagem.

• Formatação Avro

  • Certifique-se de que os objetos Avro estão formatados corretamente. A formatação incorreta impede o carregamento da mensagem.

• Formato de dados

  • Certifique-se de que está a usar uma versão do Avro suportada. Os formatos não suportados não são processados.

Tópicos de importação do Azure Event Hubs, Amazon MSK e Confluent Cloud

Os tópicos de importação do Azure Event Hubs, Amazon MSK e Confluent Cloud podem ter problemas que impedem a ingestão bem-sucedida de dados.

A lista seguinte descreve os motivos da falha de carregamento nos tópicos de importação que geram registos da plataforma:

• Tamanho da mensagem

  • As mensagens individuais não podem ter mais de 10 MB. Se forem apresentados, toda a mensagem é ignorada.

• Atributos de mensagens

  • As mensagens podem ter um máximo de 100 atributos. Todos os atributos adicionais são ignorados quando a mensagem é carregada.

  • As chaves de atributos não podem ter mais de 256 bytes e os valores não podem ter mais de 1024 bytes. Se o valor for superior ao tamanho máximo, o par de chave-valor completo é removido da mensagem quando é carregado.

    Para mais informações acerca das diretrizes de utilização de chaves de mensagens e atributos, consulte o artigo Use atributos para publicar uma mensagem.

Ative os registos da plataforma

Os registos da plataforma estão desativados por predefinição para tópicos de importação. Pode ativar os registos da plataforma quando cria ou atualiza um tópico de importação. Para desativar os registos da plataforma, atualize o tópico de importação.

Ative os registos da plataforma ao criar um tópico de importação

Para ativar os registos da plataforma quando cria um tópico de importação, faça o seguinte: