Monitorização

Pode monitorizar o Bigtable visualmente através de gráficos disponíveis no Google Cloud consoleou pode chamar a API Cloud Monitoring através de programação.

Na Google Cloud consola, os dados de monitorização estão disponíveis nos seguintes locais:

  • Estatísticas do sistema do Bigtable
  • Vista geral da instância do Bigtable
  • Vista geral do cluster do Bigtable
  • Vista geral da tabela do Bigtable
  • Cloud Monitoring
  • Key Visualizer

As páginas de vista geral e estatísticas do sistema oferecem uma vista de alto nível da sua utilização do Bigtable. Pode usar o Key Visualizer para analisar detalhadamente os seus padrões de acesso por chave de linha e resolver problemas de desempenho específicos.

Compreenda a utilização da CPU e do disco

Independentemente das ferramentas que usar para monitorizar a sua instância, é essencial monitorizar a utilização da CPU e do disco para cada cluster na instância. Se a utilização da CPU ou do disco de um cluster exceder determinados limites, o cluster não tem um bom desempenho e pode devolver erros quando tenta ler ou escrever dados.

Utilização da CPU

Os nós nos seus clusters usam recursos da CPU para processar leituras, escritas e tarefas administrativas. Recomendamos que ative o escalamento automático, que permite ao Bigtable adicionar e remover automaticamente nós de um cluster com base na carga de trabalho. Para saber mais sobre como o número de nós afeta o desempenho de um cluster, consulte o artigo Desempenho para cargas de trabalho típicas.

O Bigtable comunica as seguintes métricas para a utilização da CPU:

Métrica Descrição
Utilização média da CPU

A utilização média da CPU em todos os nós no cluster. Inclui a atividade da stream de alterações se uma stream de alterações estiver ativada para uma tabela na instância.

Nos gráficos de perfil na app, <system> indica atividades em segundo plano do sistema, como replicação e compactação. As atividades em segundo plano do sistema não são controladas pelo cliente.

Os valores máximos recomendados oferecem margem para picos breves na utilização.

Utilização da CPU do nó mais quente

Utilização da CPU para o nó mais ocupado no cluster. Esta métrica continua a ser fornecida para fins de continuidade, mas, na maioria dos casos, deve usar a métrica mais precisa Utilização da CPU de alta granularidade do nó mais usado.

Utilização da CPU de granularidade elevada do nó mais quente

Uma medição detalhada da utilização da CPU para o nó mais ocupado no cluster.

O nó mais usado não é necessariamente o mesmo ao longo do tempo e pode mudar rapidamente, especialmente durante grandes tarefas em lote ou análises de tabelas.

Se o nó mais quente estiver frequentemente acima do valor recomendado, mesmo quando a utilização média da CPU for razoável, pode estar a aceder a uma pequena parte dos seus dados com muito mais frequência do que ao resto dos dados.

  • Use a ferramenta Key Visualizer para identificar hotspots na sua tabela que possam estar a causar picos na utilização da CPU.
  • Verifique o design do esquema para se certificar de que suporta uma distribuição uniforme de leituras e escritas em cada tabela.
Altere a utilização da CPU da stream

A utilização média da CPU causada pela atividade de streams de alterações em todos os nós no cluster.

Utilização da CPU por perfil da app, método e tabela

Utilização da CPU por perfil da app, método e tabela.

Se observar uma utilização da CPU superior à esperada para um cluster, use esta métrica para determinar se a utilização da CPU de um perfil de app, um método da API ou uma tabela específicos está a gerar a carga da CPU.

Utilização do disco

Para cada cluster na sua instância, o Bigtable armazena uma cópia separada de todas as tabelas nessa instância.

O Bigtable acompanha a utilização do disco em unidades binárias, como gigabytes binários (GB), em que 1 GB é 230 bytes. Esta unidade de medida também é conhecida como gibibyte (GiB).

O Bigtable comunica as seguintes métricas para a utilização do disco:

Métrica Descrição
Utilização do armazenamento (bytes)

A quantidade de dados armazenados no cluster. A utilização da stream de alterações não está incluída para esta métrica.

Este valor afeta os seus custos. Além disso, conforme descrito abaixo, pode ter de adicionar nós a cada cluster à medida que a quantidade de dados aumenta.

Utilização do armazenamento (% máx.)

A percentagem da capacidade de armazenamento do cluster que está a ser usada. A capacidade baseia-se no número de nós no cluster. A utilização da stream de alterações não está incluída para esta métrica.

Em geral, não use mais de 70% do limite máximo de armazenamento total para ter espaço para adicionar mais dados. Se não planeia adicionar quantidades significativas de dados à sua instância, pode usar até 100% do limite máximo.

Se estiver a usar uma percentagem superior à recomendada do limite de armazenamento, adicione nós ao cluster. Também pode eliminar dados existentes, mas os dados eliminados ocupam mais espaço, não menos, até ocorrer uma compactação.

Para ver detalhes sobre como este valor é calculado, consulte o artigo Utilização do armazenamento por nó.

Alterar utilização do armazenamento de streams (bytes)

A quantidade de armazenamento consumida pelos registos de streams de alterações para tabelas na instância. Este armazenamento não é contabilizado na utilização total do armazenamento. É-lhe cobrado o armazenamento do fluxo de alterações, mas este não está incluído no cálculo da utilização do armazenamento (% máximo).

Objetivo de cárdio

A percentagem que o cluster está a usar da largura de banda máxima possível para leituras de HDD. Disponível apenas para clusters de HDD.

Se este valor for frequentemente de 100%, pode observar um aumento da latência. Adicione nós ao cluster para reduzir a percentagem de carga do disco.

Compactação e instâncias replicadas

As métricas de armazenamento refletem o tamanho dos dados no disco a partir da última compactação. Uma vez que a compactação ocorre de forma contínua ao longo de uma semana, as métricas de utilização do armazenamento de um cluster podem, por vezes, ser temporariamente diferentes das métricas de outros clusters na instância. Os impactos observáveis incluem o seguinte:

  • Um novo cluster que tenha sido adicionado recentemente a uma instância pode apresentar temporariamente 0 bytes de armazenamento, mesmo que todos os dados tenham sido replicados com êxito para o novo cluster.

  • Uma tabela pode ter um tamanho diferente em cada cluster, mesmo quando a replicação está a funcionar corretamente.

  • As métricas de utilização do armazenamento podem ser diferentes em cada cluster, mesmo depois de a replicação ter terminado e não terem sido enviados dados de gravação durante alguns dias. A implementação do armazenamento interno, incluindo a forma como os dados são divididos e armazenados de forma distribuída, pode ser diferente para cada cluster, o que faz com que a utilização real do armazenamento seja diferente.

Vista geral da instância

A página de vista geral da instância mostra os valores atuais de várias métricas importantes para cada cluster:

Métrica Descrição
Média de utilização da CPU

A utilização média da CPU em todos os nós no cluster. Inclui a atividade da stream de alterações se uma stream de alterações estiver ativada para uma tabela na instância.

Nos gráficos de perfil na app, <system> indica atividades em segundo plano do sistema, como replicação e compactação. As atividades em segundo plano do sistema não são controladas pelo cliente.