使用信息架构进行问题排查

作为 BigQuery 管理员或数据分析师，管理企业工作负载需要一种可靠且可伸缩的方式来诊断性能瓶颈、查询失败、容量限制和存储空间增长。BigQuery 信息架构视图是可观测性的基础，可通过标准 GoogleSQL 查询访问近乎实时的历史元数据。

本文档概述了使用信息架构排查 BigQuery 问题的核心原则，提供了管理问题排查工具箱的结构化概览，并引导您前往 BigQuery 库中的特定视图。

按任务进行信息架构问题排查

下表总结了按任务和诊断使用场景分类的实用信息架构视图：

任务 使用场景 信息架构视图
查询性能和错误
  • 确定占用槽位最多且费用最高的查询。
  • 汇总作业错误原因和失败模式。
  • 分析每个阶段的执行时间和溢出字节数。
工作负载容量和争用
  • 检测槽位争用、限制和排队时间。
  • 监控内存内 shuffle 内存饱和度。
  • 审核预留基准和自动扩缩槽位使用情况。
  • 验证项目和文件夹预留分配。
存储费用和数据架构
  • 确定物理或逻辑存储空间失控的表。
  • 检测时间旅行和故障安全存储空间膨胀。
  • 诊断分区倾斜和即将达到分区限制的表。
  • 发现时间旅行窗口中已过期或已删除的表。
访问权限控制和治理
  • 审核对表和数据集的显式 Identity and Access Management (IAM) 角色授予。
  • 排查用户和服务账号的“访问被拒”错误。
  • 跟踪跨项目数据集共享和分析使用情况。
数据注入流水线
  • 监控 Storage Write API 注入吞吐量和错误。
  • 诊断流式插入延迟时间和速率限制。
  • 按流类型和错误代码确定失败的流。