跳至主要内容
Google Cloud Documentation
技术领域
  • AI 和机器学习
  • 应用开发
  • 应用托管
  • 计算
  • 数据分析和流水线
  • 数据库
  • 分布式云、混合云和多云
  • 行业解决方案
  • 迁移
  • 网络
  • 可观测性和监控
  • 安全
  • Storage
跨产品工具
  • 访问权限和资源管理
  • 费用和用量管理
  • 基础设施即代码
  • SDK、语言、框架和工具
/
控制台
  • English
  • Deutsch
  • Español
  • Español – América Latina
  • Français
  • Indonesia
  • Italiano
  • Português
  • Português – Brasil
  • עברית
  • 中文 – 简体
  • 中文 – 繁體
  • 日本語
  • 한국어
  • Managed Service for Apache Airflow
免费开始使用吧
概览 第 3 代指南 第 2 代指南 第 1 代指南 示例 资源 参考文档
Google Cloud Documentation
  • 技术领域
    • 更多
    • 概览
    • 第 3 代指南
    • 第 2 代指南
    • 第 1 代指南
    • 示例
    • 资源
    • 参考文档
  • 跨产品工具
    • 更多
  • 控制台
  • Discover
  • Managed Service for Apache Airflow 概览
  • 责任共担模型
  • 存储在 Cloud Storage 中的数据
  • 环境架构
  • 开始使用
  • 快速入门(控制台)
  • 快速入门 (gcloud)
  • 创建环境
  • 创建环境 (Terraform)
  • 启用和停用 Managed Airflow 服务
  • 管理 DAG
  • 添加和更新 DAG
  • 查看 DAG、DAG 运行作业和相关任务
  • 安排和触发 DAG
  • 控制访问权限
  • 安全概览
  • 安全性方面的最佳做法
  • 访问权限控制
  • Airflow 界面访问权限控制
  • 创建和管理 Google Cloud 标记
  • 访问其他项目中的资源
  • 使用 CMEK 配置加密
  • 配置 Secret Manager
  • 创建自定义组织政策
  • 配置资源位置限制
  • 使用员工身份联合访问环境
  • 开发 DAG
  • 运行本地 Airflow 环境
  • 编写 DAG
  • 使用 Airflow 运算符
    • 使用可延期运算符
    • 使用 GKE Operator
    • 使用 CeleryKubernetesExecutor
    • 使用 KubernetesPodOperator
    • 使用 Google Transfer Operators 转移数据
    • 使用 SSHOperator 连接到 GCE 虚拟机
    • 在 BigQuery 中创建和查询 BigLake Iceberg 表
  • 使用 Cloud Composer 远程 MCP 服务器
  • 测试 DAG
  • 从 GitHub 测试、同步和部署 DAG
  • 调试任务调度问题
  • 调试内存不足和存储空间不足 DAG 问题
  • 将 DAG 中的任务分组
  • 在其他环境和项目中触发 DAG
  • 使用 Cloud Functions 触发 DAG
  • 使用 Cloud Functions 和 Pub/Sub 消息触发 DAG
  • 访问 Airflow
  • 访问 Airflow CLI
  • 访问 Airflow 网页界面
  • 访问 Airflow REST API
  • 访问 Airflow 数据库
  • 配置 Airflow
  • 设置环境变量
  • 替换 Airflow 配置
  • 管理 Airflow 连接
  • 安装 Python 依赖项
  • 安装自定义插件
  • 配置电子邮件通知
  • 监控环境
  • 查看 Airflow 日志
  • 查看审核日志
  • 使用 Monitoring 信息中心
  • 使用 Cloud Monitoring 监控环境
  • 使用关键指标监控环境健康状况和性能
  • 使用 Terraform 进行跨项目环境监控
  • 优化环境
  • 优化环境性能和费用
  • 扩缩环境
  • 关于环境扩缩
  • 管理环境标签并细分环境费用
  • 管理环境
  • 更新环境
  • 升级环境
  • 删除环境
  • 清理 Airflow 数据库
  • 指定维护窗口
  • 使用自定义环境的存储桶
  • 保存和加载环境快照
  • 配置计划快照
  • 使用环境快照进行灾难恢复
  • 设置高弹性环境
  • 针对高弹性环境执行故障切换测试
  • 配置数据库保留政策
  • 允许将日志保存到环境的存储桶
  • 配置网络
  • 更改环境网络类型(专用或公共 IP)
  • 启用或停用对 VPC 网络的访问权限
  • 在安装 PyPI 软件包时启用互联网访问权限
  • 配置共享 VPC 网络
  • 配置 VPC Service Controls
  • 迁移
  • 将环境迁移到 Airflow 3(并行迁移)
  • 集成
  • 启用数据沿袭集成
  • 使用 Managed Airflow 运行 Serverless for Apache Spark 工作负载
  • 使用 Managed Airflow 启动 Dataflow 流水线
  • 在 Dataproc 集群上运行 Hadoop WordCount 作业
  • 在 Google Cloud 中运行数据分析 DAG
  • 在 Google Cloud 中运行数据分析 DAG,使用来自 AWS 的数据
  • 使用来自 Azure 的数据在 Google Cloud 中运行数据分析 DAG
  • 创建集成式 DBT 和 Managed Airflow 操作环境
  • Managed Airflow 与 Workflows 比较
  • 使用 Managed Airflow 的 Dataproc 工作流模板
  • 排查问题
  • 排查环境创建问题
  • 排查环境更新和升级问题
  • 排查 PyPI 软件包安装问题
  • DAG 问题排查
  • Airflow 调度器问题排查
  • 排查 DAG 处理器问题
  • 排查文件同步问题
  • Airflow 触发器问题排查
  • 排查 Airflow Web 服务器问题
  • 排查 KubernetesExecutor 任务问题
  • 已知问题
  • AI 和机器学习
  • 应用开发
  • 应用托管
  • 计算
  • 数据分析和流水线
  • 数据库
  • 分布式云、混合云和多云
  • 行业解决方案
  • 迁移
  • 网络
  • 可观测性和监控
  • 安全
  • Storage
  • 访问权限和资源管理
  • 费用和用量管理
  • 基础设施即代码
  • SDK、语言、框架和工具
为了更好地顺应 OSS 解决方案的成功和客户偏好的不断增长,Cloud Composer 将发展成为 Managed Service for Apache Airflow 。此次更名有助于客户更好地了解我们的产品组合,同时进一步巩固我们打造最开放云生态系统的承诺。
Google 会使用 AI 技术将内容翻译成您偏好的语言。AI 翻译可能包含错误。