本文档介绍了如何设置跨云数据湖仓一体化架构，以便直接在Google Cloud中查询 Snowflake 目录 (Snowflake Horizon) 中的数据。此功能可将外部数据源与现有 Google Cloud环境相集成，从而统一数据分析。
之后，您可以使用 Lakehouse 来管理对联合数据的访问权限。
准备工作
- 查看湖仓一体概览，了解湖仓一体如何管理数据访问权限。
- 请参阅跨云 Lakehouse 简介，了解其运作方式。
- 查看支持的目录，以验证外部位置要求和支持的配置。
- 了解如何使用区域级 Secret Manager Secret。这是使用基于密钥的身份验证设置与 Snowflake 的跨云 Lakehouse 所必需的。您可以选择使用基于密钥的身份验证（使用个人访问令牌 [PAT]）或使用工作负载身份联合 (WIF)。
- 如果使用基于 Secret 的身份验证，请在 Snowflake Horizon 环境中生成一个对目标目录具有读取权限的个人访问令牌 (PAT)。此流程不在本文档的讨论范围内。
- 如果使用工作负载身份联合，请确保您有权访问 Snowflake 账号界面，并拥有
ACCOUNTADMIN权限来预配服务用户。 - 可选：如果您计划通过 Google Cloud VPC 与远程云提供商的 VPC（例如 AWS）之间的专用互连来路由查询，请确保您在远程提供商处拥有有效账号，预配专用跨云互连或合作伙伴跨云互连，与 Cloud Router 建立 BGP 会话，并验证您在两个云环境中都拥有所需的 Identity and Access Management (IAM) 权限。
- 登录您的 Google Cloud 账号。如果您是 Google Cloud新手，请 创建一个账号来评估我们的产品在实际场景中的表现。新客户还可获享 $300 赠金，用于运行、测试和部署工作负载。
-
Verify that billing is enabled for your Google Cloud project.
Enable the BigLake, Secret Manager APIs.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Verify that billing is enabled for your Google Cloud project.
Enable the BigLake, Secret Manager APIs.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.
所需的角色
如需获得设置跨云 Lakehouse 所需的权限，请让管理员向您授予项目的以下 IAM 角色：
-
管理 Lakehouse 目录：
BigLake Admin (
roles/biglake.admin) -
管理 Secret：Secret Manager Admin (
roles/secretmanager.admin) -
通过专用互联路由流量：Compute Network Admin (
roles/compute.networkAdmin)、Service Directory Viewer (roles/servicedirectory.viewer) 和 Service Directory PSC Authorized Service (roles/servicedirectory.pscAuthorizedService)
如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。
支持的目录详情
本指南介绍了如何在 Amazon Web Services (AWS) 和 Google Cloud上设置具有 Snowflake 目录 (Snowflake Horizon) 的跨云 Lakehouse。如需详细了解外部位置要求和支持的配置，请参阅支持的目录。
限制和注意事项
本部分列出了使用跨云 Lakehouse 的限制和注意事项。
- 支持的云提供商：以下远程云提供商支持使用专用互连来连接跨云 Lakehouse：Amazon Web Services (AWS)。您可以使用专用 Cross-Cloud Interconnect 或合作伙伴 Cross-Cloud Interconnect。
- 网络路由：如果未配置专用互连（例如专用 CCI 或合作伙伴 CCI），查询将通过公共互联网进行路由。这可能会导致远程云提供商收取更高的出站费用，并降低性能的可预测性。
- 数据新鲜度：联合目录的
--refresh-interval标志用于确定元数据的同步频率。较短的间隔可提供更新鲜的数据，但可能会产生远程目录提供商的额外 API 费用。 - Iceberg 指标报告：
Iceberg 指标报告不适用于联合目录。在访问联合目录时，将 Iceberg 客户端中的
rest-metrics-reporting-enabled属性设置为false。
常规工作流程
如需设置和使用跨云数据湖仓，请按照以下常规步骤操作：
- 设置跨云互连（可选）：在 Google Cloud VPC 与远程云提供商之间配置专用连接。
- 设置联合：配置以下某种身份验证方法，并在 Lakehouse 中创建联合目录。
- 基于 Secret 的身份验证 (PAT)：在 Secret Manager 中创建包含远程目录凭据的 Secret。 然后，在 Lakehouse 中创建联合目录，并向目录服务账号授予对 Secret 的访问权限。
- 工作负载身份联合 (WIF)：在 Lakehouse 中创建一个联合目录，指定所需的 Snowflake 角色。然后，将目录的服务账号 ID 关联到 Snowflake 中的服务用户。 Snowflake 服务用户应具有对远程 Snowflake 目录的使用权限。
- 验证连接：验证 Lakehouse 是否可以成功连接到您的远程目录。
- 查询数据：使用 BigQuery 或 Managed Service for Apache Spark 针对联合数据运行查询。如需了解详情，请参阅使用跨云 Lakehouse。
- 配置权限：使用 IAM 管理哪些人可以查看和查询联合数据。
设置跨云互连（可选）
默认情况下，对远程目录的查询通过公共互联网传输。为了帮助增强安全性、合规性，提供可预测的性能并降低数据传输费用，请使用专用互连。这样一来，您的 Google CloudVirtual Private Cloud (VPC) 与远程云提供商的网络（例如 AWS）之间便会建立专用网络连接。
您可以在 Google Cloud VPC 与远程云提供商的 VPC（例如 AWS）之间预配和配置以下任一专用互连选项：
- 专用 Cross-Cloud Interconnect：专用物理连接。
- 合作伙伴 Cross-Cloud Interconnect：通过受支持的服务提供商建立的连接。
在 Google Cloud 中的 Cloud Router 路由器与远程云提供商的 VPC 之间建立 BGP 会话，以确保路由交换。
如需启用私密查询，您必须通过专用互联配置从 Lakehouse 到远程存储桶（例如 AWS Amazon S3 存储桶）的路径。您可以通过以下两种架构流程来配置此路由：
- 内部区域级代理网络负载平衡器路由：此流程使用Google Cloud 内部区域级代理网络负载平衡器在指向多个 AWS 弹性网络接口 (ENI) 的混合连接网络端点群组 (NEG) 之间分配请求。此流程对于负载均衡、可伸缩性和高可用性至关重要。对于合作伙伴 CCI，这是必需的；对于专用 CCI，建议使用，以实现负载均衡、可伸缩性和高可用性。
- 直接端点路由：此流程将 Service Directory 直接连接到单个 AWS 接口 VPC 端点 IP 地址。此流程仅适用于专用 CCI，不支持合作伙伴 CCI。
选择符合您的架构要求的配置流程：
内部区域级代理网络负载平衡器
如需配置内部区域代理网络负载平衡器，以在多个 AWS ENI 之间分配请求，从而实现高可用性和负载均衡，请按以下步骤操作：
配置 AWS 网络
首先，创建 Amazon S3 VPC 接口端点 (AWS PrivateLink)：
- 在 AWS VPC 控制台中，为 Amazon S3 创建接口端点。
- 对于服务名称，请指定
com.amazonaws.AWS_REGION.s3。 - 选择通过 Direct Connect 连接到 Google Cloud VPC 的 VPC 和子网。
- 将安全组附加到端点以控制入站访问。
- 此操作会在每个所选子网中预配弹性网络接口 (ENI)。记下这些 ENI 的私有 IP 地址。
接下来，配置安全组：
- 确保附加到 Amazon S3 端点 ENI 的安全组允许来自 Google Cloud VPC 的端口
443上的入站 TCP 流量。这必须包含Google Cloud 代理专用子网的 CIDR 范围，以允许健康检查和转发的流量。
配置 Google Cloud 网络
为简化设置，请运行以下命令来配置内部负载均衡器。如需了解高级配置或更多详情，请参阅为混合端点设置内部区域级代理网络负载平衡器。
gcloud compute networks subnets create PROXY_SUBNET_NAME \ --purpose=REGIONAL_MANAGED_PROXY \ --role=ACTIVE \ --region=REGION \ --network=VPC_NETWORK \ --range=PROXY_SUBNET_RANGE
替换以下内容：
PROXY_SUBNET_NAME：代理专用子网的名称。PROXY_SUBNET_RANGE：VPC 网络中未使用的 CIDR 范围（例如10.129.0.0/23）。
创建区域级健康检查：
gcloud compute health-checks create tcp HEALTH_CHECK_NAME \ --region=REGION \ --port=443
替换以下内容：
HEALTH_CHECK_NAME：健康检查的名称。REGION： Google Cloud 区域（例如us-east4）。
创建混合连接网络端点组 (NEG) 并添加端点：
为每个可用区创建混合 NEG (
NON_GCP_PRIVATE_IP_PORT)：gcloud compute network-endpoint-groups create NEG_NAME \ --network-endpoint-type=NON_GCP_PRIVATE_IP_PORT \ --zone=ZONE \ --network=VPC_NETWORK
将 AWS ENI 的专用 IP 地址添加到相应的混合 NEG：
gcloud compute network-endpoint-groups update NEG_NAME \ --zone=ZONE \ --add-endpoint="ip=AWS_S3_IP,port=443"
替换以下内容：
NEG_NAME：混合 NEG 的名称。ZONE： Google Cloud 可用区（例如us-east4-a）。此可用区必须位于跨云互连 VLAN 连接的区域内。VPC_NETWORK：您的 VPC 网络的名称。AWS_S3_IP：相应可用区中 AWS Amazon S3 VPC 端点 (ENI) 的私有 IP 地址。
如果您的 AWS ENI 分布在多个可用区中，请重复执行这些命令，以创建 NEG 并为其他可用区添加端点。
创建和配置后端服务：
创建具有内部托管负载均衡功能的区域后端服务：
gcloud compute backend-services create BACKEND_SERVICE_NAME \ --load-balancing-scheme=INTERNAL_MANAGED \ --protocol=TCP \ --region=REGION \ --health-checks=HEALTH_CHECK_NAME \ --health-checks-region=REGION
将混合 NEG 添加到后端服务：
gcloud compute backend-services add-backend BACKEND_SERVICE_NAME \ --region=REGION \ --network-endpoint-group=NEG_NAME \ --network-endpoint-group-zone=ZONE \ --balancing-mode=CONNECTION \ --max-connections=MAX_CONNECTIONS
替换以下内容：
BACKEND_SERVICE_NAME：后端服务的名称。NEG_NAME：您在上一步中创建的混合 NEG 的名称。ZONE： Google Cloud 可用区（例如us-east4-a）。MAX_CONNECTIONS：后端应处理的最大并发连接数（例如100）。
针对您创建的每个混合 NEG 重复执行
add-backend命令。配置负载均衡器前端：
创建目标 TCP 代理：
gcloud compute target-tcp-proxies create TARGET_PROXY_NAME \ --backend-service=BACKEND_SERVICE_NAME \ --region=REGION
创建转发规则以将流量路由到目标代理：
gcloud compute forwarding-rules create FORWARDING_RULE_NAME \ --load-balancing-scheme=INTERNAL_MANAGED \ --network=VPC_NETWORK \ --subnet=VPC_SUBNET \ --ports=443 \ --region=REGION \ --target-tcp-proxy=TARGET_PROXY_NAME \ --target-tcp-proxy-region=REGION \ --allow-global-access
替换以下内容：
TARGET_PROXY_NAME：目标代理的名称。FORWARDING_RULE_NAME：转发规则的名称。VPC_SUBNET：您的 VPC 子网的名称。
为负载均衡器创建转发规则后，请记下为其分配的内部 IP 地址。这是您的 ILB_IP_ADDRESS。
配置 Service Directory
在 Service Directory 中注册 ILB 的 IP 地址，以便 Lakehouse 可以发现它。
为远程云创建命名空间：
gcloud service-directory namespaces create NAMESPACE \ --project=PROJECT_ID \ --location=REGION
替换以下内容：
NAMESPACE：命名空间的唯一标识符。PROJECT_ID：您的 Google Cloud 项目 ID。REGION： Google Cloud 区域。例如us-east4。此值必须与联合目录所在的区域相同。
在 Service Directory 命名空间中创建服务：
gcloud service-directory services create SERVICE_NAME \ --namespace=NAMESPACE \ --project=PROJECT_ID \ --location=REGION
替换以下内容：
SERVICE_NAME：服务的唯一标识符。
在服务中为 ILB 创建端点：
gcloud service-directory endpoints create ENDPOINT_NAME \ --project=PROJECT_ID \ --namespace=NAMESPACE \ --service=SERVICE_NAME \ --location=REGION \ --network=projects/PROJECT_NUMBER/global/networks/VPC_NETWORK \ --address=ILB_IP_ADDRESS