本文档介绍了如何使用 Pub/Sub Group Kafka 连接器集成 Apache Kafka 和 Pub/Sub。
Pub/Sub Group Kafka 连接器简介
Apache Kafka 是一个用于流式传输事件的开源平台。它通常用于分布式架构,可在松散耦合的各组件之间实现通信。Pub/Sub 是一种用于异步发送和接收消息的代管式服务。与 Kafka 类似,您可以使用 Pub/Sub 在云架构中的组件之间进行通信。
借助 Pub/Sub Group Kafka Connector,您可以集成这两个系统。 连接器 JAR 中包含以下连接器:
- 接收器连接器可从一个或多个 Kafka 主题读取记录,并将其发布到 Pub/Sub。
- 源连接器从 Pub/Sub 主题读取消息并将其发布到 Kafka。
以下是一些您可能会使用 Pub/Sub Group Kafka 连接器的场景:
- 您正在将基于 Kafka 的架构迁移到 Google Cloud。
- 您有一个前端系统,用于将事件存储在Google Cloud外部的 Kafka 中,但您也使用 Google Cloud 来运行一些需要接收 Kafka 事件的后端服务。
- 您从本地 Kafka 解决方案收集日志,并将其发送到Google Cloud 以进行数据分析。
- 您有一个使用 Google Cloud的前端系统,但您也使用 Kafka 在本地存储数据。
该连接器需要 Kafka Connect,这是一个用于在 Kafka 和其他系统之间流式传输数据的框架。如需使用连接器,您必须在 Kafka 集群旁边运行 Kafka Connect。
本文档假定您熟悉 Kafka 和 Pub/Sub。在阅读本文档之前,建议您先完成某个