apache / apache/rocketmq-connect

Open source contribution|RocketMQ Connector construction is waiting for your participation

Open
#474 1 comment 1 reaction 0 assignees View on GitHub
Dominant language
Java
Stars
141
Forks
120
PR merge metrics
No merged PRs in 30d

Description

随着 RocketMQ 5.0 升级,RocketMQ 5.0 从在线业务架构的基础设施延伸到实时数据架构的基础设施,实现事务分析一体化。我们可以看到 RocketMQ 不仅是业务消息的管道,也在承担着事件流转、业务数据的一些离线计算和轻量级的实时计算。通过消息、事件、流三个方面发展,RocketMQ 已形成完整自闭环的生态发展,正在逐渐成为消息、事件、流的超融合的处理平台。

为了更好的实现 RocketMQ 与其它数据系统之间数据的流入流出,从而构建数据流转平台,进而结合流计算实现数据价值。RocketMQ 打造了 RocketMQ Connect -- 具备流式,伸缩性、可靠性的分布式的数据集成组件。在 RocketMQ 基础之上,构建围绕 RocketMQ 构建数据集成生态,更好的服务 RocketMQ 开发者和用户。

RocketMQ从开源初始就积累了众多开发者与开源爱好者的关注,随着新生力量不断加入社区,面对大家的期待及广泛的需求,我们也想不断探索助力开源项目加速成长的更多可能。为了吸引更多优秀开发者参与共建,同时回馈项目贡献者。RocketMQ Connector贡献活动(第一期)于今日正式开幕!积累开发经验,等待热爱技术的你!

**一、Connector 任务设置**
**(1)Connector List**
活动对接入 Connector 的任务设置简单、中度和困难三种模式。Issue 列表上可以看到还有哪些任务需要认领,以及优先级、难度的划分,大家可以选择自己感兴趣或容易上手的任务开始贡献,Connector列表也已添加到仓库Issue中,便于随时查询:
[_https://github.com/apache/rocketmq-connect/issues/446_](https://github.com/apache/rocketmq-connect/issues/446)

| 序号 | Connector | 优先级 | 项目难度| Source/Sink |
| --- | --- | --- | --- | --- |
| 1 | Iceberg | high | high | Sink |
| 2 | HBase | high | high | Sink |
| 3 | TiDB | middle | middle | Source |
| 4 | Druid | middle | middle | Source |
| 5 | Druid | high | middle | Sink |
| 6 | ClickHouse | high | low | Sink |
| 7 | Splunk | high | middle | Source |
| 8 | Splunk | low | middle | Sink |
| 9 | Kudu | high | high | Source |
| 10 | Kudu | high | high | Sink |
| 11 | HDFS | high | high | Sink |
| 12 | HDFS | high | high | Source |
| 13 | OSS | high | middle | Source |
| 14 | OSS | high | middle | Sink |
| 15 | Solr | middle | middle | Sink |
| 16 | Email | middle | low | Sink |
| 17 | Redis | high | middle | Sink |
| 18 | MongoDB | high | middle | Sink |
| 19 | Neo4j | middle | middle | Source |
| 20 | Neo4j | middle | middle | Sink |
| 21 | Phoenix | middle | middle | Sink |
| 22 | Hive | low | middle | Sink |
| 23 | ADB PostgreSQL | high | low | Sink |
| 24 | ADB PostgreSQL | high | low | Source |
| 25 | ADB MySQL | high | low | Sink |
| 26 | ADB MySQL | high | low | Source |
| 27 | [Aliyun Tablestore](https://www.aliyun.com/product/ots?spm=5176.19720258.J_3207526240.80.e93976f4YK1gNk) | high | middle | Source |
| 28 | [Aliyun Tablestore](https://www.aliyun.com/product/ots?spm=5176.19720258.J_3207526240.80.e93976f4YK1gNk) | high | middle | Sink |
| 29 | Hologres | middle | middle | Source |
| 30 | Hologres | middle | middle | Source |
| 31 | DataHub | middle | middle | Source |
| 32 | SLS | high | middle | Source |
| 33 | EBS | middle | middle | Source |
| 34 | NAS | middle | middle | Source |
| 35 | Snowflake | middle | high | Sink |
| 36 | Snowflake | middle | high | Source |
| 37 | Salesforce (Bulk API) Connector | middle | middle | Source |
| 38 | Salesforce (Bulk API) Connector | middle | middle | Sink |
| 39 | Google BigQuery | middle | middle | Source |
| 40 | Google BigQuery | high | middle | Sink |
| 41 | Google Cloud Pub/Sub | middle | middle | Source |
| 42 | Datadog Metrics Sink Connector | high | middle | Sink |
| 43 | Amazon S3 Connector | high | low | Sink |
| 44 | Amazon S3 Connector | high | low | Source |
| 45 | Amazon Redshift Connector | high | middle | Source |
| 46 | Amazon Redshift Connector | middle | middle | Sink |
| 47 | Google Firebase Realtime Database | high | low | Source |
| 48 | Google Firebase Realtime Database | middle | low | Sink |
| 49 | [Amazon Kinesis](https://aws.amazon.com/kinesis/) | middle | middle | Sink |
| 50 | [Azure Event Hubs Source](https://confluent.cloud/environments/env-o8vjx/clusters/lkc-j58jqm/connectors/new-source/AzureEventHubsSource) | middle | middle | Source |
| 51 | Greenplum | high | high | Source |
| 52 | Greenplum | high | high | Sink |
| 53 | SQData CDC | high | high | Source |
| 54 | Github | low | low | Source |
| 55 | Enterprise WeChat | low | low | Sink |
| 56 | Databricks Lakehouse | high | high | Sink |
| 57 | Cassandra | low | low | Source |
| 58 | Teradata | middle | middle | Source |
| 59 | Teradata | middle | middle | Sink |
| 60 | Vertica | middle | middle | Sink |
| 61 | Couchbase | middle | middle | Sink |
| 62 | Couchbase | middle | middle | Source |
| 63 | IBM MQ | middle | middle | Source |
| 64 | Aws lambda | middle | middle | Source |
| 65 | Apache Paimon | high | middle | Sink |
| 66 | Apache Paimon | high | middle | Source |
| | | | | |

**(2)积分机制**
为了表示感谢,活动设置积分兑换周边环节,多领任务多积分。除了标准得分外,高优先级、SInk+Source,加权1分。

| | 项目难度 | 积分 |
| --- | --- | --- |
| source | Low | 1 |
| | Middle | 2 |
| | High | 3 |
| Sink | Low| 1 |
| | Middle | 2 |
| | High | 3 |

以Clickhouse Sink举例,优先级High,难度Low。完成后,我们可获得2积分,得分=1(高优先级积分)+1(项目难度积分)。
**(3)积分兑换周边**

| 周边名称 | 所需积分 | 周边数量 |
| --- | --- | --- |
| 机械键盘 | 30 | 4 |
| 书包 | 25 | 50 |
| MQ帽衫 | 20 | 20 |
| 马克杯 | 10 | 20 |
| 数据线 | 5 | 20 |

![image](https://user-images.githubusercontent.com/14222167/231094561-6f657c56-0403-4ebe-b137-5c6dd43709de.png) ![image](https://user-images.githubusercontent.com/14222167/231094666-58af97d1-a987-48ff-89d4-f8b42afd205f.png)![image](https://user-images.githubusercontent.com/14222167/231094704-dace1b55-b1bd-493e-a766-d67bf15ad842.png)

**二、任务认领**

第一期活动有效期为3个月,即4月1日-7月1日。
在 GitHub 中公示 RocketMQ Connector 规划([_https://github.com/apache/rocketmq-connect/issues/446_](https://github.com/apache/rocketmq-connect/issues/446)),大家有需要补充的也可以随时提出。

第一步
找到还未被认领的 Connector,在整个 issue 中搜索是否有人曾经提交过 PR,避免发生冲突。

第二步
在 issue 下留言认领,管理员([_https://github.com/odbozhou_](https://github.com/odbozhou))会回复填写认领信息。

第三步
认领完后,大家可以创建对应的 feature 的 issue,同步在开发中遇到的问题,以及讨论方案设计,或者是有问题需要求助,都可以在 issue 中描述,社区小伙伴看到了可以共同参与讨论帮助解决问题,同时这也是功能实现过程的记录,方便以后维护修改的时候参考。

第四步
提交相关PR,管理员([_https://github.com/odbozhou_](https://github.com/odbozhou))确认。

第五步
提交 issue 至 PR 被 Merge 为一个完整周期,活动截止日之前被 Merge 视为完成。
代码仓库:[_https://github.com/apache/rocketmq-connect_](https://github.com/apache/rocketmq-connect)

**三、贡献细则**
(1)在规定时间内完成 Connector 代码和单侧文档编写和修改。

- Connector 代码编写完成,活动开始+40天。
- Quick Start 文档编写完成,活动开始+50天。

(2)提供完整单元测试,单侧全部通过并且单侧代码覆盖率不低于80%。

- 单侧完成,活动开始+60天。

(3)在规定时间内解决 Code Review 中指出的问题。

- Code Review 意见完成修改,活动开始+70天。

(4)提供完整的 Quick Start 文档(按照文档操作可以正常运行)。

(5)提供完整文档说明,配置参数,功能特性介绍等。

(6)提供完整的集成测试用例,并自测通过。

- 完成集成测试,活动开始+80天。

活动结束前,代码,文档合入仓库,测试用例全部通过。

**四、成果展示**

我们将通过月度(双月)公示形式对完成相关接入的开发者进行公示,周边将在5-10个工作日寄送到指定地址。

为了帮助众多开发者更好的去完成 RocketMQ Connector 的编写,我们也将在4月12日带来公开课「RocketMQ Connect」,为大家详解 RocketMQ Connect,OpenMessaging Connect API 及 Connector 基本工作原理,以及如何自己实现一个 Connector。

**加入 Apache RocketMQ 社区**

十年铸剑,Apache RocketMQ 的成长离不开全球 800+ 位开发者的积极参与贡献,相信在下个版本你就是 Apache RocketMQ 的贡献者,在社区不仅可以结识社区大牛,提升技术水平,也可以提升个人影响力,促进自身成长。

社区 5.x 版本正在进行着如火如荼的开发,以及 30 +个 SIG(兴趣小组)等你加入,欢迎立志打造世界级分布式系统的同学通过以下方式加入社区:

- **微信搜索:「rocketmq666」,添加开发者微信,即可加入微信群;**
- **钉钉搜索:「21982288」,即可加入钉群。**
![image](https://user-images.githubusercontent.com/14222167/231096458-68d57bf7-235a-42e6-86c7-06593c511fc0.png)
微信扫码添加小火箭进群

Contributor guide

Open the contributing guide

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.