[RFC] Supporting Queues / Messaging Pipelines across Cloud Providers (Ex: AWS SQS)
- 主要言語
- Python
- スター
- 2.1k
- フォーク
- 931
- 平均マージ
- 1日 2時間
- マージ済み PR(30日)
- 4
説明
## Feature Request
A commonly used feature in Cloud Platforms is their message-passing/queueing services, such as
* [AWS](https://aws.amazon.com/sqs/): SQS
* [Azure](https://learn.microsoft.com/en-us/azure/service-bus-messaging/service-bus-azure-and-service-bus-queues-compared-contrasted): [Service-Bus, Storage Queues]
* [GCP](https://cloud.google.com/pubsub/docs/choosing-pubsub-or-cloud-tasks): [Cloud Tasks, Cloud Pub-Sub]
These are often used in conjunction with their other services, such as Storage (Ex: to send a message-notification automatically when a new file is uploaded to a Container/Bucket) and Compute (Ex: To pass information between different compute instances, or to take an action whenever a new file is uploaded to Storage). However, it is a pain right now to deal with the different CSP's syntaxes for using these queues, and would be convenient if we could centralize how we carry out at least basic operations like:
1. Read `n` messages from queue
2. Add new messages into the queue
3. Flush the queue / Delete `n` items from the queue
コントリビューションガイド
調査の方向性
この issue には、リポジトリのファイル、テスト、エントリポイントが記載されていません。まず Libcloud のプロバイダー抽象化と既存のクロスプロバイダーのリソース API を探し、次に AWS、Azure、GCP について列挙されている基本的なキュー操作を比較してください。完了条件には、合意された設計と、対象プロバイダー間でのメッセージの読み取り、追加、削除のサポートを含める必要があります。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- aws, azure, gcp, python
- 領域
- cloud, distributed-systems
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- おおむね明確
- 初心者へのやさしさ
- 25/100