[RFC] Supporting Queues / Messaging Pipelines across Cloud Providers (Ex: AWS SQS)
- Ngôn ngữ chính
- Python
- Star
- 2.1k
- Fork
- 931
- Merge trung bình
- 1 ngày 2 giờ
- Pull request đã merge (30 ngày)
- 4
Mô tả
## Feature Request
A commonly used feature in Cloud Platforms is their message-passing/queueing services, such as
* [AWS](https://aws.amazon.com/sqs/): SQS
* [Azure](https://learn.microsoft.com/en-us/azure/service-bus-messaging/service-bus-azure-and-service-bus-queues-compared-contrasted): [Service-Bus, Storage Queues]
* [GCP](https://cloud.google.com/pubsub/docs/choosing-pubsub-or-cloud-tasks): [Cloud Tasks, Cloud Pub-Sub]
These are often used in conjunction with their other services, such as Storage (Ex: to send a message-notification automatically when a new file is uploaded to a Container/Bucket) and Compute (Ex: To pass information between different compute instances, or to take an action whenever a new file is uploaded to Storage). However, it is a pain right now to deal with the different CSP's syntaxes for using these queues, and would be convenient if we could centralize how we carry out at least basic operations like:
1. Read `n` messages from queue
2. Add new messages into the queue
3. Flush the queue / Delete `n` items from the queue
Hướng dẫn đóng góp
Hướng nghiên cứu
Issue không nêu tên các tệp trong repository, các bài kiểm thử hoặc các entry point. Hãy bắt đầu bằng việc xác định các abstraction của provider trong Libcloud và các resource API hiện có giữa các provider, sau đó so sánh các thao tác queue cơ bản được liệt kê cho AWS, Azure và GCP. Phần hoàn thành cần bao gồm một thiết kế đã được thống nhất và hỗ trợ đọc, thêm và xóa message trên các provider mục tiêu.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- aws, azure, gcp, python
- Lĩnh vực
- cloud, distributed-systems
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 25/100