[RFC] Supporting Queues / Messaging Pipelines across Cloud Providers (Ex: AWS SQS)
- Lenguaje dominante
- Python
- Estrellas
- 2.1k
- Forks
- 931
- Merge medio
- 1 d 2 h
- PR fusionados (30 d)
- 4
Descripción
## Feature Request
A commonly used feature in Cloud Platforms is their message-passing/queueing services, such as
* [AWS](https://aws.amazon.com/sqs/): SQS
* [Azure](https://learn.microsoft.com/en-us/azure/service-bus-messaging/service-bus-azure-and-service-bus-queues-compared-contrasted): [Service-Bus, Storage Queues]
* [GCP](https://cloud.google.com/pubsub/docs/choosing-pubsub-or-cloud-tasks): [Cloud Tasks, Cloud Pub-Sub]
These are often used in conjunction with their other services, such as Storage (Ex: to send a message-notification automatically when a new file is uploaded to a Container/Bucket) and Compute (Ex: To pass information between different compute instances, or to take an action whenever a new file is uploaded to Storage). However, it is a pain right now to deal with the different CSP's syntaxes for using these queues, and would be convenient if we could centralize how we carry out at least basic operations like:
1. Read `n` messages from queue
2. Add new messages into the queue
3. Flush the queue / Delete `n` items from the queue
Guía de contribución
Línea de trabajo
El issue no menciona archivos del repositorio, pruebas ni puntos de entrada. Empieza localizando las abstracciones de proveedores de Libcloud y las API de recursos existentes entre proveedores, y después compara las operaciones básicas de cola enumeradas para AWS, Azure y GCP. La finalización debería incluir un diseño acordado y compatibilidad para leer, añadir y eliminar mensajes entre los proveedores objetivo.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- aws, azure, gcp, python
- Área
- cloud, distributed-systems
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 25/100