apache / apache/iceberg-python
Async API for RestCatalog
- Vorherrschende Sprache
- Python
- Sterne
- 1.1k
- Forks
- 581
- Ø Merge
- 1 T. 17 Std.
- Gemergte PRs (30 T.)
- 78
Beschreibung
### Feature Request / Improvement
RestCatalog currently uses synchronous HTTP calls, while most catalog operations are network io-bound. Native async support would help async consumers and high-concurrency use cases in general.
We could introduce a separate AsyncRestCatalog, preserving the existing synchronous API.
asyncio.to_thread()/running in a dedicated executor is a possible workaround but doesn't give the same benefits as native support as we'd still have the limitations of the sync client (one worker thread per in-flight request being the most annoying in this case).
We can start small without necessarily the full ops coverage, wdyt?
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginnen Sie bei der bestehenden RestCatalog-Implementierung und erfassen Sie, welche Katalogoperationen derzeit synchrone HTTP-Aufrufe verwenden. Definieren Sie den anfänglichen Umfang von AsyncRestCatalog und behalten Sie dabei die synchrone API bei; das Issue lässt den genauen Umfang der Operationen und den Validierungsansatz offen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- api, backend-api-design
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Aktiv
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 35/100