apache / apache/iceberg-python

Async API for RestCatalog

Offen
#3,861 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
1.1k
Forks
581
Ø Merge
1 T. 17 Std.
Gemergte PRs (30 T.)
78

Beschreibung

### Feature Request / Improvement

RestCatalog currently uses synchronous HTTP calls, while most catalog operations are network io-bound. Native async support would help async consumers and high-concurrency use cases in general.

We could introduce a separate AsyncRestCatalog, preserving the existing synchronous API.

asyncio.to_thread()/running in a dedicated executor is a possible workaround but doesn't give the same benefits as native support as we'd still have the limitations of the sync client (one worker thread per in-flight request being the most annoying in this case).

We can start small without necessarily the full ops coverage, wdyt?

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginnen Sie bei der bestehenden RestCatalog-Implementierung und erfassen Sie, welche Katalogoperationen derzeit synchrone HTTP-Aufrufe verwenden. Definieren Sie den anfänglichen Umfang von AsyncRestCatalog und behalten Sie dabei die synchrone API bei; das Issue lässt den genauen Umfang der Operationen und den Validierungsansatz offen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
api, backend-api-design
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Aktiv
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.