apache / apache/iceberg-python
Implement iterator to lazily go through the paged response
- Vorherrschende Sprache
- Python
- Sterne
- 1.1k
- Forks
- 581
- Ø Merge
- 1 T. 17 Std.
- Gemergte PRs (30 T.)
- 77
Beschreibung
### Feature Request / Improvement
Recently the support for paged response was added to the list-view operationr: https://github.com/apache/iceberg-python/pull/3349. Right now it will just iterate over all the pages, instead it would be good to see if we can call the next page lazily to avoid many network calls: https://github.com/apache/iceberg-python/pull/3349#issuecomment-4462173769
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne damit, die in PR 3349 eingeführte Implementierung der paginierten Listenansicht und die damit verknüpfte Diskussion zu lesen. Verfolge, wie Seiten derzeit durchlaufen werden, und überprüfe anschließend, dass das Konsumieren des Iterators jede nächste Seite nur bei Bedarf anfordert, statt alle Seiten im Voraus abzurufen.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- api
- Issue-Typ
- Feature
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 65/100