apache / apache/iceberg-python
Add option to pass storage config to polars lazy read
- Vorherrschende Sprache
- Python
- Sterne
- 1.1k
- Forks
- 581
- Ø Merge
- 1 T. 17 Std.
- Gemergte PRs (30 T.)
- 77
Beschreibung
### Feature Request / Improvement
I was not able to use the `table.to_polars()` method because there is no option to include a storage_options param which is mentioned in the [polars docs](https://docs.pola.rs/api/python/dev/reference/api/polars.scan_iceberg.html).
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Rechercherichtung
Beginne bei der Implementierung von table.to_polars() und verfolge, wie sie den Lazy-Read-Pfad von Polars aufruft. Prüfe die in der Issue verlinkte Polars-Dokumentation zu scan_iceberg auf die storage_options-Schnittstelle. Als erledigt gilt die Aufgabe, wenn Aufrufer storage_options über table.to_polars() bereitstellen können, die Option die Lazy-Read-Operation erreicht und die relevanten Tests aktualisiert oder hinzugefügt wurden.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- data-engineering
- Issue-Typ
- Feature
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Ruhig
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 55/100