apache / apache/iceberg-python

Add option to pass storage config to polars lazy read

Offen
#3,128 3 Kommentare 3 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
1.1k
Forks
581
Ø Merge
1 T. 17 Std.
Gemergte PRs (30 T.)
77

Beschreibung

### Feature Request / Improvement

I was not able to use the `table.to_polars()` method because there is no option to include a storage_options param which is mentioned in the [polars docs](https://docs.pola.rs/api/python/dev/reference/api/polars.scan_iceberg.html).

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne bei der Implementierung von table.to_polars() und verfolge, wie sie den Lazy-Read-Pfad von Polars aufruft. Prüfe die in der Issue verlinkte Polars-Dokumentation zu scan_iceberg auf die storage_options-Schnittstelle. Als erledigt gilt die Aufgabe, wenn Aufrufer storage_options über table.to_polars() bereitstellen können, die Option die Lazy-Read-Operation erreicht und die relevanten Tests aktualisiert oder hinzugefügt wurden.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
data-engineering
Issue-Typ
Feature
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Ruhig
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
55/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.