apache / apache/iceberg-python

Add option to pass storage config to polars lazy read

オープン
#3,128 コメント 3 件 リアクション 3 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
1.1k
フォーク
581
平均マージ
1日 17時間
マージ済み PR(30日)
77

説明

### Feature Request / Improvement

I was not able to use the `table.to_polars()` method because there is no option to include a storage_options param which is mentioned in the [polars docs](https://docs.pola.rs/api/python/dev/reference/api/polars.scan_iceberg.html).

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

table.to_polars() の実装から始め、それが Polars の遅延読み取りパスをどのように呼び出しているかを追跡します。issue にリンクされている scan_iceberg の Polars ドキュメントを確認し、storage_options インターフェースを調べます。完了の条件は、呼び出し側が table.to_polars() を通じて storage_options を指定でき、そのオプションが遅延読み取り操作まで到達し、関連するテストが更新または追加されていることです。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python
領域
data-engineering
issue の種類
機能追加
難易度
3/5
見積もり時間
1〜2日
活発さ
静か
明瞭さ
おおむね明確
初心者へのやさしさ
55/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。