apache / apache/datafusion-python

Wire FFI_TableProvider / TableProvider(ABC) through to the Rust TableProvider trait

未關閉
#1,668 0 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
主要語言
Python
星號
604
分支
174
平均合併
1 天 7 小時
30 天內合併 PR
4

描述

Split out from #1577 (item 2).

Unlike `CatalogProvider` / `SchemaProvider`, wiring a plain-Python `TableProvider` subclass through to the Rust `TableProvider` trait needs a new `RustWrappedPyTableProvider`, analogous to `RustWrappedPySchemaProvider` in `catalog.rs`. It has to cover `scan()` returning an `ExecutionPlan`, `supports_filters_pushdown`, and statistics.

This is execution-engine work, not a typing-only change, so it doesn't belong in a typing PR. Opening as its own issue so the design (partial pushdown support, how statistics get surfaced to the Python side) can be discussed before someone picks it up.

貢獻指南

這個儲存庫沒有索引到貢獻指南

研究方向

首先閱讀 catalog.rs,尤其是 RustWrappedPySchemaProvider,並查看 #1577 中的第 2 項。追蹤 TableProvider(ABC) 和 Rust TableProvider 的入口點,然後釐清 scan()、supports_filters_pushdown 和 statistics 應如何跨越邊界。完成的標準是 wrapper 及其 partial-pushdown 和 statistics 行為已實作並達成共識。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
python, rust
領域
backend, data-engineering
Issue 類型
功能
難度
5/5
預估耗時
一週以上
活躍度
冷清
描述清晰度
基本清楚
新手友好度
35/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。