aws / aws/amazon-redshift-python-driver
Missing support for PyArrow types in Pandas dataframes
未关闭
- 主要语言
- Python
- 星标
- 220
- 派生
- 86
- PR 合并指标
- 30 天内没有已合并 PR
描述
Most of the data ingestion utilities (`pd.read_csv`, `pd.read_parquet`, `pd.read_sql`) since Pandas 2.2 include a `dtype_backend='pyarrow'` option to use PyArrow types instead of NumPy backend.
It would be awesome if there was support for this.
贡献指南
调研方向
该 issue 提到了 pd.read_csv、pd.read_parquet 和 pd.read_sql，但没有提供任何仓库文件或测试。首先定位构建 Pandas dataframe 的数据摄取路径，并检查当前的 dtype 处理；为 dtype_backend='pyarrow' 建立覆盖，然后验证这三个数据摄取路径都能处理基于 PyArrow 的 dataframe。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- pandas, python
- 领域
- data
- Issue 类型
- 功能
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 活跃度
- 停滞
- 描述清晰度
- 需要澄清
- 新手友好度
- 30/100