apache / apache/arrow-java

[Java] VectorSchemaRoot convertion into ArrowArrayStream

未关闭
#211 10 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
Type: enhancement
主要语言
Java
星标
94
派生
152
平均合并
3 天 16 小时
30 天内合并 PR
11

描述

### Describe the enhancement requested

DuckDB support ArrowArrayStream as virtual table. JDBC driver of DuckDB has "register" ArrowStream method on DuckDBConnection.

VectorSchemaRoot convertion into ArrowArrayStream object will allows perform complex SQL transformation with CTE,window function on existing Arrow data from java process without data format transformation and also as workaround to write parquet file from VectorSchemaRoot.

```
try (DuckDBConnection connection = (DuckDBConnection) DriverManager.getConnection("jdbc:duckdb:")){
connection.registerArrowStream("arrow_stream", arrowArrayStream);
try (Statement preparedStatement = connection.createStatement()){
preparedStatement.executeUpdate("COPY (SELECT * FROM arrow_stream) TO '"+filePath+"' (FORMAT 'PARQUET', CODEC 'ZSTD')");
}
}
```

@lidavidm do you have idea how to implement such conversion?

### Component(s)

Java

贡献指南

打开贡献指南

调研方向

从 Java 组件和 issue 中的 DuckDB JDBC 示例开始,然后结合 DuckDBConnection.registerArrowStream 检查 VectorSchemaRoot 和 ArrowArrayStream API。完成的标准是:VectorSchemaRoot 可以转换为 ArrowArrayStream,并且所示的注册和 SQL 工作流可以在不进行格式转换的情况下消费它。

由索引模型根据 Issue 内容生成。

评估

技术栈
java
领域
data
Issue 类型
功能
难度
4/5
预计耗时
3-5 天
活跃度
停滞
描述清晰度
基本清楚
新手友好度
35/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。