apache / apache/arrow-java

[Java] VectorSchemaRoot convertion into ArrowArrayStream

Offen
#211 10 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Type: enhancement
Vorherrschende Sprache
Java
Sterne
94
Forks
152
Ø Merge
3 T. 16 Std.
Gemergte PRs (30 T.)
11

Beschreibung

### Describe the enhancement requested

DuckDB support ArrowArrayStream as virtual table. JDBC driver of DuckDB has "register" ArrowStream method on DuckDBConnection.

VectorSchemaRoot convertion into ArrowArrayStream object will allows perform complex SQL transformation with CTE,window function on existing Arrow data from java process without data format transformation and also as workaround to write parquet file from VectorSchemaRoot.

```
try (DuckDBConnection connection = (DuckDBConnection) DriverManager.getConnection("jdbc:duckdb:")){
connection.registerArrowStream("arrow_stream", arrowArrayStream);
try (Statement preparedStatement = connection.createStatement()){
preparedStatement.executeUpdate("COPY (SELECT * FROM arrow_stream) TO '"+filePath+"' (FORMAT 'PARQUET', CODEC 'ZSTD')");
}
}
```

@lidavidm do you have idea how to implement such conversion?

### Component(s)

Java

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit der Java-Komponente und dem im Issue angegebenen DuckDB-JDBC-Beispiel und untersuche anschließend die APIs von VectorSchemaRoot und ArrowArrayStream zusammen mit DuckDBConnection.registerArrowStream. Fertig ist die Aufgabe, wenn ein VectorSchemaRoot in einen ArrowArrayStream konvertiert werden kann, den der gezeigte Registrierungs- und SQL-Workflow ohne Formattransformation verarbeiten kann.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data
Issue-Typ
Feature
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.