[Java] Read a Parquet file into a Table
- Ngôn ngữ chính
- Java
- Star
- 94
- Fork
- 152
- Merge trung bình
- 3 ngày 16 giờ
- Pull request đã merge (30 ngày)
- 11
Mô tả
### Describe the usage question you have. Please include as many useful details as possible.
In Java, what is the canonical way of reading the whole content of a Parquet file into a Table?
I can read the file, as suggested, in a streaming fashion with VectorSchemaRoot, but then I miss how to collate all the batches into a single table.
From what I have understood, the options I have are:
1. build a big VectorSchemaRoot using VectorSchemaRootAppender, then invoke the Table constructor passing the vsr
2. construct FieldVectors explicitly, then read the parquet rows one by one (filling the FieldVectors as I go), then invoke the Table constructor passing a List
I see the C++ implementation has a convenient FromRecordBatches method.
### Component(s)
Java
Hướng dẫn đóng góp
Hướng nghiên cứu
Bắt đầu bằng cách đọc cách sử dụng Java xung quanh VectorSchemaRoot, VectorSchemaRootAppender và các hàm khởi tạo của Table, sau đó so sánh với triển khai C++ FromRecordBatches được đề cập trong issue. Công việc được xem là hoàn tất khi dự án có một cách thức chuẩn tắc đã được quyết định và ghi lại tài liệu để tải một tệp Parquet hoàn chỉnh vào một Table, hoặc một Java API tương đương có coverage.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- data
- Loại issue
- Tính năng
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 30/100