Feature: Parquet Support
Chưa có ai nhận issue này.
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 853
- Fork
- 322
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
Extend WFDB-python to include support for Apache Parquet:
https://arrow.apache.org/docs/cpp/parquet.html
Given it's binary and there are c++ libraries out there, I thought it might be easy to at least support some subset of Parquet (or in fact, just generate a header for parquet files that makes a subset of parquet files WFDB compatible).
Benefit: Facilitate compute in AWS and Spark for large datasets
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Hướng nghiên cứu
Bắt đầu với tài liệu Apache Parquet C++ được liên kết và xem xét cách WFDB-python hiện biểu diễn các định dạng dữ liệu của mình; issue không nêu tên tệp, entry point hoặc bài kiểm thử nào. Trước khi triển khai, hãy xác định tập con Parquet được hỗ trợ hoặc cách header hoạt động, cũng như cách sẽ xác minh khả năng tương tác với AWS và Spark.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- aws, python, spark
- Lĩnh vực
- data-engineering
- Loại issue
- Tính năng
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 20/100