Feature: Parquet Support
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- Jupyter Notebook
- Estrellas
- 853
- Forks
- 322
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Descripción
Extend WFDB-python to include support for Apache Parquet:
https://arrow.apache.org/docs/cpp/parquet.html
Given it's binary and there are c++ libraries out there, I thought it might be easy to at least support some subset of Parquet (or in fact, just generate a header for parquet files that makes a subset of parquet files WFDB compatible).
Benefit: Facilitate compute in AWS and Spark for large datasets
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
Comienza con la documentación enlazada de Apache Parquet C++ y revisa cómo WFDB-python representa actualmente sus formatos de datos; el issue no especifica archivos, puntos de entrada ni pruebas. Antes de la implementación, define el subconjunto de Parquet compatible o el comportamiento de la cabecera, y cómo se verificará la interoperabilidad con AWS y Spark.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- aws, python, spark
- Área
- data-engineering
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 20/100