parquet-cascading Add Parquet Avro Scheme
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
At the moment using parquet-cascading writing Parquet files when using Avro as the object format is not possible as a Schema is not yet provided.
As part of this ticket, a ParquetAvroScheme will be introduced, and also a local.ParquetAvroScheme , so that from Cascading / Scalding developers can read / write and test in both --hdfs and --local mode Parquet-Avro files.
**Reporter**: [Antonios Chalkiopoulos](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=antwnis) / @Antwnis
**Assignee**: [Antonios Chalkiopoulos](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=antwnis) / @Antwnis
**Note**: *This issue was originally created as [PARQUET-198](https://issues.apache.org/jira/browse/PARQUET-198). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par localiser les implémentations de Scheme de parquet-cascading et leurs équivalents de schéma local, puis identifiez comment Cascading et Scalding gèrent les formats d’objets Avro. Ajoutez les implémentations demandées ParquetAvroScheme et local.ParquetAvroScheme, avec une couverture de la lecture, de l’écriture et des tests de fichiers Parquet-Avro en modes HDFS et local.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 25/100