ParquetRecordWriter does not provide interface like getRowCount(),getRawDataSize() like org.apache.orc.Writer
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
Hive with orc can update the statistics like rowCount,rawDataSize after loading data to table. Hive with parquet cannot and need to use analyze command like "analyze table xxx compute statistics noscan" to update these two statistics info. The reason is ParquetRecordWriter used in hive does not provide interfaces like getRowCount(),getRawDataSize(). While org.apache.orc.Writer provides these [two interfaces](https://github.com/apache/orc/blob/master/java/core/src/java/org/apache/orc/Writer.java#L68 ). Anyone knows how to get rowCount and rawDataSize in ParquetRecordWriter?
**Reporter**: [liyunzhang](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=kellyzly)
**Note**: *This issue was originally created as [PARQUET-1117](https://issues.apache.org/jira/browse/PARQUET-1117). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par localiser ParquetRecordWriter dans ce dépôt et comparez ses interfaces disponibles avec les références à org.apache.orc.Writer liées dans l’issue. Vérifiez comment Hive obtient actuellement rowCount et rawDataSize, puis confirmez que les statistiques demandées peuvent être exposées sans nécessiter la commande analyze table indiquée.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100