The number of values in a miniblock should be multiple of 32 instead of 8 in DeltaBinaryPackingConfig
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
In the code of [DeltaBinaryPackingValuesWriter](https://github.com/apache/parquet-mr/blob/master/parquet-column/src/main/java/org/apache/parquet/column/values/delta/DeltaBinaryPackingValuesWriter.java#L82), the parameters are always DEFAULT_NUM_BLOCK_VALUES(which is 128) and DEFAULT_NUM_MINIBLOCKS(which is 4). So if the file is written by parquet-mr, the number of values in a miniblock is always 32. It is consistent with the [spec.](https://github.com/apache/parquet-format/blob/master/Encodings.md#delta-encoding-delta_binary_packed--5)
However, the code in [DeltaBinaryPackingConfig](https://github.com/apache/parquet-mr/blob/master/parquet-column/src/main/java/org/apache/parquet/column/values/delta/DeltaBinaryPackingConfig.java#L41) indicates that the number of values in a miniblock must be multiple of 8. Would it be better if the limitation was changed to 32?
**Reporter**: [Shan Huang](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=shanhuang) / @shanhuuang
**Note**: *This issue was originally created as [PARQUET-2077](https://issues.apache.org/jira/browse/PARQUET-2077). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Lisez DeltaBinaryPackingConfig.java et comparez sa validation de la taille des miniblocks avec DeltaBinaryPackingValuesWriter.java et la spécification de Delta Binary Packed. Vérifiez que le nombre de valeurs de miniblock accepté correspond à la spécification ainsi qu’à la configuration du writer de 128 valeurs et quatre miniblocks, puis exécutez les tests parquet-column concernés s’ils sont disponibles.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Bug
- Difficulté
- 2/5
- Temps estimé
- 1-3 heures
- Activité
- À l'abandon
- Clarté
- Clairement spécifiée
- Accessibilité débutants
- 45/100