[Java] Slow LZ4 compression using java Arrow 12.0.0
- Langage dominant
- Java
- Étoiles
- 94
- Forks
- 152
- Merge moyen
- 3 j 16 h
- PR mergées (30 j)
- 11
Description
### Describe the bug, including details regarding any error messages, version, and platform.
500 MB of arrow data took a few hours to compress. A 5GB selection ran for a couple of days and did not complete. The one that did worked fine once it was done and I was able to read it back in and use it. Without compression, data writes out fine in a much shorter time frame for both. Using the following code to set up my writer:
```
ArrowFileWriter writer = new ArrowFileWriter(root, null, Channels.newChannel(fos), new HashMap<>(), IpcOption.DEFAULT, CommonsCompressionFactory.INSTANCE, CompressionUtil.CodecType.LZ4_FRAME));
```
Running code with:
```
java -version
openjdk version "17.0.7" 2023-04-18
OpenJDK Runtime Environment GraalVM CE 22.3.2 (build 17.0.7+7-jvmci-22.3-b18)
OpenJDK 64-Bit Server VM GraalVM CE 22.3.2 (build 17.0.7+7-jvmci-22.3-b18, mixed mode, sharing)
```
### Component(s)
Java
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez par reproduire le comportement de compression signalé avec ArrowFileWriter, CommonsCompressionFactory et CompressionUtil.CodecType.LZ4_FRAME en utilisant les versions de Java et d’OpenJDK fournies. Comparez les temps d’écriture avec et sans compression pour les tailles de données signalées ; le travail est terminé lorsque la cause du temps d’exécution excessif de LZ4 est identifiée et que le problème dispose d’une résolution vérifiée.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- performance
- Type d'issue
- Bug
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100