apache / apache/parquet-java

Add support for Parquet Input Stream optimisations.

Ouverte
#3,386 4 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

This issue tracks adding of a new module [parquet-io] with the goal of adding IO optimisations to the parquet-java repository.

The goal is to have a single place where the following optimisations can be implemented:

* Vectored Reads
* Reading the tail of a file in one request rather than multiple small requests (Avoid the parquet footer dance, multiple requests for the pageIndex)
* Small Parquet files are read in a single request
* Sequential prefetching

[Parquet Java Input Stream Optimisations](https://docs.google.com/document/d/1Xdlh23tmCs-KvzHhY2RuwFYmc3xntUKcmwb8yxEl78Y/edit?usp=sharing): Doc explains the features this will implement.

[Analytics Accelerator for S3](https://docs.google.com/document/d/13shy0RWotwfWC_qQksb95PXdi-vSUCKQyDzjoExQEN0/edit?tab=t.0#heading=h.3lc3p7s26rnw): Doc explains IO optimisations made in the analytics accelerator library.

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par lire le document « Parquet Java Input Stream Optimisations » et le document « Analytics Accelerator for S3 » liés dans l’issue. Définissez ensuite le périmètre du module parquet-io proposé autour des lectures vectorielles, des lectures de fin et de petits fichiers, de l’accès à l’index des pages et du préchargement séquentiel. La tâche sera considérée comme terminée lorsqu’un plan d’implémentation approuvé aura été défini et que les optimisations listées seront prises en charge.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering, performance
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
Calme
Clarté
À clarifier
Accessibilité débutants
35/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.