apache / apache/parquet-java

Parquet-hadoop's client side logs are buffered / do not print until the job completes

Ouverte
#1,441 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Component: Java Component: Parquet Priority: Minor Type: bug
Langage dominant
Java
Étoiles
3.1k
Forks
1.6k
Merge moyen
3 j 12 h
PR mergées (30 j)
33

Description

Log statements from the InputFormat or anywhere else in the hadoop client / submitter seem to get buffered until the MR job completes, instead of printing as the job progresses.

**Reporter**: [Alex Levenson](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=alexlevenson) / @isnotinvain

**Note**: *This issue was originally created as [PARQUET-27](https://issues.apache.org/jira/browse/PARQUET-27). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Aucun fichier ni test n’est nommé. Commencez par suivre la journalisation depuis InputFormat et le client ou submitter Hadoop pendant l’exécution d’un job MapReduce, puis comparez le moment où ces messages deviennent visibles. Le travail est terminé lorsque les messages de journalisation côté client s’affichent au fur et à mesure de la progression du job, plutôt qu’uniquement après son achèvement.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
java
Domaine
data-engineering, distributed-systems
Type d'issue
Bug
Difficulté
4/5
Temps estimé
3-5 jours
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.