Parquet fails to parse schema contains '\r'
- Langage dominant
- Java
- Étoiles
- 3.1k
- Forks
- 1.6k
- Merge moyen
- 3 j 12 h
- PR mergées (30 j)
- 33
Description
Parquet fails to parse schema contains '\r' for windows operating system.
at parquet.schema.MessageTypeParser.asRepetition(MessageTypeParser.java:203)
at parquet.schema.MessageTypeParser.addType(MessageTypeParser.java:101)
at parquet.schema.MessageTypeParser.addGroupTypeFields(MessageTypeParser.java:96)
at parquet.schema.MessageTypeParser.parse(MessageTypeParser.java:89)
at parquet.schema.MessageTypeParser.parseMessageType(MessageTypeParser.java:79)
at org.apache.spark.sql.parquet.ParquetTestData$.writeFile(ParquetTestData.scala:221)
at org.apache.spark.sql.parquet.ParquetQuerySuite.beforeAll(ParquetQuerySuite.scala:92)
**Reporter**: [Rekha Joshi](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=rekhajoshm)
#### Related issues:
- [Parquet fails to parse schema contains '\r'](https://issues.apache.org/jira/browse/SPARK-5192) (is required by)
**Note**: *This issue was originally created as [PARQUET-176](https://issues.apache.org/jira/browse/PARQUET-176). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez dans parquet.schema.MessageTypeParser.java, au niveau des méthodes d’analyse signalées, puis examinez les tests de l’analyseur de schémas Parquet ou l’appel de Spark ParquetTestData.scala qui reproduit l’échec. Reproduisez sous Windows l’analyse d’un schéma contenant '\r' et vérifiez que le schéma est analysé correctement sans casser les cas existants.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- java
- Domaine
- data-engineering
- Type d'issue
- Bug
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 35/100