Parquet fails to parse schema contains '\r'
- 主要言語
- Java
- スター
- 3.1k
- フォーク
- 1.6k
- 平均マージ
- 3日 12時間
- マージ済み PR(30日)
- 33
説明
Parquet fails to parse schema contains '\r' for windows operating system.
at parquet.schema.MessageTypeParser.asRepetition(MessageTypeParser.java:203)
at parquet.schema.MessageTypeParser.addType(MessageTypeParser.java:101)
at parquet.schema.MessageTypeParser.addGroupTypeFields(MessageTypeParser.java:96)
at parquet.schema.MessageTypeParser.parse(MessageTypeParser.java:89)
at parquet.schema.MessageTypeParser.parseMessageType(MessageTypeParser.java:79)
at org.apache.spark.sql.parquet.ParquetTestData$.writeFile(ParquetTestData.scala:221)
at org.apache.spark.sql.parquet.ParquetQuerySuite.beforeAll(ParquetQuerySuite.scala:92)
**Reporter**: [Rekha Joshi](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=rekhajoshm)
#### Related issues:
- [Parquet fails to parse schema contains '\r'](https://issues.apache.org/jira/browse/SPARK-5192) (is required by)
**Note**: *This issue was originally created as [PARQUET-176](https://issues.apache.org/jira/browse/PARQUET-176). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
調査の方向性
parquet.schema.MessageTypeParser.java の報告されたパースメソッドから始め、次に Parquet スキーマパーサーのテスト、または失敗を再現する Spark ParquetTestData.scala の呼び出しを調べます。Windows で '\r' を含むスキーマのパースを再現し、既存のケースを壊すことなくスキーマが正常にパースされることを確認します。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- java
- 領域
- data-engineering
- issue の種類
- バグ
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 35/100