Issues when using the head on a parquet file
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
```
**$** parquet head train-00000-of-00001-15a05aeec7726f9d.parquet
Unknown error
shaded.parquet.org.apache.avro.SchemaParseException: Illegal character in: original-instruction
at shaded.parquet.org.apache.avro.Schema.validateName(Schema.java:1607)
at shaded.parquet.org.apache.avro.Schema.access$400(Schema.java:92)
at shaded.parquet.org.apache.avro.Schema$Field.(Schema.java:556)
at shaded.parquet.org.apache.avro.Schema$Field.(Schema.java:595)
at org.apache.parquet.avro.AvroSchemaConverter.convertFields(AvroSchemaConverter.java:295)
at org.apache.parquet.avro.AvroSchemaConverter.convert(AvroSchemaConverter.java:279)
at org.apache.parquet.cli.util.Schemas.fromParquet(Schemas.java:89)
at org.apache.parquet.cli.BaseCommand.getAvroSchema(BaseCommand.java:405)
at org.apache.parquet.cli.commands.CatCommand.run(CatCommand.java:66)
at org.apache.parquet.cli.Main.run(Main.java:163)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
at org.apache.parquet.cli.Main.main(Main.java:193)
```
this is the dataset in question: https://huggingface.co/datasets/argilla/databricks-dolly-15k-curated-en/tree/main/data
**Reporter**: [Rémy Léone](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=remyleone) / @remyleone
**Note**: *This issue was originally created as [PARQUET-2377](https://issues.apache.org/jira/browse/PARQUET-2377). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Tái hiện lỗi với tệp Parquet được liên kết bằng lệnh parquet head, sau đó lần theo stack qua CatCommand, BaseCommand.getAvroSchema và Schemas.fromParquet đến AvroSchemaConverter. Công việc được xem là hoàn tất khi head có thể xử lý tệp này dù tên trường là original-instruction, với một bài kiểm thử hồi quy bao quát hành vi này nếu cấu trúc kiểm thử hiện có xác định được vị trí phù hợp.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- java
- Lĩnh vực
- cli
- Loại issue
- Lỗi
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 35/100