Unable to read a parquet file
- Ngôn ngữ chính
- Java
- Star
- 3.1k
- Fork
- 1.6k
- Merge trung bình
- 3 ngày 12 giờ
- Pull request đã merge (30 ngày)
- 33
Mô tả
I am unable to read a parquet file that was made after converting a csv to a parquet file using pyarrow. Following is the error
ArrowIOError Traceback (most recent call last) in () ~/anaconda3/lib/python3.6/site-packages/pyarrow/parquet.py in read_table(source, columns, nthreads, metadata, use_pandas_metadata) 937 return fs.read_parquet(source, columns=columns, metadata=metadata) 938 --> 939 pf = ParquetFile(source, metadata=metadata) 940 return pf.read(columns=columns, nthreads=nthreads, 941 use_pandas_metadata=use_pandas_metadata) ~/anaconda3/lib/python3.6/site-packages/pyarrow/parquet.py in __init__(self, source, metadata, common_metadata) 62 self.reader = ParquetReader() 63 source = _ensure_file(source) ---> 64 self.reader.open(source, metadata=metadata) 65 self.common_metadata = common_metadata 66 self._nested_paths_by_prefix = self._build_nested_paths() _parquet.pyx in pyarrow._parquet.ParquetReader.open() error.pxi in pyarrow.lib.check_status() ArrowIOError: Invalid parquet file. Corrupt footer.
I was able to read and write parquet file earlier (about a few days ago) and how its stopped working
**Environment**: Linux x86
anaconda python 3.6
pyarrow version 0.9.0
**Reporter**: [Alok](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=alokgogate)
**Note**: *This issue was originally created as [PARQUET-1343](https://issues.apache.org/jira/browse/PARQUET-1343). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Tái hiện báo cáo trên Linux x86 với Anaconda Python 3.6 và pyarrow 0.9.0 bằng cách đọc một tệp Parquet được tạo từ CSV, sau đó kiểm tra ArrowIOError được báo cáo về một footer bị hỏng. Issue không cung cấp tệp nào trong repository cũng như test nào; hãy xác định liệu output của quá trình chuyển đổi hay reader là nguyên nhân trước khi xác định fix và regression test.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- python
- Lĩnh vực
- data-engineering
- Loại issue
- Lỗi
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100