apache / apache/parquet-java

Unable to read a parquet file

Đang mở
#2,196 1 bình luận 0 reaction 0 người được giao Xem trên GitHub
Component: Parquet Priority: Minor Type: bug
Ngôn ngữ chính
Java
Star
3.1k
Fork
1.6k
Merge trung bình
3 ngày 12 giờ
Pull request đã merge (30 ngày)
33

Mô tả

I am unable to read a parquet file that was made after converting a csv to a parquet file using pyarrow. Following is the error 

ArrowIOError Traceback (most recent call last) in () ~/anaconda3/lib/python3.6/site-packages/pyarrow/parquet.py in read_table(source, columns, nthreads, metadata, use_pandas_metadata) 937 return fs.read_parquet(source, columns=columns, metadata=metadata) 938 --> 939 pf = ParquetFile(source, metadata=metadata) 940 return pf.read(columns=columns, nthreads=nthreads, 941 use_pandas_metadata=use_pandas_metadata) ~/anaconda3/lib/python3.6/site-packages/pyarrow/parquet.py in __init__(self, source, metadata, common_metadata) 62 self.reader = ParquetReader() 63 source = _ensure_file(source) ---> 64 self.reader.open(source, metadata=metadata) 65 self.common_metadata = common_metadata 66 self._nested_paths_by_prefix = self._build_nested_paths() _parquet.pyx in pyarrow._parquet.ParquetReader.open() error.pxi in pyarrow.lib.check_status() ArrowIOError: Invalid parquet file. Corrupt footer.

 

I was able to read and write parquet file earlier (about a few days ago) and how its stopped working 

**Environment**: Linux x86

anaconda python 3.6

pyarrow version 0.9.0
**Reporter**: [Alok](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=alokgogate)

**Note**: *This issue was originally created as [PARQUET-1343](https://issues.apache.org/jira/browse/PARQUET-1343). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Tái hiện báo cáo trên Linux x86 với Anaconda Python 3.6 và pyarrow 0.9.0 bằng cách đọc một tệp Parquet được tạo từ CSV, sau đó kiểm tra ArrowIOError được báo cáo về một footer bị hỏng. Issue không cung cấp tệp nào trong repository cũng như test nào; hãy xác định liệu output của quá trình chuyển đổi hay reader là nguyên nhân trước khi xác định fix và regression test.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python
Lĩnh vực
data-engineering
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.