apache / apache/iceberg-python

Compatible File storage provider that do not support signature with trailer

未關閉
#2,529 2 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
主要語言
Python
星號
1.1k
分支
588
平均合併
1 天 23 小時
30 天內合併 PR
84

描述

### Feature Request / Improvement

When use fsspec io-impl, put object to File Storage Provider(FSP) not support

- [Signature calculations for trailing headers](https://docs.aws.amazon.com/AmazonS3/latest/API/sigv4-streaming-trailers.html)

- [checking-object-integrity-upload](https://docs.aws.amazon.com/AmazonS3/latest/userguide/checking-object-integrity-upload.html)

Put file like snapxxx.avro will not handle by FSP after upload(put object is success), the file some data signature related things are reserved.

When get snapxxx.avro to read and decoder, raise Error, Because the file contains signature information
```python
File "pyiceberg/avro/decoder_fast.pyx", line 150, in pyiceberg.avro.decoder_fast.CythonBinaryDecoder.read_utf8
cpdef str read_utf8(self):
File "pyiceberg/avro/decoder_fast.pyx", line 156, in pyiceberg.avro.decoder_fast.CythonBinaryDecoder.read_utf8
return self.read_bytes().decode("utf-8")
File "pyiceberg/avro/decoder_fast.pyx", line 130, in pyiceberg.avro.decoder_fast.CythonBinaryDecoder.read_bytes
return r[0:length]
SystemError: Negative size passed to PyBytes_FromStringAndSize
```

貢獻指南

這個儲存庫沒有索引到貢獻指南

研究方向

從 fsspec I/O 實作開始,針對不支援尾端 header 簽章的檔案儲存提供者,重現 snapxxx.avro 檔案的上傳和下載。檢查產生的物件以及 pyiceberg/avro/decoder_fast.pyx 中的失敗。完成的標準是,透過此路徑上傳的物件可以由受影響的提供者在沒有保留簽章資料的情況下讀取和解碼。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
python
領域
backend
Issue 類型
缺陷
難度
4/5
預估耗時
3-5 天
活躍度
冷清
描述清晰度
需要釐清
新手友好度
42/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。