AvroParquetWriter write to s3 bucket throws data intergrity exception

 

Hi, we are trying to use [org.apache.parquet.avro](https://www.tabnine.com/code/java/packages/org.apache.parquet.avro).AvroParquetWriter

to write parquet file to s3 bucket. The file is successfully written to s3 bucket but 

get an exception

com.amazonaws.SdkClientException: Unable to verify integrity of data upload.

The purpose is to resolve this exceptions while  The s3 bucket is encrypted with SSE-KMS not SSE-S3. 

 

It appears that the exceptions are thrown because of code blocks in the link below

From amazon doc, the etag is not same as MD5 when s3 bucket is encrypted with SSE-KMS

 

**The possible way is to pass MD5 in request header or set system.property to disable validation in  skipMd5CheckStrategy.skipClientSideValidationPerPutResponse as indicated in link**

 The issue is that I do not find a proper way to inject such configurations into AvroParquetWriter. Is this possible? If yes, can you help to show how to do it? 

 

Thanks

 

Sean

 

**Reporter**: [sean](https://issues.apache.org/jira/secure/ViewProfile.jspa?name=ks666)

_{**Note**: *This issue was originally created as [PARQUET-2146](https://issues.apache.org/jira/browse/PARQUET-2146). Please see the [migration documentation](https://issues.apache.org/jira/browse/PARQUET-2502) for further details.*}

Bắt đầu với AvroParquetWriter và theo dõi cách cấu hình tải lên S3 của nó đến được AmazonS3Client, đặc biệt là đường dẫn xác thực được liên kết trong báo cáo. Đọc SkipMd5CheckStrategy và tài liệu AWS về SSE-KMS ETags; hoàn tất khi một lượt tải lên SSE-KMS không còn gây ra ngoại lệ toàn vẹn hoặc có một đường dẫn cấu hình được ghi lại.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.