apache / apache/iceberg-python

s3 enpoint url in table.io.properties is different than that of catalog.properties

Đang mở
#3,163 1 bình luận 0 reaction 0 người được giao Xem trên GitHub
stale
Ngôn ngữ chính
Python
Star
1.1k
Fork
581
Merge trung bình
1 ngày 17 giờ
Pull request đã merge (30 ngày)
78

Mô tả

### Apache Iceberg version

0.11.0 (latest release)

### Please describe the bug 🐞

I am using polaris as rest catalog and RustFS as S3 client. My problem is that the s3 endpoint that i set in the `pyiceberg.yaml` file is not being used by the table.io (although catalog has it correctly)

The url is changed from `http://192.168.0.72:9008` to `localhost:9008` for the table.io.properties.get("s3.endpoint") property.

Here is a minimal example for it:

```
catalog = load_catalog("default", **catalog_conf)
catalog.create_namespace("Dummy")
schema = pa.schema([
pa.field("a", pa.int32()),
pa.field("b", pa.int32()),
])
catalog.create_table("Dummy.new_table", schema)
table = catalog.load_table("Dummy.new_table")
table.io.properties["s3.endpoint"] == catalog.properties["s3.endpoint"]

```

### Willingness to contribute

- [ ] I can contribute a fix for this bug independently
- [x] I would be willing to contribute a fix for this bug with guidance from the Iceberg community
- [ ] I cannot contribute a fix for this bug at this time

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu với việc xử lý các thuộc tính IO của catalog và table được load_catalog và load_table sử dụng, sau đó tái hiện sự không khớp bằng ví dụ tối giản và cấu hình pyiceberg.yaml được cung cấp. Hoàn tất khi table.io.properties["s3.endpoint"] giữ nguyên giá trị http://192.168.0.72:9008 đã cấu hình và khớp với catalog.properties["s3.endpoint"].

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python
Lĩnh vực
data-engineering
Loại issue
Lỗi
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Sôi nổi
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
67/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.