apache / apache/iceberg-python

s3 enpoint url in table.io.properties is different than that of catalog.properties

Ouverte
#3,163 1 commentaire 0 réactions 0 personnes assignées Voir sur GitHub
stale
Langage dominant
Python
Étoiles
1.1k
Forks
581
Merge moyen
1 j 17 h
PR mergées (30 j)
78

Description

### Apache Iceberg version

0.11.0 (latest release)

### Please describe the bug 🐞

I am using polaris as rest catalog and RustFS as S3 client. My problem is that the s3 endpoint that i set in the `pyiceberg.yaml` file is not being used by the table.io (although catalog has it correctly)

The url is changed from `http://192.168.0.72:9008` to `localhost:9008` for the table.io.properties.get("s3.endpoint") property.

Here is a minimal example for it:

```
catalog = load_catalog("default", **catalog_conf)
catalog.create_namespace("Dummy")
schema = pa.schema([
pa.field("a", pa.int32()),
pa.field("b", pa.int32()),
])
catalog.create_table("Dummy.new_table", schema)
table = catalog.load_table("Dummy.new_table")
table.io.properties["s3.endpoint"] == catalog.properties["s3.endpoint"]

```

### Willingness to contribute

- [ ] I can contribute a fix for this bug independently
- [x] I would be willing to contribute a fix for this bug with guidance from the Iceberg community
- [ ] I cannot contribute a fix for this bug at this time

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Commencez par la gestion des propriétés d’IO du catalogue et de la table utilisée par load_catalog et load_table, puis reproduisez l’écart avec l’exemple minimal fourni et la configuration pyiceberg.yaml. C’est terminé lorsque table.io.properties["s3.endpoint"] conserve la valeur configurée http://192.168.0.72:9008 et correspond à catalog.properties["s3.endpoint"].

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python
Domaine
data-engineering
Type d'issue
Bug
Difficulté
3/5
Temps estimé
1-2 jours
Activité
Active
Clarté
Plutôt claire
Accessibilité débutants
67/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.