apache / apache/iceberg-python
s3 enpoint url in table.io.properties is different than that of catalog.properties
- Langage dominant
- Python
- Étoiles
- 1.1k
- Forks
- 581
- Merge moyen
- 1 j 17 h
- PR mergées (30 j)
- 78
Description
### Apache Iceberg version
0.11.0 (latest release)
### Please describe the bug 🐞
I am using polaris as rest catalog and RustFS as S3 client. My problem is that the s3 endpoint that i set in the `pyiceberg.yaml` file is not being used by the table.io (although catalog has it correctly)
The url is changed from `http://192.168.0.72:9008` to `localhost:9008` for the table.io.properties.get("s3.endpoint") property.
Here is a minimal example for it:
```
catalog = load_catalog("default", **catalog_conf)
catalog.create_namespace("Dummy")
schema = pa.schema([
pa.field("a", pa.int32()),
pa.field("b", pa.int32()),
])
catalog.create_table("Dummy.new_table", schema)
table = catalog.load_table("Dummy.new_table")
table.io.properties["s3.endpoint"] == catalog.properties["s3.endpoint"]
```
### Willingness to contribute
- [ ] I can contribute a fix for this bug independently
- [x] I would be willing to contribute a fix for this bug with guidance from the Iceberg community
- [ ] I cannot contribute a fix for this bug at this time
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Commencez par la gestion des propriétés d’IO du catalogue et de la table utilisée par load_catalog et load_table, puis reproduisez l’écart avec l’exemple minimal fourni et la configuration pyiceberg.yaml. C’est terminé lorsque table.io.properties["s3.endpoint"] conserve la valeur configurée http://192.168.0.72:9008 et correspond à catalog.properties["s3.endpoint"].
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python
- Domaine
- data-engineering
- Type d'issue
- Bug
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Activité
- Active
- Clarté
- Plutôt claire
- Accessibilité débutants
- 67/100