apache / apache/iceberg-python

s3 enpoint url in table.io.properties is different than that of catalog.properties

Abierto
#3,163 1 comentario 0 reacciones 0 asignados Ver en GitHub
stale
Lenguaje dominante
Python
Estrellas
1.1k
Forks
581
Merge medio
1 d 17 h
PR fusionados (30 d)
78

Descripción

### Apache Iceberg version

0.11.0 (latest release)

### Please describe the bug 🐞

I am using polaris as rest catalog and RustFS as S3 client. My problem is that the s3 endpoint that i set in the `pyiceberg.yaml` file is not being used by the table.io (although catalog has it correctly)

The url is changed from `http://192.168.0.72:9008` to `localhost:9008` for the table.io.properties.get("s3.endpoint") property.

Here is a minimal example for it:

```
catalog = load_catalog("default", **catalog_conf)
catalog.create_namespace("Dummy")
schema = pa.schema([
pa.field("a", pa.int32()),
pa.field("b", pa.int32()),
])
catalog.create_table("Dummy.new_table", schema)
table = catalog.load_table("Dummy.new_table")
table.io.properties["s3.endpoint"] == catalog.properties["s3.endpoint"]

```

### Willingness to contribute

- [ ] I can contribute a fix for this bug independently
- [x] I would be willing to contribute a fix for this bug with guidance from the Iceberg community
- [ ] I cannot contribute a fix for this bug at this time

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Línea de trabajo

Comienza con el manejo de las propiedades de IO del catálogo y de la tabla utilizado por load_catalog y load_table, y luego reproduce la discrepancia con el ejemplo mínimo proporcionado y la configuración pyiceberg.yaml. Se considera terminado cuando table.io.properties["s3.endpoint"] conserva el valor configurado http://192.168.0.72:9008 y coincide con catalog.properties["s3.endpoint"].

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
data-engineering
Tipo de issue
Error
Dificultad
3/5
Tiempo estimado
1-2 días
Estado de actividad
Activo
Claridad
Bastante claro
Aptitud para principiantes
67/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.