stackabletech / stackabletech/hive-operator
HMS 4.x metadata transformer silently rewrites schema locations
Nessuno ha ancora preso questa issue.
- Lingua principale
- Rust
- Stelle
- 29
- Fork
- 2
- Merge medio
- 1g 19h
- PR unite (30g)
- 12
Descrizione
Affected Stackable version
26.7
Affected Apache Hive version
4.0.0
Current and expected behavior
Hive 4 introduced metastore.metadata.transformer.class and defaults it to org.apache.hadoop.hive.metastore.MetastoreDefaultTransformer.
Against a metastore used by Trino, the transformer causes two distinct failures:
- Schema locations are silently rewritten on read. A schema created with an explicit
locationunderhive.metastore.warehouse.diris stored correctly inDBS, but every read through the Thrift API returns<warehouse>/<dbname>.dbinstead. Trino's Iceberg connector derives new table locations from that value, so tables land in the wrong prefix. CREATE TABLEthrough the Trino Hive connector is converted fromMANAGED_TABLEtoEXTERNAL_TABLE. Trino then refuses to write to its own table withCannot write to non-managed Hive table, soINSERT INTOis broken for every table created through the Hive connector.
Possible solution
For our use cases, disabling the transformer may be the right choice here.
Workaround
Disable the transformer through the metastore's config overrides. Note the value is a single
space, not an empty string:
spec:
metastore:
configOverrides:
hive-site.xml:
metastore.metadata.transformer.class: " "
Additional context
No response
Environment
k8s: v1.35.1 - also seen on OpenShift environments
Would you like to work on fixing this bug?
None
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia riproducendo il comportamento del metastore di Hive 4.0.0 con Trino, concentrandoti sulle letture delle posizioni degli schemi e sulle tabelle create tramite il Hive connector. Esamina come l'operatore configura metastore.metadata.transformer.class e verifica se la disabilitazione del transformer preserva le posizioni esplicite e il comportamento delle tabelle gestite. Il lavoro è completato quando la configurazione viene gestita correttamente ed entrambi i problemi segnalati sono risolti o chiaramente impediti.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- kubernetes, rust
- Ambito
- backend, databases
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Attiva
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 48/100