apache / apache/paimon

[Bug] Iceberg metadata unreadable by Snowflake

Aperta
#9,012 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

bug
Lingua principale
Java
Stelle
3.4k
Fork
1.4k
Merge medio
1g 9h
PR unite (30g)
423

Descrizione

### Search before asking

- [x] I searched in the [issues](https://github.com/apache/paimon/issues) and found nothing similar.

### Paimon version

2.0.0-rc4

### Compute Engine

Flink 2.2

### Minimal reproduce step

Create a Paimon table with Iceberg compatibility enabled, try to read the table from Snowflake.

### What doesn't meet your expectations?

Snowflake cannot read the Iceberg metadata, returning this error: `Unsupported: external field ID in metadata file cannot be zero.`
It looks like Snowflake enforces all field IDs to be > 0 (which is how the Iceberg implementation works), but Paimon generates metadata with field IDs starting from 0, so Snowflake treats that as invalid metadata.

### Anything else?

I'm not really sure what the best option is here. Looks like field mappings are encoded in Parquet footers, so maybe an option could be to specify an option at table creation to start all field IDs from 1 rather than 0 in order to produce more universally Iceberg-compatible layout?

### Are you willing to submit a PR?

- [x] I'm willing to submit a PR!

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

Riproduci il malfunzionamento con Paimon 2.0.0-rc4, Flink 2.2, la compatibilità con Iceberg abilitata e Snowflake. Traccia la generazione dei metadati Iceberg e la gestione degli ID dei campi, quindi verifica che i metadati risultanti siano accettati da Snowflake senza l'errore di ID zero. Non sono indicati file sorgente o test, quindi fa parte del lavoro individuare il codice di compatibilità pertinente e la copertura delle regressioni.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java
Ambito
data-engineering
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Attiva
Chiarezza
Abbastanza chiara
Idoneità per principianti
50/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.