[Bug] Official version of the 0.5 paimon when writing in the primary key table updates' indexOutOfBoundsException 'error, try again using a snapshot of the version 0.6 when the error is still there
Nessuno ha ancora preso questa issue.
- Lingua principale
- Java
- Stelle
- 3.4k
- Fork
- 1.4k
- Merge medio
- 1g 9h
- PR unite (30g)
- 423
Descrizione
### Search before asking
- [X] I searched in the [issues](https://github.com/apache/incubator-paimon/issues) and found nothing similar.
### Paimon version
0.5-incub and 0.6-11-20 snapshot version
### Compute Engine
FlinkSQL
### Minimal reproduce step
1th: kafka to paimon primary key and 1 bucket table , store as orc
2th:The length of a single field is close to 10 million
3th:The above error occurred while writing to the table continuously
### What doesn't meet your expectations?
Write to the primary key table normally, and update or add it normally
### Anything else?
No
### Are you willing to submit a PR?
- [ ] I'm willing to submit a PR!
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia riproducendo la scrittura continua di FlinkSQL da Kafka in una tabella Paimon con chiave primaria e un solo bucket, memorizzata come ORC, utilizzando un campo di quasi 10 milioni di caratteri. Esamina la IndexOutOfBoundsException risultante e confronta il comportamento tra le versioni di Paimon segnalate. Il lavoro è completato quando gli inserimenti e gli aggiornamenti delle chiavi primarie terminano normalmente senza l'errore.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- kafka, sql
- Ambito
- data-engineering, databases, stream-processing
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 30/100