apache / apache/paimon

[Bug] Official version of the 0.5 paimon when writing in the primary key table updates' indexOutOfBoundsException 'error, try again using a snapshot of the version 0.6 when the error is still there

Aperta
#2,355 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

bug
Lingua principale
Java
Stelle
3.4k
Fork
1.4k
Merge medio
1g 9h
PR unite (30g)
423

Descrizione

### Search before asking

- [X] I searched in the [issues](https://github.com/apache/incubator-paimon/issues) and found nothing similar.

### Paimon version

0.5-incub and 0.6-11-20 snapshot version

### Compute Engine

FlinkSQL

### Minimal reproduce step

1th: kafka to paimon primary key and 1 bucket table , store as orc
2th:The length of a single field is close to 10 million
3th:The above error occurred while writing to the table continuously

### What doesn't meet your expectations?

Write to the primary key table normally, and update or add it normally

### Anything else?

No

### Are you willing to submit a PR?

- [ ] I'm willing to submit a PR!

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

Inizia riproducendo la scrittura continua di FlinkSQL da Kafka in una tabella Paimon con chiave primaria e un solo bucket, memorizzata come ORC, utilizzando un campo di quasi 10 milioni di caratteri. Esamina la IndexOutOfBoundsException risultante e confronta il comportamento tra le versioni di Paimon segnalate. Il lavoro è completato quando gli inserimenti e gli aggiornamenti delle chiavi primarie terminano normalmente senza l'errore.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
kafka, sql
Ambito
data-engineering, databases, stream-processing
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
30/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.