DTStack / DTStack/chunjun

UnsupportedTypeException: Unsupported type: [DECIMAL(10,2)]

Aperta
#753 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
bug
Lingua principale
Java
Stelle
4.1k
Fork
1.7k
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

**Describe the bug**
try to read mysql and write to hdfs in parquet type batch model , mysql have decimal(10,2) type ,if I define this in mysqlreader got Unsupported type error , but if I just define decimal , decimal place lost in parquet,the field type will be decimal(10,0)
if I write to hdfs in orc type, the field type will change to decimal(38,18)

I'm using 1.14_beta with hdp3.1.4, spark3.2.1

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Riproduci il percorso batch da MySQL a HDFS descritto nell’issue con DECIMAL(10,2), confrontando l’output Parquet e ORC nell’ambiente indicato. Traccia i punti di ingresso della conversione dei tipi e la copertura esistente, quindi verifica che la precisione e la scala decimali siano preservate senza produrre un errore di tipo non supportato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
java, mysql, spark
Ambito
data-engineering, databases
Tipo di issue
Bug
Difficoltà
4/5
Tempo stimato
3-5 giorni
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
30/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.