UnsupportedTypeException: Unsupported type: [DECIMAL(10,2)]
- Lingua principale
- Java
- Stelle
- 4.1k
- Fork
- 1.7k
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
**Describe the bug**
try to read mysql and write to hdfs in parquet type batch model , mysql have decimal(10,2) type ,if I define this in mysqlreader got Unsupported type error , but if I just define decimal , decimal place lost in parquet,the field type will be decimal(10,0)
if I write to hdfs in orc type, the field type will change to decimal(38,18)
I'm using 1.14_beta with hdp3.1.4, spark3.2.1
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Riproduci il percorso batch da MySQL a HDFS descritto nell’issue con DECIMAL(10,2), confrontando l’output Parquet e ORC nell’ambiente indicato. Traccia i punti di ingresso della conversione dei tipi e la copertura esistente, quindi verifica che la precisione e la scala decimali siano preservate senza produrre un errore di tipo non supportato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- java, mysql, spark
- Ambito
- data-engineering, databases
- Tipo di issue
- Bug
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 30/100