apache / apache/paimon

[Bug] [flink] Could not read External Tables

Offen
#1,908 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
bug
Vorherrschende Sprache
Java
Sterne
3.4k
Forks
1.4k
Ø Merge
1 T. 11 Std.
Gemergte PRs (30 T.)
396

Beschreibung

### Search before asking

- [X] I searched in the [issues](https://github.com/apache/incubator-paimon/issues) and found nothing similar.

### Paimon version

0.5

### Compute Engine

Flink 1.16.2

### Minimal reproduce step

[upload_excel.xlsx](https://github.com/apache/incubator-paimon/files/12459344/upload_excel.xlsx)
1. I trans this excel to parquet

df = pd.read_excel(args.file, sheet_name='data')
parquet_file = '/tmp/parquet_file/' + args.name + '.parquet'
df.to_parquet(parquet_file, index=False)`

2. I upload this parquet to "hdfs://draco01:9870/tmp/flink1.17.1/upload_parquet/table_name.parquet"
3. I create external table :

CREATE TABLE default_database.table_name (
col1 string,
col2 bigint,
col3 string,
col4 date,
col5 string,
PRIMARY KEY (col1,col2) NOT ENFORCED
) WITH (
'connector' = 'paimon',
'path' = 'hdfs://draco01:9870/tmp/flink1.17.1/upload_parquet/table_name.parquet'
);

4. Could read the schema:
+------+--------+-------+-----------------+--------+-----------+
| name | type | null | key | extras | watermark |
+------+--------+-------+-----------------+--------+-----------+
| col1 | STRING | FALSE | PRI(col1, col2) | | |
| col2 | BIGINT | FALSE | PRI(col1, col2) | | |
| col3 | STRING | TRUE | | | |
| col4 | DATE | TRUE | | | |
| col5 | STRING | TRUE | | | |
+------+--------+-------+-----------------+--------+-----------+
5 rows in set
5. Could not read the data, it shows below:
`Caused by: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length`

### What doesn't meet your expectations?

Want to know how to fix it.

### Anything else?

_No response_

### Are you willing to submit a PR?

- [ ] I'm willing to submit a PR!

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Der Bericht stellt upload_excel.xlsx, eine pandas-to-Parquet-Konvertierung, einen HDFS-Pfad und die Flink SQL CREATE TABLE als Einstiegspunkte für die Reproduktion bereit. Reproduziere das Lesen mit Paimon 0.5 und Flink 1.16.2 und verfolge dann den Fehler „RPC response exceeds maximum data length“; abgeschlossen ist die Aufgabe, wenn die Daten der externen Tabelle ohne diesen Fehler gelesen werden können.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
hadoop, java, python
Bereich
data-engineering, databases, distributed-systems
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Veraltet
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
30/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.