apache / apache/paimon

[Bug] [flink] Could not read External Tables

オープン
#1,908 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
bug
主要言語
Java
スター
3.4k
フォーク
1.4k
平均マージ
1日 9時間
マージ済み PR(30日)
423

説明

### Search before asking

- [X] I searched in the [issues](https://github.com/apache/incubator-paimon/issues) and found nothing similar.

### Paimon version

0.5

### Compute Engine

Flink 1.16.2

### Minimal reproduce step

[upload_excel.xlsx](https://github.com/apache/incubator-paimon/files/12459344/upload_excel.xlsx)
1. I trans this excel to parquet

df = pd.read_excel(args.file, sheet_name='data')
parquet_file = '/tmp/parquet_file/' + args.name + '.parquet'
df.to_parquet(parquet_file, index=False)`

2. I upload this parquet to "hdfs://draco01:9870/tmp/flink1.17.1/upload_parquet/table_name.parquet"
3. I create external table :

CREATE TABLE default_database.table_name (
col1 string,
col2 bigint,
col3 string,
col4 date,
col5 string,
PRIMARY KEY (col1,col2) NOT ENFORCED
) WITH (
'connector' = 'paimon',
'path' = 'hdfs://draco01:9870/tmp/flink1.17.1/upload_parquet/table_name.parquet'
);

4. Could read the schema:
+------+--------+-------+-----------------+--------+-----------+
| name | type | null | key | extras | watermark |
+------+--------+-------+-----------------+--------+-----------+
| col1 | STRING | FALSE | PRI(col1, col2) | | |
| col2 | BIGINT | FALSE | PRI(col1, col2) | | |
| col3 | STRING | TRUE | | | |
| col4 | DATE | TRUE | | | |
| col5 | STRING | TRUE | | | |
+------+--------+-------+-----------------+--------+-----------+
5 rows in set
5. Could not read the data, it shows below:
`Caused by: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length`

### What doesn't meet your expectations?

Want to know how to fix it.

### Anything else?

_No response_

### Are you willing to submit a PR?

- [ ] I'm willing to submit a PR!

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

レポートには、再現のエントリポイントとして upload_excel.xlsx、pandas-to-Parquet 変換、HDFS パス、Flink SQL CREATE TABLE が提供されています。Paimon 0.5 と Flink 1.16.2 で読み取りを再現し、その後「RPC response exceeds maximum data length」エラーを追跡してください。外部テーブルのデータをこのエラーなしで読み取れるようになれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
hadoop, java, python
領域
data-engineering, databases, distributed-systems
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
30/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。