4paradigm / 4paradigm/OpenMLDB

Fail to get table constrains of Hive tables with Spark API

オープン
#3,072 コメント 0 件 リアクション 0 件 担当者 1 名 @tobegit3hub が担当を希望しています GitHub で見る
batch-engine bug
主要言語
C++
スター
1.7k
フォーク
331
平均マージ
12日 12時間
マージ済み PR(30日)
1

説明

Now we can not get table constrains like `not null` with Spark API. It may be the bug of Spark.

Here is the process to re-produce the issue.

We can create the table with constrains with hive.

```
create table notnull_col_table2 (col1 int not null, col2 int);
```

But we may not get the not null constrains with Spark API.

```
def main(argv: Array[String]): Unit = {

val spark = SparkSession.builder()
.master("local")
.config("spark.hadoop.hive.metastore.uris", "thrift://localhost:9083")
.config("spark.sql.catalogImplementation", "hive")
.getOrCreate()

val df = spark.table("db1.notnull_col_table2")

val schema = df.schema
println(schema) # StructType(StructField(col1,IntegerType,true),StructField(col2,IntegerType,true))

val col1_schema = schema.fields(0)
println(col1_schema.nullable) # true
}
```

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

The issue is about Spark API not retrieving NOT NULL constraints from Hive tables. Start by examining how Spark's Hive integration fetches table metadata, particularly in the Spark SQL Hive client code. Look for where column nullability is determined. The test involves creating a Hive table with a NOT NULL column and checking the schema via spark.table. 'Done' means the nullable field in the schema correctly shows false for the constrained column.

索引モデルが issue の本文から書いたものです。

評価

技術スタック
scala, spark
領域
data-engineering, databases
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
明確に書かれている
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。