4paradigm / 4paradigm/OpenMLDB

low interactivity of `create table like hive` and yarn mode

Đang mở
#3,145 2 bình luận 0 reaction 1 người được giao Được @vagetablechicken nhận Xem trên GitHub
community high-priority
Ngôn ngữ chính
C++
Star
1.7k
Fork
331
Merge trung bình
12 ngày 12 giờ
Pull request đã merge (30 ngày)
1

Mô tả

Test on 0.7.2. Test again on main 1317ce70, if need fix, create a task

1.

- [ ] Get `reached timeout` error, cuz taskmanager don't response for `create hive`. `create hive` job timeout is from variable `job_timeout`, default 20s, enough in yarn mode? (not 60s in sql_cluster_router, global var in nameserver) will be fixed with i3342

2. We can't get the SPARK_HOME in effect directly, need to ask user more about it. It's better to get runtime config from all severs.
3. If Spark can't work, e.g. spark_home is wrong, or spark-submit is bad, we only get `reached timeout` error. We can test it by diag tool. Or we should give user a simple sql script to test as an alternative(in must read doc and install_deploy doc).
4. And `show joblog` can't work, `reached timeout` too. No useful error msg. Why show joblog failed(just read a file in local)?
5. yarn mode document about spark-submit version, and spark version.
6. `create table like hive` will run in no used db, track it on #3149

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

The issue mentions problems with 'create table like hive' in yarn mode, including timeouts, SPARK_HOME configuration, and joblog failures. Look at the code for job timeout settings (job_timeout, sql_cluster_router) and the spark-submit integration. Check the diagnostic tool and documentation for yarn mode. The issue is tracked with other related tasks (#3149, i3342).

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
hadoop, spark
Lĩnh vực
backend, databases, devops, machine-learning
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.