4paradigm / 4paradigm/OpenMLDB

sbin deploy can't set HADOOP_CONF_DIR for taskmanager

オープン
#3,159 コメント 2 件 リアクション 0 件 担当者 0 名 GitHub で見る
enhancement high-priority tools
主要言語
C++
スター
1.7k
フォーク
331
平均マージ
12日 12時間
マージ済み PR(30日)
1

説明

and spark extra conf, e.g. hdfs-site.xml, needs to add in spark/conf before deploy. -- HADOOP_CONF_DIR设置为openmldb/conf应该可以?
但taskmanager读取需要start.sh时有环境,sbin不会传去host里
just deploy conf for fix config options

More

stat-all.sh没有recover工具时最好failed,除非force执行,不然用户很容易重启后表有问题,但当时无法察觉
start-all.sh里的recovering没有进度,前台也没法看,没有多开shell时很麻烦
recovering本来就是在tablet、nameserver都启动后的操作,在线集群可以独立recovering,不做不必要的stop

yarn job如果日志出现connect 0.0.0.0:8032,说明yarn-site.xml没有正确load。使用了默认yarn地址。

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

Look at sbin deploy scripts to see how environment variables like HADOOP_CONF_DIR are passed to taskmanager. Examine start.sh and related host deployment logic. The fix likely involves modifying deployment scripts to propagate configuration. Check spark/conf handling for hdfs-site.xml. Also review stat-all.sh and start-all.sh for recovery behavior improvements mentioned in the issue.

索引モデルが issue の本文から書いたものです。

評価

技術スタック
hadoop, shell, spark
領域
backend, cli, devops
issue の種類
バグ
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。