DTStack / DTStack/flinkStreamSQL
增大并行度后ALL模式维表缓存带来的数据库连接及内存压力
未關閉
- 主要語言
- Java
- 星號
- 2k
- 分支
- 913
- PR 合併指標
- 30 天內沒有已合併 PR
描述
源码中ALL模式维表缓存是个flatMap操作，当任务数据量和计算压力增大后，增大SQL的并行度，每个并行度都会去维表中加载数据，这样一个是容易出现把维表连接打满的情况，另一个就是带来不小的内存开销。
因为存在定时更新数据，广播可能不太好做，能否实现一个taskmanager只加载一份维表数据，而不是每个slot都去加载一遍
貢獻指南
這個儲存庫沒有索引到貢獻指南
評估
這個 Issue 還沒有評估資料。