4paradigm / 4paradigm/OpenMLDB
Feature requirements of online recommendation platform for openmldb
- Dominant language
- C++
- Stars
- 1.7k
- Forks
- 331
- Avg merge
- 12d 12h
- Merged PRs (30d)
- 1
Description
**Describe the feature you'd like**
A clear and concise description of what you want to happen.
**特性诉求:**
1. 在线批处理(解除对spark的依赖),在线模式支持筛选部分数据做批处理导出,例如最近1小时的数据用作在线增量训练
2. 聚合函数支持全表聚合,即请求无input行
3. udf支持top_n_key_count_cate_where按照返回的value排序、支持对返回聚合结果的筛选(比如count返回1或4,对于小于2的数据置位null无效特征)
4. 计算节点的平滑升级和扩缩容的一键化操作,保证异步任务不受影响,支持多种新增节点分担集群压力策略,例如开关控制的是否自主快速进行分片的迁移分担压力,避免新增节点引发的集群异常
5. 集群状态的可查、可评估(节点间无法建立互信),保证集群可自愈、部分数据损失的自愈以及极端情况下不可用后的原地初始化(即数据丢失、功能恢复)
6. jobs任务状态存储,避免taskmanager挂死导致任务不可追踪,解耦taskmanager与在线模式
7. apiserver便于服务解耦,进一步优化其性能
**使用发现的可能存在的问题:**
- SELECT RADIANS(90)无法执行
- count_where(id, char_length(city) = 7)返回结果不计算当前行但改为>0则计算当前行,基于测试数据tutorial.t1表
- bool无法配合聚合函数结果使用,比如bool(count(province) > 0) over w
- rows类型是否EXCLUDE CURRENT_ROW,未明确说明不支持但实际返回不对
**Additional context**
Add any other context or screenshots about the feature request here.
Contributor guide
Assessment
This issue has not been assessed yet.