4paradigm / 4paradigm/OpenMLDB

Feature requirements of online recommendation platform for openmldb

未关闭
#2,574 19 条评论 3 个 reaction 已指派 3 人 已被 @dl239 认领 在 GitHub 查看
api-server community enhancement execute-engine storage-engine
主要语言
C++
星标
1.7k
派生
331
平均合并
12 天 12 小时
30 天内合并 PR
1

描述

**Describe the feature you'd like**

A clear and concise description of what you want to happen.
**特性诉求:**
1. 在线批处理(解除对spark的依赖),在线模式支持筛选部分数据做批处理导出,例如最近1小时的数据用作在线增量训练
2. 聚合函数支持全表聚合,即请求无input行
3. udf支持top_n_key_count_cate_where按照返回的value排序、支持对返回聚合结果的筛选(比如count返回1或4,对于小于2的数据置位null无效特征)
4. 计算节点的平滑升级和扩缩容的一键化操作,保证异步任务不受影响,支持多种新增节点分担集群压力策略,例如开关控制的是否自主快速进行分片的迁移分担压力,避免新增节点引发的集群异常
5. 集群状态的可查、可评估(节点间无法建立互信),保证集群可自愈、部分数据损失的自愈以及极端情况下不可用后的原地初始化(即数据丢失、功能恢复)
6. jobs任务状态存储,避免taskmanager挂死导致任务不可追踪,解耦taskmanager与在线模式
7. apiserver便于服务解耦,进一步优化其性能

**使用发现的可能存在的问题:**
- SELECT RADIANS(90)无法执行
- count_where(id, char_length(city) = 7)返回结果不计算当前行但改为>0则计算当前行,基于测试数据tutorial.t1表
- bool无法配合聚合函数结果使用,比如bool(count(province) > 0) over w
- rows类型是否EXCLUDE CURRENT_ROW,未明确说明不支持但实际返回不对

**Additional context**

Add any other context or screenshots about the feature request here.

贡献指南

打开贡献指南

调研方向

The issue lists multiple feature requirements and bug reports for OpenMLDB, an ML database. Start by exploring the codebase structure, focusing on online processing, UDFs, and cluster management modules. Check existing documentation for SQL function support and job tracking. Review linked PR #2620 for context on what has been addressed. Determine which sub-features are still open and require design decisions.

由索引模型根据 Issue 内容生成。

评估

技术栈
databases, machine-learning, spark, sql
领域
ai-infra-agents, backend, databases, devops, machine-learning
Issue 类型
功能
难度
5/5
预计耗时
一周以上
活跃度
停滞
描述清晰度
基本清楚
新手友好度
20/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。