4paradigm / 4paradigm/OpenMLDB
Feature requirements of online recommendation platform for openmldb
- Langage dominant
- C++
- Étoiles
- 1.7k
- Forks
- 331
- Merge moyen
- 12 j 12 h
- PR mergées (30 j)
- 1
Description
**Describe the feature you'd like**
A clear and concise description of what you want to happen.
**特性诉求:**
1. 在线批处理(解除对spark的依赖),在线模式支持筛选部分数据做批处理导出,例如最近1小时的数据用作在线增量训练
2. 聚合函数支持全表聚合,即请求无input行
3. udf支持top_n_key_count_cate_where按照返回的value排序、支持对返回聚合结果的筛选(比如count返回1或4,对于小于2的数据置位null无效特征)
4. 计算节点的平滑升级和扩缩容的一键化操作,保证异步任务不受影响,支持多种新增节点分担集群压力策略,例如开关控制的是否自主快速进行分片的迁移分担压力,避免新增节点引发的集群异常
5. 集群状态的可查、可评估(节点间无法建立互信),保证集群可自愈、部分数据损失的自愈以及极端情况下不可用后的原地初始化(即数据丢失、功能恢复)
6. jobs任务状态存储,避免taskmanager挂死导致任务不可追踪,解耦taskmanager与在线模式
7. apiserver便于服务解耦,进一步优化其性能
**使用发现的可能存在的问题:**
- SELECT RADIANS(90)无法执行
- count_where(id, char_length(city) = 7)返回结果不计算当前行但改为>0则计算当前行,基于测试数据tutorial.t1表
- bool无法配合聚合函数结果使用,比如bool(count(province) > 0) over w
- rows类型是否EXCLUDE CURRENT_ROW,未明确说明不支持但实际返回不对
**Additional context**
Add any other context or screenshots about the feature request here.
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
The issue lists multiple feature requirements and bug reports for OpenMLDB, an ML database. Start by exploring the codebase structure, focusing on online processing, UDFs, and cluster management modules. Check existing documentation for SQL function support and job tracking. Review linked PR #2620 for context on what has been addressed. Determine which sub-features are still open and require design decisions.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- databases, machine-learning, spark, sql
- Domaine
- ai-infra-agents, backend, databases, devops, machine-learning
- Type d'issue
- Fonctionnalité
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 20/100