4paradigm / 4paradigm/OpenMLDB

Feature requirements of online recommendation platform for openmldb

Aperta
#2,574 19 commenti 3 reazioni 3 assegnatari Rivendicata da @dl239 Vedi su GitHub
api-server community enhancement execute-engine storage-engine
Lingua principale
C++
Stelle
1.7k
Fork
331
Merge medio
12g 12h
PR unite (30g)
1

Descrizione

**Describe the feature you'd like**

A clear and concise description of what you want to happen.
**特性诉求:**
1. 在线批处理(解除对spark的依赖),在线模式支持筛选部分数据做批处理导出,例如最近1小时的数据用作在线增量训练
2. 聚合函数支持全表聚合,即请求无input行
3. udf支持top_n_key_count_cate_where按照返回的value排序、支持对返回聚合结果的筛选(比如count返回1或4,对于小于2的数据置位null无效特征)
4. 计算节点的平滑升级和扩缩容的一键化操作,保证异步任务不受影响,支持多种新增节点分担集群压力策略,例如开关控制的是否自主快速进行分片的迁移分担压力,避免新增节点引发的集群异常
5. 集群状态的可查、可评估(节点间无法建立互信),保证集群可自愈、部分数据损失的自愈以及极端情况下不可用后的原地初始化(即数据丢失、功能恢复)
6. jobs任务状态存储,避免taskmanager挂死导致任务不可追踪,解耦taskmanager与在线模式
7. apiserver便于服务解耦,进一步优化其性能

**使用发现的可能存在的问题:**
- SELECT RADIANS(90)无法执行
- count_where(id, char_length(city) = 7)返回结果不计算当前行但改为>0则计算当前行,基于测试数据tutorial.t1表
- bool无法配合聚合函数结果使用,比如bool(count(province) > 0) over w
- rows类型是否EXCLUDE CURRENT_ROW,未明确说明不支持但实际返回不对

**Additional context**

Add any other context or screenshots about the feature request here.

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

The issue lists multiple feature requirements and bug reports for OpenMLDB, an ML database. Start by exploring the codebase structure, focusing on online processing, UDFs, and cluster management modules. Check existing documentation for SQL function support and job tracking. Review linked PR #2620 for context on what has been addressed. Determine which sub-features are still open and require design decisions.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
databases, machine-learning, spark, sql
Ambito
ai-infra-agents, backend, databases, devops, machine-learning
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
20/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.