cloudwego / cloudwego/eino

运行中设置断点

Open
#456 6 comments 0 reactions 0 assignees View on GitHub
C-question D-checkpoint
Dominant language
Go
Stars
13k
Forks
1.1k
Avg merge
4h 6m
Merged PRs (30d)
41

Description

文档里有这样一句:[💡 目前仅支持 Compile 时设置断点,如果需要请求时设置,欢迎提出](~https://www.cloudwego.io/zh/docs/eino/core_modules/chain_and_graph_orchestration/interrupt_checkpoint/#%E4%BD%BF%E7%94%A8-interrupt)

可能是设计上考虑到了,但是目前没想到使用场景去推动实现

运行中设置断点保存状态再退出肯定是有实际场景的
当工作流严重依赖外部资源,而外部资源可用性又不可控,那么能灵活保存状态稍后恢复就很实用了

我来提供个直播场景,供参考:
对某直播间主播说话与观众留言互动做实时分析,给主播运营建议,监控观众情绪。
主播开播时间与时长是不可控的,对于主播这个IP来说人设上下文是有连续性的,某些直播中出现的梗可能会持续很多天,或者主播说半个小时后如何如何,下个月某天直播如何,作为长短期记忆。
AI可以给出主播建议:刚刚的话题反响平平,分析历史互动,过往XXX话题效果明显,与之相关的素材有123
正在进行的话题互动强烈,可继续深入展开,根据直播间风格,建议往下聊xxx,以便引导至xxx植入广告,最后按照观众喜好以xxx收尾
最近几天连续谈xxx话题,观众互动已显不满,上周的xxx话题讲到了xxx预留了悬念,可转换内容作为接下来的选题素材
上面的例子,有个有个saas化的主播ai辅助工具,要为每个用户运行一个实例收集数据,但是只能在开播的时候收集,启动与退出时间都是不确定的,这种情况由运行中的某些节点来控制中断退出保存状态,有一万个用户,同时只有五百个在直播,就只需要开五百个实例,而不用留出一万个的资源,节省成本

Contributor guide

Open the contributing guide

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.