fuzhengwei / fuzhengwei/WaLiCode
【希望加入的功能】若干提议
Open
- Dominant language
- No language data
- Stars
- 133
- Forks
- 11
- PR merge metrics
- No merged PRs in 30d
Description
一、希望可以有相关统计功能,全日llama默认web ui当中的这几项,分别是:
prompt processing time:发送prompt到接收llm第1个token的间隔,单位秒
prompt processing speed:llm处理本次prompt的速度(周期内的token吞吐量?),单位token/sec
prompt tokens:本次prompt产生的token数量
Generated tokens:在本次回复中从llm接收到的token总数量
Generation time:从llm接收第1个token开始,到最后一个token接收完毕所经历的时间,单位秒
Generation speed:llm吐出token的速度,单位:token/sec
附:图1
二、希望可以加入拖拽文件或目录到聊天框、在本次对话中引用该路径的功能
三、希望可以在配置文件中对某个本地模型设置其上下文长度上限的功能,并在聊天框附近找一处位置,显示出【当前会话已产生token数量/总数量上限】的功能。
附:图2
----------------------------------------------我是分割线-----------------------------------------------
图1:
图2:
Contributor guide
No contributing guide indexed for this repository
Assessment
This issue has not been assessed yet.