fuzhengwei / fuzhengwei/WaLiCode

【希望加入的功能】若干提议

Open
#80 0 comments 0 reactions 0 assignees View on GitHub
Dominant language
No language data
Stars
133
Forks
11
PR merge metrics
No merged PRs in 30d

Description

一、希望可以有相关统计功能,全日llama默认web ui当中的这几项,分别是:
prompt processing time:发送prompt到接收llm第1个token的间隔,单位秒
prompt processing speed:llm处理本次prompt的速度(周期内的token吞吐量?),单位token/sec
prompt tokens:本次prompt产生的token数量
Generated tokens:在本次回复中从llm接收到的token总数量
Generation time:从llm接收第1个token开始,到最后一个token接收完毕所经历的时间,单位秒
Generation speed:llm吐出token的速度,单位:token/sec
附:图1
二、希望可以加入拖拽文件或目录到聊天框、在本次对话中引用该路径的功能

三、希望可以在配置文件中对某个本地模型设置其上下文长度上限的功能,并在聊天框附近找一处位置,显示出【当前会话已产生token数量/总数量上限】的功能。
附:图2

----------------------------------------------我是分割线-----------------------------------------------

图1:

Image

图2:

Image

Contributor guide

No contributing guide indexed for this repository

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.