[Feature] DeepConf Support
Open
- Dominant language
- Python
- Stars
- 8.1k
- Forks
- 748
- Avg merge
- 6d 2h
- Merged PRs (30d)
- 54
Description
### Motivation
https://jiaweizzhao.github.io/deepconf/static/htmls/code_example.html
https://jiaweizzhao.github.io/deepconf/
提出了一种简单而强大的推理增强方法，旨在解决当前大语言模型（LLM）在复杂推理任务中面临的两个核心问题：推理效率低下和多数投票机制的准确性瓶颈。其核心技术在于利用模型内部的置信度信号，动态过滤低质量推理路径，从而在提升准确率的同时显著减少计算开销，目前他们已经在VLLM中提交了PR，期望lmdeploy有能支持这种特性。
### Related resources
_No response_
### Additional context
_No response_
Contributor guide
Assessment
This issue has not been assessed yet.