Feature request: NoRepeatNgram
未關閉
backend
enhancement
- 主要語言
- Rust
- 星號
- 619
- 分支
- 74
- PR 合併指標
- 30 天內沒有已合併 PR
描述
Sometimes my model repeats a whole paragraph again and again endlessly. Would it be possible to ban repetition of specific ngram size, like this NoRepeatNgramLogitsProcessor from transformer https://huggingface.co/docs/transformers/v4.36.1/en/internal/generation_utils#transformers.NoRepeatNGramLogitsProcessor ?
Thanks.
貢獻指南
這個儲存庫沒有索引到貢獻指南
評估
這個 Issue 還沒有評估資料。