coze-dev / coze-dev/coze-studio
知识库分段规则问题
Open
mod/knowledge
suggest
- Dominant language
- TypeScript
- Stars
- 21.6k
- Forks
- 3.1k
- PR merge metrics
- No merged PRs in 30d
Description
尝试用知识库进行分段,发现一些问题:
1. 如果文本里面有`#`、`##`、`###`,当自定义分隔符为`#`,处理后的文本将会匹配`##`、`###`里面的`#`。
2. 两段文本中使用多个换行分割,无论是设置`单个换行`、`两个换行`,都没法正确分段(文本预处理规则均未勾选)。如下图两段中间有换行,但还是作为一段。也试过自定义设置`\n\n`和`\n\n\n`,均无效。
3. 对于2的固定设置换行和自定义换行,使用`单个换行`和自定义换行`\n`,出来的效果居然不一样?
Contributor guide
Assessment
This issue has not been assessed yet.