coze-dev / coze-dev/coze-studio

知识库分段规则问题

Open
#162 5 comments 0 reactions 1 assignee Claimed by @N3kox View on GitHub
mod/knowledge suggest
Dominant language
TypeScript
Stars
21.6k
Forks
3.1k
PR merge metrics
No merged PRs in 30d

Description

尝试用知识库进行分段,发现一些问题:
1. 如果文本里面有`#`、`##`、`###`,当自定义分隔符为`#`,处理后的文本将会匹配`##`、`###`里面的`#`。
2. 两段文本中使用多个换行分割,无论是设置`单个换行`、`两个换行`,都没法正确分段(文本预处理规则均未勾选)。如下图两段中间有换行,但还是作为一段。也试过自定义设置`\n\n`和`\n\n\n`,均无效。

Image

3. 对于2的固定设置换行和自定义换行,使用`单个换行`和自定义换行`\n`,出来的效果居然不一样?

Contributor guide

Open the contributing guide

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.