deepseek-ai / deepseek-ai/DeepSeek-Coder
预训练细节（fim）
Open
- Dominant language
- Python
- Stars
- 24.3k
- Forks
- 2.9k
- PR merge metrics
- No merged PRs in 30d
Description
你好，我现在在做二次预训练，有几个问题想请教下。
1. 请问你们是先将一个project下面的文件按照依赖关系拼起来变成一个document（或者说sample），然后再做document level的fim吗？，如果是这样的话，在context长度为4096的情况下，一个sample的长度肯定会超过context长度，那么fim不就没效果了吗？
2. 请问bos这个特殊符号你们是用在哪里的呢？是每个model context用一次吗？
望解答，谢谢！！！
Contributor guide
No contributing guide indexed for this repository
Assessment
This issue has not been assessed yet.