`bpe` Python Bindings?
未关闭
还没有人认领这个 Issue。
- 主要语言
- Rust
- 星标
- 134
- 派生
- 24
- 平均合并
- 16 小时 27 分钟
- 30 天内合并 PR
- 11
描述
Amazing work on bpe!
Wanted to see if there were any known Python bindings a la the snippets from tiktoken below?
import tiktoken
enc = tiktoken.get_encoding("o200k_base")
assert enc.decode(enc.encode("hello world")) == "hello world"
# To get the tokeniser corresponding to a specific model in the OpenAI API:
enc = tiktoken.encoding_for_model("gpt-4o")
贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
调研方向
该 issue 未指定任何实现文件或测试。首先检查 bpe 的实现及其公共 API,然后确定是否已经存在 Python bindings,以及需要什么接口来支持所示的 encoding 和 decoding 示例。要视为完成,需要就 binding 范围达成一致,并提供相应的 Python 使用文档和测试。
由索引模型根据 Issue 内容生成。
评估
- 技术栈
- python, rust
- 领域
- developer-experience
- Issue 类型
- 功能
- 难度
- 5/5
- 预计耗时
- 一周以上
- 活跃度
- 停滞
- 描述清晰度
- 需要澄清
- 新手友好度
- 25/100