`bpe` Python Bindings?
オープン
- 主要言語
- Rust
- スター
- 134
- フォーク
- 24
- 平均マージ
- 16時間 27分
- マージ済み PR(30日)
- 11
説明
Amazing work on `bpe`!
Wanted to see if there were any known Python bindings a la the snippets from tiktoken below?
```python
import tiktoken
enc = tiktoken.get_encoding("o200k_base")
assert enc.decode(enc.encode("hello world")) == "hello world"
# To get the tokeniser corresponding to a specific model in the OpenAI API:
enc = tiktoken.encoding_for_model("gpt-4o")
```
コントリビューションガイド
調査の方向性
この issue では、実装ファイルやテストが指定されていません。まず bpe の実装とその公開 API を確認し、次に Python bindings がすでに存在するか、また、示されている encoding と decoding の例をサポートするにはどのようなインターフェースが必要かを判断してください。完了とするには、bindings の対象範囲について合意し、それに対応する Python の使用方法のドキュメントとテストを用意する必要があります。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python, rust
- 領域
- developer-experience
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 25/100