github / github/rust-gems

`bpe` Python Bindings?

オープン
#61 コメント 1 件 リアクション 2 件 担当者 0 名 GitHub で見る
主要言語
Rust
スター
134
フォーク
24
平均マージ
16時間 27分
マージ済み PR(30日)
11

説明

Amazing work on `bpe`!

Wanted to see if there were any known Python bindings a la the snippets from tiktoken below?

```python
import tiktoken
enc = tiktoken.get_encoding("o200k_base")
assert enc.decode(enc.encode("hello world")) == "hello world"

# To get the tokeniser corresponding to a specific model in the OpenAI API:
enc = tiktoken.encoding_for_model("gpt-4o")
```

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

この issue では、実装ファイルやテストが指定されていません。まず bpe の実装とその公開 API を確認し、次に Python bindings がすでに存在するか、また、示されている encoding と decoding の例をサポートするにはどのようなインターフェースが必要かを判断してください。完了とするには、bindings の対象範囲について合意し、それに対応する Python の使用方法のドキュメントとテストを用意する必要があります。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python, rust
領域
developer-experience
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。