github / github/rust-gems

`bpe` Python Bindings?

Ouverte
#61 1 commentaire 2 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Rust
Étoiles
134
Forks
24
Merge moyen
16 h 27 min
PR mergées (30 j)
11

Description

Amazing work on `bpe`!

Wanted to see if there were any known Python bindings a la the snippets from tiktoken below?

```python
import tiktoken
enc = tiktoken.get_encoding("o200k_base")
assert enc.decode(enc.encode("hello world")) == "hello world"

# To get the tokeniser corresponding to a specific model in the OpenAI API:
enc = tiktoken.encoding_for_model("gpt-4o")
```

Guide de contribution

Ouvrir le guide de contribution

Piste de recherche

L’issue ne nomme aucun fichier d’implémentation ni aucun test. Commencez par examiner l’implémentation de bpe et son API publique, puis déterminez si des bindings Python existent déjà et quelle interface est nécessaire pour prendre en charge les exemples d’encodage et de décodage présentés. La tâche ne serait considérée comme terminée qu’une fois le périmètre des bindings défini et la documentation ainsi que les tests correspondants d’utilisation avec Python disponibles.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
python, rust
Domaine
developer-experience
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.