`bpe` Python Bindings?
- Langage dominant
- Rust
- Étoiles
- 134
- Forks
- 24
- Merge moyen
- 16 h 27 min
- PR mergées (30 j)
- 11
Description
Amazing work on `bpe`!
Wanted to see if there were any known Python bindings a la the snippets from tiktoken below?
```python
import tiktoken
enc = tiktoken.get_encoding("o200k_base")
assert enc.decode(enc.encode("hello world")) == "hello world"
# To get the tokeniser corresponding to a specific model in the OpenAI API:
enc = tiktoken.encoding_for_model("gpt-4o")
```
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
L’issue ne nomme aucun fichier d’implémentation ni aucun test. Commencez par examiner l’implémentation de bpe et son API publique, puis déterminez si des bindings Python existent déjà et quelle interface est nécessaire pour prendre en charge les exemples d’encodage et de décodage présentés. La tâche ne serait considérée comme terminée qu’une fois le périmètre des bindings défini et la documentation ainsi que les tests correspondants d’utilisation avec Python disponibles.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python, rust
- Domaine
- developer-experience
- Type d'issue
- Fonctionnalité
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 25/100