github / github/rust-gems

`bpe` Python Bindings?

Abierto
#61 1 comentario 2 reacciones 0 asignados Ver en GitHub
Lenguaje dominante
Rust
Estrellas
134
Forks
24
Merge medio
16 h 27 min
PR fusionados (30 d)
11

Descripción

Amazing work on `bpe`!

Wanted to see if there were any known Python bindings a la the snippets from tiktoken below?

```python
import tiktoken
enc = tiktoken.get_encoding("o200k_base")
assert enc.decode(enc.encode("hello world")) == "hello world"

# To get the tokeniser corresponding to a specific model in the OpenAI API:
enc = tiktoken.encoding_for_model("gpt-4o")
```

Guía de contribución

Abrir la guía de contribución

Evaluación

Este issue todavía no se ha evaluado.

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.