googleapis / googleapis/python-aiplatform

Counting tokens locally

Đang mở
#5,744 0 bình luận 1 reaction 0 người được giao Xem trên GitHub
api: vertex-ai
Ngôn ngữ chính
Python
Star
905
Fork
465
Merge trung bình
1 ngày 13 giờ
Pull request đã merge (30 ngày)
44

Mô tả

I was looking at https://cloud.google.com/vertex-ai/generative-ai/docs/multimodal/get-token-count and there is a message showing that we can use local token counting (similarly to tiktoken).

"""
Important: Instead of using the countTokens API, we recommend that you use integrated tokenizer of the Vertex AI SDK for Python for getting token count. For details, see [List and count tokens](https://cloud.google.com/vertex-ai/generative-ai/docs/multimodal/list-token).
"""
When entering https://cloud.google.com/vertex-ai/generative-ai/docs/multimodal/list-token it doesn't show any examples though. I have genai lib installed and couldn't find any related methods besides the API call method.

I heard that this lib / way of counting is being deprecated too:
```
from vertexai.preview import tokenization

model_name = "gemini-1.5-flash-001"
tokenizer = tokenization.get_tokenizer_for_model(model_name)

contents = "Hello World!"
result = tokenizer.count_tokens(contents)

print(f"{result.total_tokens = :,}")
```
So, is there a way to count tokens for gemini models locally? Any examples / docs about it?

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.