googleapis / googleapis/python-aiplatform

tests.system.vertexai.test_tokenization.TestTokenization: many tests failed

Đang mở
#6,672 6 bình luận 0 reaction 0 người được giao Xem trên GitHub
api: vertex-ai flakybot: issue priority: p1 type: bug
Ngôn ngữ chính
Python
Star
905
Fork
465
Merge trung bình
1 ngày 13 giờ
Pull request đã merge (30 ngày)
44

Mô tả

Many tests failed at the same time in this package.

* I will close this issue when there are no more failures in this package _and_
there is at least one pass.
* No new issues will be filed for this package until this issue is closed.
* If there are already issues for individual test cases, I will close them when
the corresponding test passes. You can close them earlier, if you prefer, and
I won't reopen them while this issue is still open.

Here are the tests that failed:
* test_count_tokens_local[_get_tokenizer_for_model_preview-gemini-1.5-pro-002-udhr-udhr-PROD_ENDPOINT]
* test_count_tokens_local[get_tokenizer_for_model-gemini-1.5-pro-002-udhr-udhr-PROD_ENDPOINT]
* test_compute_tokens[_get_tokenizer_for_model_preview-gemini-1.5-pro-002-udhr-udhr-PROD_ENDPOINT]
* test_compute_tokens[get_tokenizer_for_model-gemini-1.5-pro-002-udhr-udhr-PROD_ENDPOINT]
* test_count_tokens_system_instruction[gemini-1.5-pro-002-PROD_ENDPOINT]
* test_count_tokens_system_instruction_is_function_call[gemini-1.5-pro-002-PROD_ENDPOINT]
* test_count_tokens_system_instruction_is_function_response[gemini-1.5-pro-002-PROD_ENDPOINT]
* test_count_tokens_tool_is_function_declaration[gemini-1.5-pro-002-PROD_ENDPOINT]
* test_count_tokens_content_is_function_call[gemini-1.5-pro-002-PROD_ENDPOINT]
* test_count_tokens_content_is_function_response[gemini-1.5-pro-002-PROD_ENDPOINT]

-----
commit: ca6b45e3fa09bfa53c2f2c1b1d44f9a3c7aa79d7
buildURL: [Build Status](https://source.cloud.google.com/results/invocations/f6fde6a0-bd74-4ea9-b7b7-c2c539a82eab), [Sponge](http://sponge2/f6fde6a0-bd74-4ea9-b7b7-c2c539a82eab)
status: failed

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Start by running tests.system.vertexai.test_tokenization.TestTokenization and inspect the listed failures for gemini-1.5-pro-002 against PROD_ENDPOINT. Trace the tokenization behavior for local counts, computed tokens, system instructions, tools, and function calls or responses. Done means the package has no remaining failures and at least one test passes.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
google-cloud, python
Lĩnh vực
ai, testing-qa
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.