googleapis / googleapis/python-aiplatform

tests.system.vertexai.test_tokenization.TestTokenization: many tests failed

Đang mở
#6,627 11 bình luận 0 reaction 0 người được giao Xem trên GitHub
api: vertex-ai flakybot: issue priority: p1 type: bug
Ngôn ngữ chính
Python
Star
905
Fork
465
Merge trung bình
1 ngày 13 giờ
Pull request đã merge (30 ngày)
44

Mô tả

Many tests failed at the same time in this package.

* I will close this issue when there are no more failures in this package _and_
there is at least one pass.
* No new issues will be filed for this package until this issue is closed.
* If there are already issues for individual test cases, I will close them when
the corresponding test passes. You can close them earlier, if you prefer, and
I won't reopen them while this issue is still open.

Here are the tests that failed:
* test_count_tokens_local[_get_tokenizer_for_model_preview-gemini-1.5-pro-002-udhr-udhr-PROD_ENDPOINT] (#4624)
* test_count_tokens_local[get_tokenizer_for_model-gemini-1.5-pro-002-udhr-udhr-PROD_ENDPOINT]
* test_compute_tokens[_get_tokenizer_for_model_preview-gemini-1.5-pro-002-udhr-udhr-PROD_ENDPOINT]
* test_compute_tokens[get_tokenizer_for_model-gemini-1.5-pro-002-udhr-udhr-PROD_ENDPOINT] (#4625)
* test_count_tokens_system_instruction[gemini-1.5-pro-002-PROD_ENDPOINT]
* test_count_tokens_system_instruction_is_function_call[gemini-1.5-pro-002-PROD_ENDPOINT]
* test_count_tokens_system_instruction_is_function_response[gemini-1.5-pro-002-PROD_ENDPOINT]
* test_count_tokens_tool_is_function_declaration[gemini-1.5-pro-002-PROD_ENDPOINT]
* test_count_tokens_content_is_function_call[gemini-1.5-pro-002-PROD_ENDPOINT]
* test_count_tokens_content_is_function_response[gemini-1.5-pro-002-PROD_ENDPOINT]

-----
commit: ac5a5e4dd07890d07a553218d42040a6136fbb41
buildURL: [Build Status](https://source.cloud.google.com/results/invocations/0826b007-d9af-4e60-8584-d03c9cac927a), [Sponge](http://sponge2/0826b007-d9af-4e60-8584-d03c9cac927a)
status: failed

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Start with tests.system.vertexai.test_tokenization.TestTokenization and reproduce the listed failures at commit ac5a5e4dd07890d07a553218d42040a6136fbb41. Review the failed tokenization cases for gemini-1.5-pro-002, including system instructions, function calls, function responses, and tools. Done means this package has no failures and at least one passing test.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
python
Lĩnh vực
machine-learning, testing-qa
Loại issue
Lỗi
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Ít trao đổi
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.