googleapis / googleapis/python-aiplatform

Question about Vertex AI EvalTask Judge Model

Đang mở
#6,042 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
api: vertex-ai
Ngôn ngữ chính
Python
Star
905
Fork
465
Merge trung bình
1 ngày 13 giờ
Pull request đã merge (30 ngày)
44

Mô tả

Hi, I am using the Vertex AI Gen AI Evaluation SDK, specifically the EvalTask for evaluating model responses. I see that the judge model for evaluation is typically a Vertex AI hosted Gemini model, and you can customize it by tuning a Gemini model using the SDK. (https://cloud.google.com/vertex-ai/generative-ai/docs/models/configure-judge-model )

My question is:
Is it possible to replace the judge model with an external model served outside of Vertex AI, such as a custom REST API endpoint (for example, a Databricks serving endpoint or any other external model API)? In other words, can the judge model in EvalTask be configured to call an external model API instead of a Vertex AI managed model?

If not supported, are there any recommended ways or workarounds to integrate external judge models into the Vertex AI evaluation workflow?

Thank you very much for any guidance!

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Start with the Vertex AI EvalTask documentation and the linked configure-judge-model guide. Check how EvalTask accepts judge models and whether an external REST endpoint is supported, then identify the documented integration path or workaround. Done means the supported options and any external-model limitation are clearly documented.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
google-cloud, python
Lĩnh vực
cloud, machine-learning
Loại issue
Tính năng
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
25/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.