googleapis / googleapis/python-aiplatform
Vertex AI Experiments UI won't show params if using Provisioned Throughput
- Langage dominant
- Python
- Étoiles
- 905
- Forks
- 465
- Merge moyen
- 1 j 13 h
- PR mergées (30 j)
- 44
Description
When using a `Callable[[str], str]]]` type for the `model` of `EvalTask.evaluate` no params there isn't a way to supply the parameters used and subsequently, have them displayed on the Vertex AI Experiments UI on the Google Cloud Console.
🚩 **This is particularly problematic for customers using Provision Throughput and adopting the `genai` sdk as per the examples.**
Eg: This displays params
```
model = GenerativeModel(
"gemini-2.0-flash",
generation_config={"temperature": 0.6, "max_output_tokens": 256, "top_k": 1},
)
...
rouge_result = rouge_eval_task.evaluate(
model=model,
prompt_template="# System_prompt\n{system_prompt} # Question\n{question}",
)
```

However, if you adapt the `genai` PT example, there is no way to set the params for `EvalTask`
```
client = genai.Client(
http_options=HttpOptions(
...
def use_genai_sdk(prompt: str) -> str:
response = client.models.generate_content(
model="gemini-2.0-flash-001",
contents=prompt,
config={
"temperature": 0.9,
}
)
return response.text
rouge_result = rouge_eval_task.evaluate(
model=use_genai_sdk,
prompt_template="# System_prompt\n{system_prompt} # Question\n{question}",
)
```
And therefore, the Vertex AI Experiments UI is less valuable:

https://github.com/googleapis/python-aiplatform/blob/43ebe9793d8dd5a96c59111f93c122413b3e9030/vertexai/evaluation/eval_task.py#L523
Guide de contribution
Ouvrir le guide de contribution
Piste de recherche
Commencez dans vertexai/evaluation/eval_task.py, autour de l’implémentation liée de EvalTask.evaluate, en vous concentrant sur le chemin callable-model et sur la manière dont les paramètres d’évaluation sont enregistrés. Suivez le flux existant d’affichage des paramètres et identifiez les tests concernés avant d’effectuer la modification. La tâche est terminée lorsque les paramètres fournis par le chemin callable de genai sont disponibles dans la Vertex AI Experiments UI.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Stack technique
- python
- Domaine
- ai, machine-learning
- Type d'issue
- Fonctionnalité
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Activité
- À l'abandon
- Clarté
- Plutôt claire
- Accessibilité débutants
- 45/100