googleapis / googleapis/python-aiplatform
Vertex AI Experiments UI won't show params if using Provisioned Throughput
- Lenguaje dominante
- Python
- Estrellas
- 905
- Forks
- 465
- Merge medio
- 1 d 13 h
- PR fusionados (30 d)
- 44
Descripción
When using a `Callable[[str], str]]]` type for the `model` of `EvalTask.evaluate` no params there isn't a way to supply the parameters used and subsequently, have them displayed on the Vertex AI Experiments UI on the Google Cloud Console.
🚩 **This is particularly problematic for customers using Provision Throughput and adopting the `genai` sdk as per the examples.**
Eg: This displays params
```
model = GenerativeModel(
"gemini-2.0-flash",
generation_config={"temperature": 0.6, "max_output_tokens": 256, "top_k": 1},
)
...
rouge_result = rouge_eval_task.evaluate(
model=model,
prompt_template="# System_prompt\n{system_prompt} # Question\n{question}",
)
```

However, if you adapt the `genai` PT example, there is no way to set the params for `EvalTask`
```
client = genai.Client(
http_options=HttpOptions(
...
def use_genai_sdk(prompt: str) -> str:
response = client.models.generate_content(
model="gemini-2.0-flash-001",
contents=prompt,
config={
"temperature": 0.9,
}
)
return response.text
rouge_result = rouge_eval_task.evaluate(
model=use_genai_sdk,
prompt_template="# System_prompt\n{system_prompt} # Question\n{question}",
)
```
And therefore, the Vertex AI Experiments UI is less valuable:

https://github.com/googleapis/python-aiplatform/blob/43ebe9793d8dd5a96c59111f93c122413b3e9030/vertexai/evaluation/eval_task.py#L523
Guía de contribución
Línea de trabajo
Empieza en vertexai/evaluation/eval_task.py, alrededor de la implementación enlazada de EvalTask.evaluate, centrándote en la ruta de callable-model y en cómo se registran los parámetros de evaluación. Sigue el flujo existente de visualización de parámetros e identifica las pruebas relevantes antes de realizar el cambio. Se considera terminado cuando los parámetros proporcionados por la ruta callable de genai están disponibles en la Vertex AI Experiments UI.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- python
- Área
- ai, machine-learning
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Estado de actividad
- Estancado
- Claridad
- Bastante claro
- Aptitud para principiantes
- 45/100