googleapis / googleapis/python-aiplatform

Vertex AI Experiments UI won't show params if using Provisioned Throughput

Abierto
#5,085 0 comentarios 0 reacciones 0 asignados Ver en GitHub
api: vertex-ai type: feature request
Lenguaje dominante
Python
Estrellas
905
Forks
465
Merge medio
1 d 13 h
PR fusionados (30 d)
44

Descripción

When using a `Callable[[str], str]]]` type for the `model` of `EvalTask.evaluate` no params there isn't a way to supply the parameters used and subsequently, have them displayed on the Vertex AI Experiments UI on the Google Cloud Console.

🚩 **This is particularly problematic for customers using Provision Throughput and adopting the `genai` sdk as per the examples.**

Eg: This displays params

```
model = GenerativeModel(
"gemini-2.0-flash",
generation_config={"temperature": 0.6, "max_output_tokens": 256, "top_k": 1},

)
...
rouge_result = rouge_eval_task.evaluate(
model=model,
prompt_template="# System_prompt\n{system_prompt} # Question\n{question}",
)
```
![Image](https://github.com/user-attachments/assets/55be6543-5dde-41b1-8333-5e52928160d3)

However, if you adapt the `genai` PT example, there is no way to set the params for `EvalTask`
```
client = genai.Client(
http_options=HttpOptions(
...

def use_genai_sdk(prompt: str) -> str:
response = client.models.generate_content(
model="gemini-2.0-flash-001",
contents=prompt,
config={
"temperature": 0.9,
}
)
return response.text

rouge_result = rouge_eval_task.evaluate(
model=use_genai_sdk,
prompt_template="# System_prompt\n{system_prompt} # Question\n{question}",
)
```
And therefore, the Vertex AI Experiments UI is less valuable:

![Image](https://github.com/user-attachments/assets/d4ebb8fe-3e19-4b48-a82f-fbd2269757b0)

https://github.com/googleapis/python-aiplatform/blob/43ebe9793d8dd5a96c59111f93c122413b3e9030/vertexai/evaluation/eval_task.py#L523

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Empieza en vertexai/evaluation/eval_task.py, alrededor de la implementación enlazada de EvalTask.evaluate, centrándote en la ruta de callable-model y en cómo se registran los parámetros de evaluación. Sigue el flujo existente de visualización de parámetros e identifica las pruebas relevantes antes de realizar el cambio. Se considera terminado cuando los parámetros proporcionados por la ruta callable de genai están disponibles en la Vertex AI Experiments UI.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
python
Área
ai, machine-learning
Tipo de issue
Nueva funcionalidad
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Estancado
Claridad
Bastante claro
Aptitud para principiantes
45/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.