googleapis / googleapis/python-aiplatform

Vertex AI Experiments UI won't show params if using Provisioned Throughput

オープン
#5,085 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
api: vertex-ai type: feature request
主要言語
Python
スター
905
フォーク
465
平均マージ
1日 13時間
マージ済み PR(30日)
44

説明

When using a `Callable[[str], str]]]` type for the `model` of `EvalTask.evaluate` no params there isn't a way to supply the parameters used and subsequently, have them displayed on the Vertex AI Experiments UI on the Google Cloud Console.

🚩 **This is particularly problematic for customers using Provision Throughput and adopting the `genai` sdk as per the examples.**

Eg: This displays params

```
model = GenerativeModel(
"gemini-2.0-flash",
generation_config={"temperature": 0.6, "max_output_tokens": 256, "top_k": 1},

)
...
rouge_result = rouge_eval_task.evaluate(
model=model,
prompt_template="# System_prompt\n{system_prompt} # Question\n{question}",
)
```
![Image](https://github.com/user-attachments/assets/55be6543-5dde-41b1-8333-5e52928160d3)

However, if you adapt the `genai` PT example, there is no way to set the params for `EvalTask`
```
client = genai.Client(
http_options=HttpOptions(
...

def use_genai_sdk(prompt: str) -> str:
response = client.models.generate_content(
model="gemini-2.0-flash-001",
contents=prompt,
config={
"temperature": 0.9,
}
)
return response.text

rouge_result = rouge_eval_task.evaluate(
model=use_genai_sdk,
prompt_template="# System_prompt\n{system_prompt} # Question\n{question}",
)
```
And therefore, the Vertex AI Experiments UI is less valuable:

![Image](https://github.com/user-attachments/assets/d4ebb8fe-3e19-4b48-a82f-fbd2269757b0)

https://github.com/googleapis/python-aiplatform/blob/43ebe9793d8dd5a96c59111f93c122413b3e9030/vertexai/evaluation/eval_task.py#L523

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

リンクされている EvalTask.evaluate の実装付近にある vertexai/evaluation/eval_task.py から始め、callable-model パスと評価パラメータの記録方法に注目してください。既存のパラメータ表示フローを追跡し、変更を加える前に関連するテストを特定してください。genai callable パスから提供されたパラメータが Vertex AI Experiments UI で利用できるようになれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python
領域
ai, machine-learning
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。