googleapis / googleapis/google-cloud-java

Support Custom Endpoint from Vertex AI Model Garden

未关闭
#11,722 2 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
priority: p3 type: feature request
主要语言
Java
星标
2.1k
派生
1.2k
平均合并
1 天 23 小时
30 天内合并 PR
157

描述

I am trying to build a sample app that use Gemma3 custom model deployed on Vertex AI Model Garden.
The SDK seems does not provide a way to define custom endpoints like :
https://{endpointId}.{location}-{projectId}.prediction.vertexai.goog/v1/projects/{projectId}/locations/{location}/models/endpoints/{endpointId}:generateContent

When I try to use endpoint , the SDK will always include publishers/google in the URL which cause the app to fail with 404 UNIMPLEMENTED error.
wrong URL : https://{endpointId}.{location}-{projectId}.prediction.vertexai.goog/v1/projects/{projectId}/locations/{location}/**publishers/google/**models/endpoints/{endpointId}:generateContent

here is my code.
same issue occurs when using PredictionServiceClient.
`String endpoint = String.format("%s.%s-%s.prediction.vertexai.goog:443", endpointId, location,projectId);

VertexAI vertexAi = new VertexAI.Builder()
.setProjectId(projectId)
.setLocation(location)
.setTransport(Transport.REST)
.setApiEndpoint(endpoint)
.build();

GenerativeModel model = new GenerativeModel("endpoints/7871795169387872256", vertexAi);`

贡献指南

打开贡献指南

调研方向

首先以报告中的端点格式作为复现案例,跟踪 VertexAI.Builder、GenerativeModel 和 PredictionServiceClient 对自定义端点的处理。完成的标准是:可以使用自定义的 Vertex AI Model Garden 端点,而 SDK 不再添加 publishers/google,且请求不再返回 404 UNIMPLEMENTED。

由索引模型根据 Issue 内容生成。

评估

技术栈
gcp, google-cloud, java
领域
ai, api, cloud
Issue 类型
功能
难度
4/5
预计耗时
3-5 天
活跃度
停滞
描述清晰度
基本清楚
新手友好度
38/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。