Astrodevil / Astrodevil/ADK-Agent-Examples

Chat template is passed

未关闭
#6 0 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Jupyter Notebook
星标
47
派生
9
PR 合并指标
30 天内没有已合并 PR

描述

when running Multi-tool-search agent,

Error code: 400 - {'detail': 'Invalid request. Please check the parameters and try again. Details: Chat template is passed with request, but
--trust-request-chat-template is not set. Refused request with untrusted chat template.'}

Investigation:
We intercepted the actual HTTP request being sent and confirmed that NO chat_template parameter is present in the request body. The request only contains:
{
"messages": [{"role": "user", "content": "..."}],
"model": "meta-llama/Meta-Llama-3.1-8B-Instruct"
}

Environment

- LiteLLM version: 1.80.0
- Google ADK (Agent Development Kit)
- Nebius API Base: https://api.studio.nebius.ai/v1
- Models tested:
- meta-llama/Meta-Llama-3.1-8B-Instruct
- meta-llama/Meta-Llama-3.1-8B-Instruct-fast

贡献指南

这个仓库没有索引到贡献指南

调研方向

首先,使用 LiteLLM 1.80.0、Google ADK 以及列出的 Nebius 模型,重现 Multi-tool-search agent 请求。检查拦截到的 HTTP 请求和 chat-template 配置,以确定为什么服务在没有任何 template 的情况下仍报告存在不受信任的 template。请求被接受且 agent 能够使用测试的两个模型正常工作,即视为完成。

由索引模型根据 Issue 内容生成。

评估

技术栈
jupyter-notebook
领域
ai, api
Issue 类型
缺陷
难度
3/5
预计耗时
1-2 天
活跃度
停滞
描述清晰度
需要澄清
新手友好度
35/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。