abetlen / abetlen/llama-cpp-python

Llama 4 not working

未关闭 适合新手
#1,994 8 条评论 9 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Python
星标
10.6k
派生
1.4k
平均合并
5 小时 23 分钟
30 天内合并 PR
5

描述

llama_model_load: error loading model: error loading model architecture: unknown model architecture: 'llama4'
llama_model_load_from_file_impl: failed to load model

Please update to a newer version of llama.cpp:

https://github.com/ggml-org/llama.cpp/releases/tag/b5074

贡献指南

打开贡献指南

调研方向

该 issue 表明 llama.cpp 需要更新以支持 'llama4' 架构。检查 llama-cpp-python bindings 所链接或嵌入的 llama.cpp 版本。查看 setup.py 或任何版本固定文件。将 submodule 或 dependency 引用更新到指定的 release (b5074) 或更高版本,然后重新构建并测试 bindings。当模型加载时不再出现未知架构错误时,工作就完成了。

由索引模型根据 Issue 内容生成。

评估

技术栈
c, python
领域
ai-infra-agents, backend
Issue 类型
缺陷
难度
2/5
预计耗时
1-3 小时
活跃度
停滞
描述清晰度
描述清楚
新手友好度
65/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。