abertsch72 / abertsch72/unlimiformer

Can't run the provided llama2 example

未關閉
#59 6 則留言 0 個 reaction 已指派 1 人 已被 @abertsch72 認領 在 GitHub 檢視
主要語言
Python
星號
1.1k
分支
78
PR 合併指標
30 天內沒有已合併 PR

描述

I got this error message while trying to run the prompt in the README file
File "python3.9/site-packages/transformers/models/llama/modeling_llama.py", line 402, in forward
kv_seq_len += past_key_value.get_usable_length(kv_seq_len, self.layer_idx)
AttributeError: 'list' object has no attribute 'get_usable_length'

貢獻指南

這個儲存庫沒有索引到貢獻指南

研究方向

The error occurs in the transformers library's modeling_llama.py file at line 402. Start by checking the unlimiformer's integration with the transformers library, particularly how past_key_value is handled. Look at the example code in the README and the unlimiformer's model wrapper to see if there's a version mismatch or incorrect configuration. Running the provided example with debugging to trace the past_key_value object type will help identify the fix.

由索引模型根據 Issue 內容生成。

評估

領域
ai, machine-learning
Issue 類型
缺陷
難度
3/5
預估耗時
1-2 天
活躍度
停滯
描述清晰度
基本清楚
新手友好度
45/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。