abertsch72 / abertsch72/unlimiformer
Can't run the provided llama2 example
- Linguagem predominante
- Python
- Estrelas
- 1.1k
- Forks
- 78
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Descrição
I got this error message while trying to run the prompt in the README file
File "python3.9/site-packages/transformers/models/llama/modeling_llama.py", line 402, in forward
kv_seq_len += past_key_value.get_usable_length(kv_seq_len, self.layer_idx)
AttributeError: 'list' object has no attribute 'get_usable_length'
Guia de contribuição
Nenhum guia de contribuição indexado para este repositório
Direção de pesquisa
The error occurs in the transformers library's modeling_llama.py file at line 402. Start by checking the unlimiformer's integration with the transformers library, particularly how past_key_value is handled. Look at the example code in the README and the unlimiformer's model wrapper to see if there's a version mismatch or incorrect configuration. Running the provided example with debugging to trace the past_key_value object type will help identify the fix.
Escrita pelo modelo de indexação a partir do texto da issue.
Avaliação
- Domínio
- ai, machine-learning
- Tipo de issue
- Bug
- Dificuldade
- 3/5
- Tempo estimado
- 1-2 dias
- Status de atividade
- Estagnada
- Clareza
- Razoavelmente clara
- Facilidade para iniciantes
- 45/100