abertsch72 / abertsch72/unlimiformer

Can't run the provided llama2 example

Aberta
#59 6 comentários 0 reações 1 responsável Reivindicada por @abertsch72 Ver no GitHub
Linguagem predominante
Python
Estrelas
1.1k
Forks
78
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

I got this error message while trying to run the prompt in the README file
File "python3.9/site-packages/transformers/models/llama/modeling_llama.py", line 402, in forward
kv_seq_len += past_key_value.get_usable_length(kv_seq_len, self.layer_idx)
AttributeError: 'list' object has no attribute 'get_usable_length'

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Direção de pesquisa

The error occurs in the transformers library's modeling_llama.py file at line 402. Start by checking the unlimiformer's integration with the transformers library, particularly how past_key_value is handled. Look at the example code in the README and the unlimiformer's model wrapper to see if there's a version mismatch or incorrect configuration. Running the provided example with debugging to trace the past_key_value object type will help identify the fix.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Domínio
ai, machine-learning
Tipo de issue
Bug
Dificuldade
3/5
Tempo estimado
1-2 dias
Status de atividade
Estagnada
Clareza
Razoavelmente clara
Facilidade para iniciantes
45/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.