InternLM / InternLM/Tutorial

关于训练后的模型文件结构以及使用方式上的疑惑

Aberta
#439 6 comentários 0 reações 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

Linguagem predominante
Python
Estrelas
2k
Forks
1.5k
Métricas de merge de PRs
Nenhum PR com merge em 30d

Descrição

![image](https://github.com/InternLM/tutorial/assets/100982130/6520bcc0-73a7-4e75-9df9-d541ebe7fa46)
以上为我qlora之后得到的lora文件以及合并后的文件结构,以下为原始qwen-1.8b-chat文件结构,两者并不完全一致。
![image](https://github.com/InternLM/tutorial/assets/100982130/a3e8ff2e-707a-49c9-869d-6c9195fe82b7)
由于qwen在modelscope上对chat模型做了特殊的问答代码处理,比如chat模型可以以history保存对话记录,如果我们的模型结构不一致,并且少了部分文件,是否可以用同样的代码调用训练好的模型呢?

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Direção de pesquisa

Revise as duas estruturas de diretórios anexadas e o caminho de carregamento do QLoRA e do modelo mesclado usado no tutorial. Compare-os com o uso original de qwen-1.8b-chat e seu tratamento do histórico e documente se o modelo treinado pode usar o mesmo código de chamada e quais diferenças de carregamento ou arquivos necessários precisam ser considerados.

Escrita pelo modelo de indexação a partir do texto da issue.

Avaliação

Stack de tecnologia
python
Domínio
ai, machine-learning
Tipo de issue
Documentação
Dificuldade
3/5
Tempo estimado
1-2 dias
Status de atividade
Estagnada
Clareza
Precisa de esclarecimento
Facilidade para iniciantes
25/100

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.