a16z-infra / a16z-infra/llama2-chatbot

It seems that, "Assistant: " will be appended to the end of prompt twice?

Ouverte Adaptée aux débutants
#29 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Python
Étoiles
1.4k
Forks
219
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

https://github.com/a16z-infra/llama2-chatbot/blob/main/llama2_chatbot.py#L169C1-L170C1

output = debounce_replicate_run(st.session_state['llm'], string_dialogue + **"Assistant: "**, st.session_state['max_seq_len'], st.session_state['temperature'], st.session_state['top_p'], REPLICATE_API_TOKEN)

https://github.com/a16z-infra/llama2-chatbot/blob/main/utils.py#L27

output = replicate.run(llm, input={"prompt": prompt + **"Assistant: "**, "max_length": max_len, "temperature": temperature, "top_p": top_p, "repetition_penalty": 1}, api_token=API_TOKEN)

It seems that, "Assistant: " will be appended to the end of prompt twice?

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Vérifiez les lignes 169-170 de llama2_chatbot.py et la ligne 27 de utils.py pour voir si 'Assistant: ' est ajouté deux fois lors de la construction du prompt. Exécutez le chatbot pour vérifier la duplication, puis déterminez quelle ligne doit conserver le suffixe. Testez en modifiant un fichier et en observant la sortie.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Domaine
backend
Type d'issue
Bug
Difficulté
2/5
Temps estimé
1-3 heures
Activité
À l'abandon
Clarté
Clairement spécifiée
Accessibilité débutants
70/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.