a16z-infra / a16z-infra/llama2-chatbot
It seems that, "Assistant: " will be appended to the end of prompt twice?
- Langage dominant
- Python
- Étoiles
- 1.4k
- Forks
- 219
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
https://github.com/a16z-infra/llama2-chatbot/blob/main/llama2_chatbot.py#L169C1-L170C1
output = debounce_replicate_run(st.session_state['llm'], string_dialogue + **"Assistant: "**, st.session_state['max_seq_len'], st.session_state['temperature'], st.session_state['top_p'], REPLICATE_API_TOKEN)
https://github.com/a16z-infra/llama2-chatbot/blob/main/utils.py#L27
output = replicate.run(llm, input={"prompt": prompt + **"Assistant: "**, "max_length": max_len, "temperature": temperature, "top_p": top_p, "repetition_penalty": 1}, api_token=API_TOKEN)
It seems that, "Assistant: " will be appended to the end of prompt twice?
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Vérifiez les lignes 169-170 de llama2_chatbot.py et la ligne 27 de utils.py pour voir si 'Assistant: ' est ajouté deux fois lors de la construction du prompt. Exécutez le chatbot pour vérifier la duplication, puis déterminez quelle ligne doit conserver le suffixe. Testez en modifiant un fichier et en observant la sortie.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Domaine
- backend
- Type d'issue
- Bug
- Difficulté
- 2/5
- Temps estimé
- 1-3 heures
- Activité
- À l'abandon
- Clarté
- Clairement spécifiée
- Accessibilité débutants
- 70/100