intitni / intitni/CustomSuggestionServiceForCopilotForXcode
Using Qwen2.5-Coder with LM Studio
Nessuno ha ancora preso questa issue.
- Lingua principale
- Swift
- Stelle
- 88
- Fork
- 12
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
I am trying to setup code completion with the Qwen2.5-Coder models. I have tested different model versions and different settings for "Request Strategy" but it is not working well. Either the configuration is not compatible with LM Studio or otherwise the model responds with `` or `` most times. So the model tries to use format tags.
The best configuration for Qwen would be the "Naive" setting as the models are trained for this situation.
source: https://github.com/QwenLM/Qwen2.5-Coder?tab=readme-ov-file#1-basic-usage
However it is not working because LM Studio doesn't accept an empty system prompt like this:
```
{
"role": "system",
"content": ""
},
```
Maybe there could be a new option added to set a custom system prompt or to remove this empty message.
The Qwen2.5-Coder models are also trained for fill in the middle. This is the prompt format:
```
prompt = '<|fim_prefix|>' + prefix_code + '<|fim_suffix|>' + suffix_code + '<|fim_middle|>'
```
source: https://github.com/QwenLM/Qwen2.5-Coder?tab=readme-ov-file#3-file-level-code-completion-fill-in-the-middle
I did put the following in the 'FIM Template' text field but I am still getting responses like ``.
```
<|fim_prefix|> {prefix} <|fim_suffix|> {suffix} <|fim_middle|>
```
Maybe there is a conflict with the given system prompt which instructs to use other strings. The fill in the middle setting without system prompt is not working for the same reason as the "Naive" setting.
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Direzione di ricerca
Inizia tracciando il modo in cui l’app Swift gestisce Request Strategy, il FIM Template e i system messages; il payload non indica alcun file né test. Confronta i percorsi delle richieste Naive e FIM con il vincolo di LM Studio relativo agli empty system messages, e considera completato il comportamento richiesto per la configurazione del prompt quando le richieste di Qwen2.5-Coder non producono più format tags.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- swift
- Ambito
- ai, developer-experience
- Tipo di issue
- Funzionalità
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Stato di attività
- Ferma
- Chiarezza
- Abbastanza chiara
- Idoneità per principianti
- 35/100