0xPlaygrounds / 0xPlaygrounds/rig

Update Ollama implementation

Aperta
#2,156 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
bug
Lingua principale
Rust
Stelle
8.6k
Fork
959
Merge medio
4h 32m
PR unite (30g)
117

Descrizione

Currently we treat the Ollama native API as if it was the OpenAI compatible API. We should distinguish and gives users the option between switching between the Ollama native, OpenAI, or Anthropic compatible APIs.

Inspired by this message from Erik Tews: There is one thing that is a bit surprising for me. Rig has a OllamaCompletionRequest with a max_tokens element, but apparently in Ollama there is no such option in the API: https://github.com/ollama/ollama/blob/main/docs/api.md

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Look at the current Ollama implementation in the codebase, likely in a module handling API clients. Compare the existing request struct (OllamaCompletionRequest) with the official Ollama API documentation linked in the issue. Identify where API differentiation logic should be added and how to expose the choice between native, OpenAI-compatible, and Anthropic-compatible modes to users. Check for existing tests around API clients to understand the testing pattern.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
ollama, rust
Ambito
backend-api-design
Tipo di issue
Funzionalità
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Tranquilla
Chiarezza
Specificata chiaramente
Idoneità per principianti
65/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.