spinframework / spinframework/spin-python-sdk

examples(spin-llm): updates needed?

Aperta
#135 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Lingua principale
Python
Stelle
48
Fork
15
Merge medio
2g 23h
PR unite (30g)
1

Descrizione

As of https://github.com/spinframework/spin-python-sdk/pull/132, it is unclear if the spin-llm example requires updates. An attempt was made to test the updated example but the following was encountered:

With the following ai-model structure:

         .spin/ai-models/
         └── sentence-transformers
             └── all-minilm-l6-v2
                 ├── model.safetensors
                 └── tokenizer.json

When handling a request, the app produces this error:

Traceback (most recent call last):
  File "/1/spin_sdk/http/__init__.py", line 86, in handle
  File "/0/app.py", line 6, in handle_request
  File "/1/spin_sdk/llm.py", line 55, in infer
  File "/1/spin_sdk/llm.py", line 45, in infer_with_options
  File "/1/spin_sdk/wit/imports/fermyon_spin_llm_2_0_0.py", line 93, in infer
componentize_py_types.Err: Error_ModelNotSupported()

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Direzione di ricerca

Esamina examples/spin-llm e il gestore delle richieste in app.py, quindi riproduci il problema con la struttura .spin/ai-models mostrata. Traccia il percorso di inferenza attraverso spin_sdk/llm.py e verifica se è necessario aggiornare l’esempio o la disposizione del modello; il lavoro è completato quando viene identificata la modifica necessaria e l’esempio gestisce un modello supportato senza Error_ModelNotSupported.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
machine-learning
Tipo di issue
Bug
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Tranquilla
Chiarezza
Da chiarire
Idoneità per principianti
45/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.