abetlen / abetlen/llama-cpp-python

UnsupportedOperation: fileno in Llava15ChatHandler

Ouverte
#1,041 2 commentaires 0 réactions 0 personnes assignées Voir sur GitHub
bug
Langage dominant
Python
Étoiles
10.6k
Forks
1.4k
Métriques de merge des PR
Métriques de PR en attente

Description

llama-cpp-python version 0.2.25 | build with cublas -> Nvidia T4

Tested with llava model: https://huggingface.co/mys/ggml_llava-v1.5-13b

```python
chat_handler = Llava15ChatHandler(clip_model_path = "./llava-ggml-model-mmproj-model.gguf")
```
```console
UnsupportedOperation Traceback (most recent call last)
in
----> 1 chat_handler = Llava15ChatHandler(clip_model_path = "./llava-ggml-model-mmproj-model.gguf")

/opt/conda/lib/python3.8/site-packages/llama_cpp/llama_chat_format.py in __init__(self, clip_model_path, verbose)
1069 self._clip_free = self._llava_cpp._libllava.clip_free # type: ignore
1070
-> 1071 with suppress_stdout_stderr(disable=self.verbose):
1072 self.clip_ctx = self._llava_cpp.clip_model_load(
1073 self.clip_model_path.encode(), 0

/opt/conda/lib/python3.8/site-packages/llama_cpp/_utils.py in __enter__(self)
25 self.errnull_file = self.open(self.os.devnull, "w")
26
---> 27 self.old_stdout_fileno_undup = self.sys.stdout.fileno()
28 self.old_stderr_fileno_undup = self.sys.stderr.fileno()
29

UnsupportedOperation: fileno
```

Guide de contribution

Ouvrir le guide de contribution

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.