abetlen / abetlen/llama-cpp-python

Support for conversion and quantization scripts from llama.ccp

Đang mở
#1,074 1 bình luận 0 reaction 0 người được giao Xem trên GitHub
enhancement
Ngôn ngữ chính
Python
Star
10.6k
Fork
1.4k
Chỉ số merge pull request
Chỉ số pull request đang chờ

Mô tả

**Is your feature request related to a problem? Please describe.**

This is more a question. I'm using llama.cpp to convert a pytorch model and quantize it and this requires access to the `convert.py` and `quantize` files in the original llama.cpp repo. I could use git-submodules for that but it would be nice to simply add a dependency to my project and have access to this functionality. Is this somehow available to the current setup of this lib ?

**Describe the solution you'd like**
Copying the aforementioned scripts to the installed location of this lib.

**Describe alternatives you've considered**

Using git-submodules.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.