Distributed Inference

For LLama.cpp, distributed inference work great.
I am using it right now into my program.

Now, if not implemented, it would be cool to add it to llama-cpp-python.
Right now, I am full command line.

Thanks in advance.
Best regards.
Benjamin.

Issue đề cập đến tính năng suy luận phân tán của llama.cpp. Trước tiên, hãy xem xét mã nguồn llama.cpp để tìm hiểu việc triển khai suy luận phân tán của nó. Sau đó, xem xét các Python bindings hiện có trong llama-cpp-python để hiểu cách expose tính năng này. Công việc này liên quan đến khả năng tương tác C/C++ và có thể sẽ cần sửa đổi Python API. Không có định nghĩa rõ ràng về “done”.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.