Distributed Inference

For LLama.cpp, distributed inference work great.
I am using it right now into my program.

Now, if not implemented, it would be cool to add it to llama-cpp-python.
Right now, I am full command line.

Thanks in advance.
Best regards.
Benjamin.

該 issue 提到了 llama.cpp 的分散式推論功能。首先，檢查 llama.cpp 原始碼，了解其分散式推論實作。接著，檢視 llama-cpp-python 中現有的 Python bindings，以了解如何公開此功能。這項工作涉及 C/C++ 互通性，且可能需要修改 Python API。未提供明確的「done」定義。

由索引模型根據 Issue 內容生成。