Distributed Inference

For LLama.cpp, distributed inference work great.
I am using it right now into my program.

Now, if not implemented, it would be cool to add it to llama-cpp-python.
Right now, I am full command line.

Thanks in advance.
Best regards.
Benjamin.

该 issue 提到了 llama.cpp 的分布式推理功能。首先，检查 llama.cpp 源代码，了解其分布式推理实现。然后，查看 llama-cpp-python 中现有的 Python 绑定，以了解如何公开此功能。这项工作涉及 C/C++ 互操作，并且可能需要修改 Python API。没有提供明确的“done”定义。

由索引模型根据 Issue 内容生成。