Distributed Inference

For LLama.cpp, distributed inference work great.
I am using it right now into my program.

Now, if not implemented, it would be cool to add it to llama-cpp-python.
Right now, I am full command line.

Thanks in advance.
Best regards.
Benjamin.

Issue では llama.cpp の分散推論機能について言及されています。まず、llama.cpp のソースを調べて、分散推論の実装を確認してください。次に、llama-cpp-python に既存の Python バインディングを確認し、この機能をどのように公開するかを理解してください。この作業には C/C++ 相互運用が含まれ、おそらく Python API の変更が必要になります。「done」の明確な定義は提供されていません。

索引モデルが issue の本文から書いたものです。