[Feature]: Multiple ollama instances on single host support

Đang mở
#77 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
52/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
go, ollama
Lĩnh vực
ai, backend

Hướng nghiên cứu

Bắt đầu với các điểm vào của routing và scheduling dùng để phát hiện và expose các Ollama instance. Theo dõi cách Ollama endpoint và configuration của một node được biểu diễn, sau đó xác định xem hai instance nên được expose dưới dạng các node riêng biệt hay dưới dạng các endpoint trên một node. Xác thực bằng cách khởi chạy hai Ollama instance trên các port khác nhau với các GPU setting riêng biệt và xác nhận rằng cả hai đều xuất hiện trong cluster.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement
Area

Routing and scheduling

User problem

I have a system with two GPUs from different vendors, one being a nvidia GPU. I've had to setup two ollama instances locally on different ports to get this to work with different settings. I'd like to be able to expose both ollama instances to the cluster

Desired outcome

Both ollama instances show up for a node (or it appears as two nodes)

Alternatives considered

No response

Compatibility and security implications

No response

Validation approach

Launch two ollama instances on different ports, ideally with specific GPUs enabled for each

Confirmations
  • I searched existing issues for duplicates.
  • I agree to follow the Code of Conduct.
Ngôn ngữ chính
Go
Star
1.4k
Fork
250
Merge trung bình
23 giờ 27 phút
Pull request đã merge (30 ngày)
1

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của NVIDIA/Personal-AI-Router

Tất cả issue của NVIDIA/Personal-AI-Router

Issue tương tự

Thêm issue về Go

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.