New Container: vLLM

What is the new container you'd like to have?

A vLLM object container would serve testing and usage better.

Why not just use a generic container for this?

The Ollama object is not maintained against Ollama, which causes several issues:

1. Performance: Ollama performs poorly with batch sizes of 50+ requests.
2. Functionality: The new "search functionality" in Ollama requires ollama keys, which are not supported in the current object.
3. Coverage & Quality: Ollama’s coverage and performance are lower compared to vLLM.

Why vLLM?

The vLLM object allows development and testing in a highly configurable, programmatic way, improving the overall testing experience.

Other references

Xem xét đối tượng Ollama hiện có và cách tổ chức các đối tượng container hiện tại của repository làm điểm bắt đầu. Công việc được xem là hoàn thành khi cung cấp một đối tượng vLLM có thể cấu hình và sử dụng theo chương trình, phù hợp để kiểm thử, đồng thời xử lý các vấn đề về độ bao phủ và hiệu năng được mô tả trong issue.