NVIDIA / NVIDIA/GenerativeAIExamples

Frontend app works ok with Port forwarded localhost endpoint but fails with an ingress endpoint

Đang mở
#254 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Ngôn ngữ chính
Jupyter Notebook
Star
4.2k
Fork
1.1k
Merge trung bình
10 giờ 15 phút
Pull request đã merge (30 ngày)
1

Mô tả

I am able to access the chatbot front end using port forwarded local host ep.
Now I want to expose this endpoint using Ingress. I have added an ingress to expose the chatbot’s front end using the below manifest
e125830@W76CYQCV44 nim-operator % cat cr8-rag-chatbot-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: rag-chatbot-ep
namespace: rag-sample
spec:
ingressClassName: nginx
rules:

  • host: rag-chatbot-ep.k8s-performance.stage.stl.k8s.int
    http:
    paths:
    • backend:
      service:
      name: rag-playground-multiturn-rag
      port:
      number: 3001
      path: /
      pathType: Prefix
      tls:
  • hosts:
    • rag-chatbot-ep.k8s-performance.stage.stl.k8s.int

I am able to get to the chatbot front end using the new ingress ep https://rag-chatbot-ep.k8s-performance.stage.stl.k8s.int/converse, but when I submit a prompt I get error
Below are the logs and my analysis…

Below are the logs when Chatbot is accessed via nginx ingress ep
[1] Nov 01 17:08:10 [ INFO] - uvicorn.access - 10.42.69.131:37658 - "GET /converse HTTP/1.1" 200
[1] Nov 01 17:08:10 [ INFO] - uvicorn.access - 10.42.69.131:37658 - "GET /content/converse/?__theme=light HTTP/1.1" 200
[1] Nov 01 17:08:10 [ INFO] - uvicorn.access - 10.42.69.131:37658 - "GET /assets/index-CKyT5UbA.css HTTP/1.1" 404
[1] Nov 01 17:08:10 [ INFO] - uvicorn.access - 10.42.69.131:37658 - "GET /theme.css?v=a2458843f5ddb2d155d001fdae495187847b01c05a840ddb350be829a269d776 HTTP/1.1" 404
[1] Nov 01 17:18:22 [ INFO] - uvicorn.access - 10.42.171.194:36704 - "POST /queue/join?__theme=light HTTP/1.1" 405

Below are the logs when Chatbot is accessed via port forwarded local host ep
[1] Nov 01 17:08:29 [ INFO] - uvicorn.access - 127.0.0.1:57842 - "GET /converse HTTP/1.1" 200
[1] Nov 01 17:08:29 [ INFO] - uvicorn.access - 127.0.0.1:57842 - "GET /content/converse/?__theme=light HTTP/1.1" 200
[1] Nov 01 17:08:30 [ INFO] - uvicorn.access - 127.0.0.1:57842 - "GET /assets/index-CKyT5UbA.css HTTP/1.1" 404
[1] Nov 01 17:08:30 [ INFO] - uvicorn.access - 127.0.0.1:57842 - "GET /content/converse/theme.css?v=a2458843f5ddb2d155d001fdae495187847b01c05a840ddb350be829a269d776 HTTP/1.1" 200
[1] Nov 01 17:20:12 [ INFO] - uvicorn.access - 127.0.0.1:52396 - "POST /content/converse/queue/join?__theme=light HTTP/1.1" 200
[1] Nov 01 17:20:12 [ INFO] - frontend.pages.converse - processing inference request - {'prompt': 'Testing', 'use_knowledge_base': False}
[1] Nov 01 17:20:12 [ INFO] - uvicorn.access - 127.0.0.1:52396 - "GET /content/converse/queue/data?session_hash=rdgwzvtp9w8 HTTP/1.1" 200

Main issue is the POST call is missing /content/converse in the ingress ep case

Looks like the the URL posted by the Client itself does not have them for ingress case…

Can one of you please check this and let us know what might be causing this difference in the POST URL’s when using the above endpoints…

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Hướng nghiên cứu

Bắt đầu với cr8-rag-chatbot-ingress.yaml và so sánh các đường dẫn request của ingress với các log được ghi lại qua port forwarding. Theo dõi cách frontend xây dựng URL POST cho /queue/join và xác minh rằng endpoint ingress giữ nguyên tiền tố /content/converse; hoàn thành khi việc gửi một prompt qua ingress thành công như qua port forwarding.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
kubernetes, nginx
Lĩnh vực
frontend, infrastructure
Loại issue
Lỗi
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
35/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.