aws / aws/sagemaker-python-sdk

Sagemaker Endpoint vanishing without traces

Đang mở
#3,252 2 bình luận 0 reaction 0 người được giao Xem trên GitHub
component: hosting type: bug
Ngôn ngữ chính
Python
Star
2.3k
Fork
1.3k
Merge trung bình
1 ngày 22 giờ
Pull request đã merge (30 ngày)
35

Mô tả

**Describe the bug**
I'm currently using Sagemaker to host a custom ML model deployed to two accounts, homolog, and production. Both endpoints have the same entry point code and were deployed the same day. The homologation version suddenly disappeared on June 28th, leaving no traces besides the last HealthCheck ping on CloudWatch. After searching CloudTrail logs to see what could have happened, there was nothing out of the ordinary: deployed the endpoint and that was it. No delete command coming from anywhere.
I thought of it as a bug and promptly redeployed the model, on June 29th, assuming it wouldn't happen again. The issue is that on July 3rd the endpoint vanished without traces again. Same thing, no delete, no update, no renaming of anything on CloudTrail, and the only proof that it was ever on running were the CloudWatch logs and the CreateEndpoint entry on CloudTrail.

**To reproduce**
Couldn't reproduce the bug willingly. I couldn't gather any evidence that could lead me to the cause of the problem.

**Expected behavior**
For it not to vanish

**Screenshots or logs**

**System information**
A description of your system. Please provide:
- **SageMaker Python SDK version**: 2.72.1
- **Framework name (eg. PyTorch) or algorithm (eg. KMeans)**: SKLearn
- **Framework version**: 0.23
- **Python version**: 3.6
- **CPU or GPU**: ml.t2.medium
- **Custom Docker image (Y/N)**: N

**Additional context**
Some more information:

- The homologation(testing) endpoint wasn't called all that often and had big gaps between calls, they would only happen when we were testing something.
- It was deployed through an AWS Sagemaker Notebook using the Sagemaker SDK for Python
- First time the delta between a request and going offline was 8 hours, and the second time the delta was 48h.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Bắt đầu bằng việc xem xét quá trình deployment của SageMaker Python SDK 2.72.1 từ AWS SageMaker Notebook, sau đó so sánh các bản ghi CloudTrail và CloudWatch của endpoint cho những lần biến mất vào ngày 28 tháng 6 và ngày 3 tháng 7. Được xem là hoàn tất khi xác định được nguyên nhân có thể tái hiện hoặc bằng chứng đầy đủ giải thích cách endpoint biến mất mà không có delete hoặc update nào được ghi nhận.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
aws, machine-learning, python
Lĩnh vực
cloud, machine-learning
Loại issue
Lỗi
Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Cần làm rõ
Mức phù hợp với người mới
20/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.