googleapis / googleapis/python-aiplatform

Add date/time filtering capability to Vertex AI Experiment.get_data_frame API to prevent 503 errors with large runs

Đang mở
#5,298 0 bình luận 1 reaction 0 người được giao Xem trên GitHub
api: vertex-ai
Ngôn ngữ chính
Python
Star
905
Fork
465
Merge trung bình
1 ngày 13 giờ
Pull request đã merge (30 ngày)
44

Mô tả

# Problem
When attempting to use Experiment.get_data_frame() with projects containing numerous runs, the API consistently returns 503 "Service Unavailable" errors. This appears to happen because the API attempts to fetch all experiment runs at once, which can overload the service when dealing with large datasets.

# Current behavior
``` python
experiment = aiplatform.Experiment(experiment_name="specific-experiment-name")
df_experiment = experiment.get_data_frame(include_time_series=False)
```
This call fails with 503 errors when the experiment contains too many runs.

# Proposed solution
Add date/time filtering parameters to the get_data_frame() method to limit the number of runs being processed:
``` python
df_run = run.get_data_frame(
include_time_series=False,
start_time="2023-01-01T00:00:00Z",
end_time="2023-01-31T23:59:59Z"
)
```
This would allow users to retrieve manageable chunks of experiment data by time period, preventing service overload and improving reliability when working with large experiments.

# Additional benefits
- Improved performance for large experiments
- Better user experience by avoiding timeout errors
- More control over data retrieval for analysis purposes
- Reduced load on backend services

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Hướng nghiên cứu

Start at the Vertex AI Experiment.get_data_frame() entry point and trace how experiment runs are retrieved. Compare the proposed start_time and end_time arguments with the current example, which also refers to run.get_data_frame(). Done means callers can limit retrieval to a date/time range and large experiments avoid the reported 503 failure.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
google-cloud, python
Lĩnh vực
api, cloud, machine-learning
Loại issue
Tính năng
Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
45/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.