Databricks SQL ExecuteStatement Failing During Chunked Updates to a Single Cell (Large JSON Field)

Đang mở

#592 mở ngày 10/6/2025 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó: 5/5
Thời gian dự kiến: Hơn một tuần
Mức phù hợp với người mới: 25/100

Loại issue: Lỗi
Độ rõ ràng: Cần làm rõ
Mức độ hoạt động: Đình trệ
Công nghệ: python, sql, sqlalchemy
Lĩnh vực: database

Hướng nghiên cứu

Bắt đầu với đường dẫn SQLAlchemy và Databricks SQL ExecuteStatement được mô tả trong báo cáo, sau đó tái hiện chuỗi UPDATE được chia thành các chunk bằng cách sử dụng một trường JSON lớn. So sánh kích thước yêu cầu tại thời điểm xảy ra lỗi và kiểm tra cách connector xử lý các mã retry 429 và 503. Hoàn thành có nghĩa là ghi lại giới hạn yêu cầu và một phương pháp cập nhật tăng dần đã được phê duyệt.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

We’re encountering issues with Databricks SQL when attempting to update a row that contains a large JSON array field. Originally, we tried inserting the entire JSON directly into the column, but this failed due to request size limitations.
To address that, we redesigned the approach to:

Split the full JSON into smaller chunks (~100 items)
Append each chunk incrementally to the same row/column using separate UPDATE statements
Commit each chunk using a new thread and session to ensure SQLAlchemy thread safety

Despite chunking, the request eventually fails when the dmt_data field grows large enough (presumably ~1–2MB compressed). The SQL API returns:

pgsqlCopyEdit(databricks.sql.exc.RequestError) Error during request to server. 
ExecuteStatement command can only be retried for codes 429 and 503

This confirms that each UPDATE's request body is still exceeding Databricks SQL's internal limits, even though we’re only appending small pieces.
What We’re Looking For:

Confirmation of the exact request body size limit for INSERT/UPDATE operations over Databricks SQL
Recommended practice for incrementally updating a single JSON column that grows over time

Ngôn ngữ chính: Python
Star: 233
Fork: 152
Merge trung bình: 21 giờ 5 phút
Pull request đã merge (30 ngày): 10