ExecuteMany performance is insanely bad

Đang mở
#558 1 bình luận 1 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
20/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python, sql
Lĩnh vực
data-engineering, databases

Hướng nghiên cứu

Bắt đầu bằng cách xác định phần triển khai executemany của connector và đọc hành vi được ghi chép mô tả nó như một vòng lặp ngây thơ. Điều tra cách một câu lệnh SQL duy nhất sử dụng VALUES(...) có thể hỗ trợ batching được yêu cầu cho việc ghi vào một bảng Delta, và xác định việc hoàn thành dựa trên hiệu năng được cải thiện đối với các lần tải dataframe không tầm thường.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

I know that the documentation makes it clear that executemany is a naive for loop:

No optimizations of the query (like batching) will be performed.

But it's 2025 and please have a more optimized executemany that just issues a single SQL statement using VALUES(...) or something so this is actually usable in a data pipeline. Otherwise, trying to use the databricks SQL connector to write any non-trivial dataframe to a delta table is pointless.

Thanks!

Ngôn ngữ chính
Python
Star
233
Fork
152
Merge trung bình
21 giờ 5 phút
Pull request đã merge (30 ngày)
10

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của databricks/databricks-sql-python

Tất cả issue của databricks/databricks-sql-python

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.