apache / apache/datafusion-sqlparser-rs
Improve performance by reducing string copies
- Ngôn ngữ chính
- Rust
- Star
- 3.5k
- Fork
- 772
- Merge trung bình
- 4 ngày 9 giờ
- Pull request đã merge (30 ngày)
- 17
Mô tả
@Omega359 [mentioned in discord](https://discord.com/channels/885562378132000778/1344430130252218439/1415763431516278794) a blog post by the Databend folks about how they wrote a replacement of sqlparser-rs for their system
https://www.databend.com/blog/category-engineering/2025-09-10-query-parser/
One thing they cite is the fact that sqlparser-rs often copies strings, even when this could be avoided
If anyone cares, we can probably avoid copying strings, someone just has to care enough to thread the lifetime information through all the tokens (or maybe use an Arc w/ an offset)
@AdamGS mentioned he might be interested in trying this
This could possibly be related to another ticket here:
- https://github.com/apache/datafusion-sqlparser-rs/issues/1558
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu bằng cách đọc bài blog Databend được liên kết và issue #1558 liên quan, sau đó kiểm tra các đường đi của lexer và quyền sở hữu token để xác định các chuỗi được sao chép ở đâu. Công việc được xem là hoàn tất khi giảm được các lần sao chép chuỗi có thể tránh, vẫn bảo toàn hành vi của parser và xác thực được tác động đến hiệu năng bằng các bài kiểm thử hoặc benchmark hiện có của dự án.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- rust
- Lĩnh vực
- compilers
- Loại issue
- Tái cấu trúc
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Cần làm rõ
- Mức phù hợp với người mới
- 25/100