apache / apache/datafusion

No suitable object store found for ***

Đang mở
#2,136 7 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

bug
Ngôn ngữ chính
Rust
Star
9.3k
Fork
2.4k
Merge trung bình
3 ngày 6 giờ
Pull request đã merge (30 ngày)
363

Mô tả

I found this issue when trying to add s3-objectstore:
I use the ctx.runtime_env().register_object_store() method to register the objectstore into the SessionContext, but I can't get the objectstore through get_by_uri() in the Scheduler.
Exception: No suitable object store found for ***

This exception can be reproduced using LocalFileSystem.
Reproduced method: ObjectStoreRegistry does not store LocalFileSystem when it is created, and registers LocalFileSystem in ObjectStoreRegistry.object_stores through the register_object_store() method. Run tpch-benchmark-ballista, the path parameter format is file://***/***

step

  1. Delete line 58 of object_store_registry.rs "map.insert(LOCAL_SCHEME.to_string(), Arc::new(LocalFileSystem));"
  2. Delete lines 243 and 244 of ballista/rust/client/src/context.rs and add "ctx.runtime_env().register_object_store("file",Arc::new(LocalFileSystem{}));" in line 245 under
  3. According to the "Ballista Benchmarks" content of benchmarks/README.md, start Scheduler and Executor, and execute the benchmark command: cargo run --bin tpch --release benchmark ballista **** --path file://*** /***
    The exception is thrown as:
    [2022-04-02T05:45:26Z ERROR ballista_scheduler::scheduler_server::grpc] Could not parse logical plan protobuf: Not implemented: No object store is registered for path file://E:/datafusion/lineitem.tbl: Internal ("No suitable object store found for file")

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Hướng nghiên cứu

Bắt đầu với object_store_registry.rs và ballista/rust/client/src/context.rs, sau đó xem lại hướng dẫn benchmark của Ballista trong benchmarks/README.md. Tái hiện benchmark file:// bằng LocalFileSystem và theo dõi quá trình đăng ký thông qua Scheduler; hoàn tất khi Scheduler phân giải object store đã đăng ký thay vì báo rằng không tồn tại store phù hợp.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
rust
Lĩnh vực
databases, distributed-systems
Loại issue
Lỗi
Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
45/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.