Connection without specifying catalog name in connection string causes an error

Đang mở

#305 mở ngày 21/12/2023 3 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó: 3/5
Thời gian dự kiến: 1-2 ngày
Mức phù hợp với người mới: 45/100

Loại issue: Lỗi
Độ rõ ràng: Khá rõ ràng
Mức độ hoạt động: Đình trệ
Công nghệ: python, sql
Lĩnh vực: databases

Hướng nghiên cứu

Bắt đầu trong src/databricks/sqlalchemy/base.py, khoảng dòng 278, và theo dõi cách get_table_names xử lý catalog khi chuỗi kết nối bỏ qua catalog đó. Tái hiện lỗi SHOW VIEWS với một schema và catalog tường minh, sau đó xác minh rằng việc kiểm tra metadata có thể nhắm đến catalog đó mà không tạo ra catalog None.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug sqlalchemy

Hello,
I'm trying to create an engine connection which could manage multiple catalogs at once

connection_uri = "databricks://token:XXXXXX@DB_HOST?http_path=/sql/1.0/warehouses/DWH_ID"
engine = create_engine(connection_uri, future=True)
meta_inspector = inspect(self.engine)

Later when calling for example
tables = meta_inspector.get_table_names('test_schema')
I get the following error

backend-1  | sqlalchemy.exc.DatabaseError: (databricks.sql.exc.ServerOperationError) Fail to execute the command as the target schema `None.test_schema` is not in the current catalog. Please set the current catalog with 'USE CATALOG None' first.
backend-1  | [SQL: SHOW VIEWS FROM `None`.`test_schema`]

After further inspection I found the current method being called:
https://github.com/databricks/databricks-sql-python/blob/62eb1d407ab03fc2c57a6626bec2173dbdd8bbb3/src/databricks/sqlalchemy/base.py#L278

It could be fixed with adding on Line 278 the following:
_target_catalog = kwags.get("catalog") or self.catalog
and referencing the catalog name in the method get_table_names
tables = meta_inspector.get_table_names(schema='test_schema',catalog='test_catalog')

NOTE : I'm avoiding creating a different engine for every catalog due to slow response from Databricks
I'm hesitant in opening a PR for this as it's not well tested and I'm not sure if there is an alternative to what i'm trying to achieve , so any feedback would be great !

Ngôn ngữ chính: Python
Star: 233
Fork: 152
Merge trung bình: 21 giờ 5 phút
Pull request đã merge (30 ngày): 10