Connection without specifying catalog name in connection string causes an error

Abierto

#305 abierto el 21/12/2023 3 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad: 3/5
Tiempo estimado: 1-2 días
Aptitud para principiantes: 45/100

Tipo de issue: Error
Claridad: Bastante claro
Estado de actividad: Estancado
Stack tecnológico: python, sql
Área: databases

Línea de trabajo

Comience en src/databricks/sqlalchemy/base.py alrededor de la línea 278 y siga cómo get_table_names gestiona el catálogo cuando la cadena de conexión omite uno. Reproduzca el fallo de SHOW VIEWS con un esquema y un catálogo explícito, y luego verifique que la inspección de metadatos pueda dirigirse a ese catálogo sin generar un catálogo None.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

bug sqlalchemy

Hello,
I'm trying to create an engine connection which could manage multiple catalogs at once

connection_uri = "databricks://token:XXXXXX@DB_HOST?http_path=/sql/1.0/warehouses/DWH_ID"
engine = create_engine(connection_uri, future=True)
meta_inspector = inspect(self.engine)

Later when calling for example
tables = meta_inspector.get_table_names('test_schema')
I get the following error

backend-1  | sqlalchemy.exc.DatabaseError: (databricks.sql.exc.ServerOperationError) Fail to execute the command as the target schema `None.test_schema` is not in the current catalog. Please set the current catalog with 'USE CATALOG None' first.
backend-1  | [SQL: SHOW VIEWS FROM `None`.`test_schema`]

After further inspection I found the current method being called:
https://github.com/databricks/databricks-sql-python/blob/62eb1d407ab03fc2c57a6626bec2173dbdd8bbb3/src/databricks/sqlalchemy/base.py#L278

It could be fixed with adding on Line 278 the following:
_target_catalog = kwags.get("catalog") or self.catalog
and referencing the catalog name in the method get_table_names
tables = meta_inspector.get_table_names(schema='test_schema',catalog='test_catalog')

NOTE : I'm avoiding creating a different engine for every catalog due to slow response from Databricks
I'm hesitant in opening a PR for this as it's not well tested and I'm not sure if there is an alternative to what i'm trying to achieve , so any feedback would be great !

Lenguaje dominante: Python
Estrellas: 233
Forks: 152
Merge medio: 21 h 5 min
PR fusionados (30 d): 10