ExecuteMany performance is insanely bad

Aberta
#558 1 comentário 1 reação 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
5/5
Tempo estimado
Mais de uma semana
Facilidade para iniciantes
20/100
Tipo de issue
Funcionalidade
Clareza
Precisa de esclarecimento
Status de atividade
Estagnada
Stack de tecnologia
python, sql
Domínio
data-engineering, databases

Direção de pesquisa

Comece localizando a implementação de executemany do conector e lendo o comportamento documentado que a descreve como um loop ingênuo. Investigue como uma única instrução SQL usando VALUES(...) poderia oferecer suporte ao batching solicitado para gravações em uma tabela Delta e defina a conclusão com base na melhoria de desempenho para carregamentos de dataframes não triviais.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

I know that the documentation makes it clear that executemany is a naive for loop:

No optimizations of the query (like batching) will be performed.

But it's 2025 and please have a more optimized executemany that just issues a single SQL statement using VALUES(...) or something so this is actually usable in a data pipeline. Otherwise, trying to use the databricks SQL connector to write any non-trivial dataframe to a delta table is pointless.

Thanks!

Linguagem predominante
Python
Estrelas
233
Forks
152
Merge médio
21h 5min
PRs com merge (30d)
10

Guia de contribuição

Abrir o guia de contribuição

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de databricks/databricks-sql-python

Todas as issues de databricks/databricks-sql-python

Issues semelhantes

Mais issues de Python

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.