duckdb / duckdb/duckdb-java

Query timeout when going through HTTP Proxy since 1.4.4

Abierto
#548 8 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Lenguaje dominante
C++
Estrellas
127
Forks
80
Merge medio
13 h 49 min
PR fusionados (30 d)
48

Descripción

Hi 👋

We're having issues with our duckdb-java setup after bumping the patch version from 1.4.2 to 1.4.4 (so technically the issue could be post-1.4.3).

Our setup is as follows:

  • Java app in a docker container deployed on K8S
  • cluster is air-gapped so we package the plugins (namely httpfs) in the docker image and deactivate remote plugin download
  • queries are done against an S3-like server, through an HTTP proxy

Behaviour before 1.4.4 was fine, basic queries without filtering took a few seconds to run.

After 1.4.4 we observe the following:

  • it works seemingly as well as before when querying the S3 server directly (same data, outside K8S)
  • it times out when querying the S3 server through the HTTP proxy

The error is:

Caused by: java.sql.SQLException: IO Error: Connection timed out error for HTTP GET to '/my-bucket/?encoding-type=url&list-type=2&prefix=some-prefix

LINE 1: SELECT COUNT(1) FROM read_parquet("s3://my-bucket/some-prefix...

Has something changed on that front?

Perhaps it's a question more fit for https://github.com/duckdb/duckdb, but since it's a duckdb-java setup I figured it's better to start here.

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Línea de trabajo

Comienza reproduciendo la configuración JDBC de duckdb-java descrita en el issue, comparando las versiones 1.4.2 y 1.4.4 con el servidor similar a S3 a través de un proxy HTTP. No se nombra ningún archivo fuente ni ninguna prueba; el issue se resuelve cuando la consulta representativa read_parquet deja de agotar el tiempo de espera a través del proxy, manteniendo el comportamiento de acceso directo.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Stack tecnológico
docker, java, kubernetes, sql
Área
databases, networking
Tipo de issue
Error
Dificultad
4/5
Tiempo estimado
3-5 días
Estado de actividad
Activo
Claridad
Necesita aclaración
Aptitud para principiantes
42/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.