duckdb / duckdb/duckdb-java

Query timeout when going through HTTP Proxy since 1.4.4

Offen
#548 8 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Vorherrschende Sprache
C++
Sterne
127
Forks
80
Ø Merge
13 Std. 49 Min.
Gemergte PRs (30 T.)
48

Beschreibung

Hi 👋

We're having issues with our `duckdb-java` setup after bumping the patch version from 1.4.2 to 1.4.4 (so technically the issue could be post-1.4.3).

Our setup is as follows:
* Java app in a docker container deployed on K8S
* cluster is air-gapped so we package the plugins (namely `httpfs`) in the docker image and deactivate remote plugin download
* queries are done against an S3-like server, through an HTTP proxy

Behaviour before 1.4.4 was fine, basic queries without filtering took a few seconds to run.

After 1.4.4 we observe the following:
* it works seemingly as well as before when querying the S3 server directly (same data, outside K8S)
* it times out when querying the S3 server through the HTTP proxy

The error is:

```
Caused by: java.sql.SQLException: IO Error: Connection timed out error for HTTP GET to '/my-bucket/?encoding-type=url&list-type=2&prefix=some-prefix

LINE 1: SELECT COUNT(1) FROM read_parquet("s3://my-bucket/some-prefix...
```

Has something changed on that front?

Perhaps it's a question more fit for https://github.com/duckdb/duckdb, but since it's a `duckdb-java` setup I figured it's better to start here.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne damit, das im Issue beschriebene duckdb-java-JDBC-Setup zu reproduzieren, und vergleiche die Versionen 1.4.2 und 1.4.4 mit dem S3-ähnlichen Server über einen HTTP-Proxy. Es ist keine Quelldatei und kein Test benannt; das Issue ist gelöst, wenn die repräsentative read_parquet-Abfrage über den Proxy nicht mehr wegen eines Timeouts fehlschlägt und das Verhalten beim direkten Zugriff erhalten bleibt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
docker, java, kubernetes, sql
Bereich
databases, networking
Issue-Typ
Bug
Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Aktivitätsstatus
Aktiv
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
42/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.