apache / apache/paimon

[Feature] add catalog cache for paimon

Offen
#2,136 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Java
Sterne
3.4k
Forks
1.4k
Ø Merge
1 T. 9 Std.
Gemergte PRs (30 T.)
423

Beschreibung

### Search before asking

- [X] I searched in the [issues](https://github.com/apache/incubator-paimon/issues) and found nothing similar.

### Motivation

The `show tables` command will check the path of each table, when we use remote object storage as the warehouse and there are many tables in the catalog, it may cause a timeout, so I want to introduce the catalog cache to Improve query speed

### Solution

_No response_

### Anything else?

_No response_

### Are you willing to submit a PR?

- [X] I'm willing to submit a PR!

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne damit, den Befehl `show tables` und die Katalogpfadprüfungen nachzuverfolgen, die er für jede Tabelle durchführt. Reproduziere das Timeout-Szenario mit entferntem Objektspeicher und vielen Katalogtabellen und ermittle anschließend das Cache-Verhalten sowie die Anforderungen an die Invalidierung. Als abgeschlossen gilt die Aufgabe, wenn `show tables` redundante Pfadprüfungen vermeidet und dabei korrekte Ergebnisse zurückgibt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
java
Bereich
data-engineering
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.