apache / apache/datafusion-sqlparser-rs

Time travel support

Ouverte
#2,006 1 commentaire 2 réactions 0 personnes assignées Voir sur GitHub
Langage dominant
Rust
Étoiles
3.5k
Forks
772
Merge moyen
4 j 9 h
PR mergées (30 j)
17

Description

Several databases and data lakes support time travel which allows historical versions of a table to be queried. Regrettably, syntax and capabilities do not seem to be terribly consistent across the various implementations.

## Querying Historical Times

This option lets a database be queried as it existed at a certain point in time. (*Question:* Is this "last version prior to the given time"? or is it an error if no snapshot exists with that exact time?)

### [Databricks](https://docs.databricks.com/gcp/en/delta/history#delta-time-travel-syntax)

```
SELECT * FROM people10m TIMESTAMP AS OF '2018-10-18T22:15:12.013Z';
```

### [Snowflake](https://docs.snowflake.com/en/sql-reference/constructs/at-before)

```
SELECT * FROM my_table AT(TIMESTAMP => 'Wed, 26 Jun 2024 09:20:00 -0700'::TIMESTAMP_LTZ);
```

### [Cockroach](https://www.cockroachlabs.com/blog/time-travel-queries-select-witty_subtitle-the_future/)

```
SELECT * FROM t AS OF SYSTEM TIME '2016-06-15 12:45:00'
```

### [DuckLake](https://ducklake.select/docs/stable/duckdb/usage/time_travel.html)

```
SELECT * FROM tbl AT (TIMESTAMP => now() - INTERVAL '1 week');
```

## Querying Specific versions

This options lets a specific "version" of a database to be queried. What exactly this means seems to depend on the database implementation in question.

### Databricks

```
SELECT * FROM people10m VERSION AS OF 123;
```

### Snowflake

Note: unclear if this is the same thing (specific versions) or different

```
SELECT * FROM my_table BEFORE(STATEMENT => '8e5d0ca9-005e-44e6-b858-a8f5b37c5726');
```

### Cockroach

Unsupported

### DuckLake

```
SELECT * FROM tbl AT (VERSION => 3);
```

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Piste de recherche

Aucun fichier du dépôt, test ou point d’entrée n’est identifié dans l’issue. Commencez par comparer la syntaxe de Databricks, Snowflake, Cockroach et DuckLake, puis déterminez si les requêtes temporelles historiques et les requêtes de version doivent partager la même sémantique ou rester spécifiques à chaque dialecte. La finalisation doit inclure un périmètre convenu pour la syntaxe et le comportement pris en charge.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Évaluation

Stack technique
rust, sql
Domaine
compilers
Type d'issue
Fonctionnalité
Difficulté
5/5
Temps estimé
Plus d'une semaine
Activité
À l'abandon
Clarté
À clarifier
Accessibilité débutants
25/100

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.