apache / apache/datafusion-sqlparser-rs

snowflake column identifier for copy into / query data staged in files

未關閉
#519 0 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
主要語言
Rust
星號
3.5k
分支
772
平均合併
4 天 9 小時
30 天內合併 PR
17

描述

According to documentation, Snowflake allows:
* [query data staged in files](https://docs.snowflake.com/en/user-guide/querying-stage.html#required-parameters) with an identifier of a form `[.]$[.]`
* [copy into table](https://docs.snowflake.com/en/user-guide/data-load-transform.html) with an column identifier containing `$` character like `select t.$1,t.$2,t.$3 from @~/datafile.csv.gz t;`

Although the feature seems to be snowflake specific, it cannot be implemented within snowflake dialect. It's because tokens starting with `$` character are tokenized into `Token::Placeholder`. That's why parser's change is required.

Initial OpenLineage project issue: https://github.com/OpenLineage/OpenLineage/issues/814

貢獻指南

這個儲存庫沒有索引到貢獻指南

研究方向

從 lexer 和 parser 著手,檢查以 `$` 開頭的 token 處理方式,尤其是目前會產生 `Token::Placeholder` 的路徑,並檢視 Snowflake 方言的處理。只要文件中所述的 staged-file 和 COPY INTO 欄位形式能正確解析,且不會造成現有 placeholder 語法回歸,工作就完成了。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
rust, sql
領域
compilers, databases
Issue 類型
功能
難度
4/5
預估耗時
3-5 天
活躍度
停滯
描述清晰度
基本清楚
新手友好度
45/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。