apache / apache/iceberg-python

Cannot create Iceberg Table in Azure Blob Storage

未關閉
#2,271 5 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視
主要語言
Python
星號
1.1k
分支
581
平均合併
1 天 13 小時
30 天內合併 PR
76

描述

### Feature Request / Improvement

Hi
I am unable to create iceberg table in Azure blob storage using pyiceberg. I am getting the following error:

> pyiceberg.exceptions.BadRequestError: IlleagalArgumentException: Location for ICEBERG_TABLE ''test.table' cannot be associated with any configured object storage location: Mandatory ADLS endpoint is not configured for storage account container@account.dfs.core.windows.net.

But I don't have any issues when creating tables using Pyspark.

Code:

```
catalog = load_catalog(name="nessie",
uri="http://10.xx.xx.xx:19120/iceberg",
properties={
"ref"="main",
"type"="rest",
"warehouse": f"wasbs://container@account.blob.core.windows.net/warehouse",
"io-impl": "pyiceberg.io.fsspec.FsspecFileIO",
"azure.account-name": account
"azure.account-key": key

table = catalog.create_table(identifier="test.table",
schema=schema,
location=f"wasbs://container@account.blob.core.windows.net/warehouse/test/table")
```

Could you please resolve this issue

貢獻指南

這個儲存庫沒有索引到貢獻指南

研究方向

從 load_catalog 設定和 catalog.create_table 使用的 FsspecFileIO 路徑開始,接著追蹤 Azure Blob Storage 如何處理 wasbs warehouse 和資料表位置。重現最小範例,並將設定的儲存端點與錯誤進行比較;當 Iceberg 資料表成功建立在指定的 Azure 位置時,即表示完成。

由索引模型根據 Issue 內容生成。

評估

技術堆疊
azure, python
領域
cloud, databases
Issue 類型
缺陷
難度
4/5
預估耗時
3-5 天
活躍度
冷清
描述清晰度
基本清楚
新手友好度
45/100

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。