apache / apache/iceberg-python

Cannot create Iceberg Table in Azure Blob Storage

未关闭
#2,271 5 条评论 0 个 reaction 已指派 0 人 在 GitHub 查看
主要语言
Python
星标
1.1k
派生
581
平均合并
1 天 17 小时
30 天内合并 PR
78

描述

### Feature Request / Improvement

Hi
I am unable to create iceberg table in Azure blob storage using pyiceberg. I am getting the following error:

> pyiceberg.exceptions.BadRequestError: IlleagalArgumentException: Location for ICEBERG_TABLE ''test.table' cannot be associated with any configured object storage location: Mandatory ADLS endpoint is not configured for storage account container@account.dfs.core.windows.net.

But I don't have any issues when creating tables using Pyspark.

Code:

```
catalog = load_catalog(name="nessie",
uri="http://10.xx.xx.xx:19120/iceberg",
properties={
"ref"="main",
"type"="rest",
"warehouse": f"wasbs://container@account.blob.core.windows.net/warehouse",
"io-impl": "pyiceberg.io.fsspec.FsspecFileIO",
"azure.account-name": account
"azure.account-key": key

table = catalog.create_table(identifier="test.table",
schema=schema,
location=f"wasbs://container@account.blob.core.windows.net/warehouse/test/table")
```

Could you please resolve this issue

贡献指南

这个仓库没有索引到贡献指南

调研方向

从 load_catalog 配置和 catalog.create_table 使用的 FsspecFileIO 路径开始,然后跟踪 Azure Blob Storage 如何处理 wasbs warehouse 和表的位置。复现最小示例,并将配置的存储端点与错误进行比较;当 Iceberg 表成功创建在指定的 Azure 位置时,即表示完成。

由索引模型根据 Issue 内容生成。

评估

技术栈
azure, python
领域
cloud, databases
Issue 类型
缺陷
难度
4/5
预计耗时
3-5 天
活跃度
冷清
描述清晰度
基本清楚
新手友好度
45/100

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。