aiondemand / aiondemand/huggingface-connector

HuggingFace Dataset Connector: Fix issues in script

未关闭
#4 0 条评论 0 个 reaction 已指派 1 人 已被 @andrejridzik 认领 在 GitHub 查看
bug
主要语言
Python
星标
0
派生
3
PR 合并指标
30 天内没有已合并 PR

描述

We are getting errors for some HuggingFace Datasets in the connector `src/connectors/huggingface/huggingface_dataset_connector.py`. As a result the datasets are not added to the database.

Some specific identified issues:
- [x] issue in creation of `distributions`, where `content_size_kb` is exceeding the integer limit
- [x] issue in creation of `distributions`, where `content_url` is exceeding `field_length.NORMAL` (set to 256)
- [ ] duplicate dataset tags/keywords due to omitting special accented characters, e.g. **málrómur** and **malromur**

贡献指南

这个仓库没有索引到贡献指南

评估

这个 Issue 还没有评估数据。

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。