aiondemand / aiondemand/huggingface-connector

HuggingFace Dataset Connector: Fix issues in script

未關閉
#4 0 則留言 0 個 reaction 已指派 1 人 已被 @andrejridzik 認領 在 GitHub 檢視
bug
主要語言
Python
星號
0
分支
3
PR 合併指標
30 天內沒有已合併 PR

描述

We are getting errors for some HuggingFace Datasets in the connector `src/connectors/huggingface/huggingface_dataset_connector.py`. As a result the datasets are not added to the database.

Some specific identified issues:
- [x] issue in creation of `distributions`, where `content_size_kb` is exceeding the integer limit
- [x] issue in creation of `distributions`, where `content_url` is exceeding `field_length.NORMAL` (set to 256)
- [ ] duplicate dataset tags/keywords due to omitting special accented characters, e.g. **málrómur** and **malromur**

貢獻指南

這個儲存庫沒有索引到貢獻指南

評估

這個 Issue 還沒有評估資料。

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。