是否支持hf的IterableDataset？
Open
- Dominant language
- Python
- Stars
- 5.2k
- Forks
- 448
- Avg merge
- 3d 15h
- Merged PRs (30d)
- 26
Description
请问是否可以支持流式dataset？
当前对large-scale data处理的时候耗时非常长，并且会缓存非常大的cache，请问目前有没有简便的办法改为iterabledataset，或者有没有其他推荐的对large-scale data的处理方式？
Contributor guide
Assessment
This issue has not been assessed yet.