activeloopai / activeloopai/deeplake

[FEATURE] Tool to upload all image files to a hub store

Đang mở
#1,173 1 bình luận 0 reaction 1 người được giao Được @anonymous-baaka nhận Xem trên GitHub
enhancement hacktoberfest
Ngôn ngữ chính
C++
Star
9.2k
Fork
722
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

## 🚨🚨 Feature Request

- [ ] Related to an existing [Issue](../issues)
- [x] A new implementation (Improvement, Extension)

### If your feature will improve `HUB`

Create a tool that will recursively walk a given local directory and upload any image files found to the given hub-format store.

### Description of the possible solution

Suggested API:
```python
hub-upload-images --source-path # directory with image files
--labels-file # text file with a mapping of (base) filename to label
--hub-store-path # path to the hub-store
--sample-compression
[--extensions ] # optional. Default: jpg,jpeg,JPG,JPEG
[--verify|--no-verify] # set verify=True or False in hub.read(). Default=True
```
The labels-file could be a comma-separated file with entries like:
```python
filename1,0
filename2,1
filename3,0
```
Example invocations:
```python
# Upload all jpeg files with extension jpeg or JPEG to a local directory
$ hub-upload-images --source-path ./data/images --labels-file ./data/labels.txt --hub-store-path ./data/hub-store --extensions jpg,jpeg,JPG,JPEG

# Upload local-disk to s3
$ hub-upload-images --source-path ./data/images --labels-file ./data/labels.txt --hub-store-path s3://hub-datasets/myimages-set1 --extensions jpg,JPEG,png,PNG --sample-compression jpeg

# Upload local-disk to hub
$ hub-upload-images --source-path ./data/images --labels-file ./data/labels.txt --hub-store-path hub://mydatasets/myimage-set1 --sample-compression jpeg

# Upload s3 to s3
$ hub-upload-images --source-path s3://mydata/images-for-ml --labels-file ./data/labels.txt --hub-store-path hub://mydatasets/myimage-set1 --sample-compression jpeg
```

Notes:
If there is only one file extension, then the sample_compression can automatically by that.If there is only one file extension, then the sample_compression can automatically by that.

Difficulty: Hard

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.