bigscience-workshop / bigscience-workshop/data_tooling

Create dataset wikpiedia_in_chinese

Đang mở
#91 0 bình luận 0 reaction 0 người được giao Xem trên GitHub
data catalog
Ngôn ngữ chính
HTML
Star
91
Fork
47
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

- uid: wikpiedia_in_chinese
- type: primary
- description:
- name: Wikpiedia in Chinese
- description: Wikpiedia in Chinese
- homepage: https://zh.wikipedia.org/wiki/Wikipedia:%E9%A6%96%E9%A1%B5
- validated: True
- languages:
- language_names:
- Chinese
- language_comments:
- language_locations:
- World-Wide
- validated: False
- custodian:
- name:
- in_catalogue: wikimedia_foundation
- type:
- location:
- contact_name:
- contact_email:
- contact_submitter: False
- additional:
- validated: False
- availability:
- procurement:
- for_download: Yes - it has a direct download link or links
- download_url: https://dumps.wikimedia.org/zhwiki/
- download_email:
- licensing:
- has_licenses: Yes
- license_text:
- license_properties:
- open license
- license_list:
- cc-by-sa-3.0: Creative Commons Attribution Share Alike 3.0 Unported
- pii:
- has_pii: Yes
- generic_pii_likely:
- generic_pii_list:
- numeric_pii_likely:
- numeric_pii_list:
- sensitive_pii_likely:
- sensitive_pii_list:
- no_pii_justification_class:
- no_pii_justification_text:
- validated: False
- source_category:
- category_type: website
- category_web: wiki
- category_media:
- validated: False
- media:
- category:
- text
- image
- text_format:
- .HTML
- audiovisual_format:
- image_format:
- database_format:
- text_is_transcribed: No
- instance_type: article
- instance_count: 1M

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu với metadata của dataset trong issue này và kiểm tra các mục dataset hiện có trong repository để xác định wikpiedia_in_chinese.json thuộc về đâu và các mục được cấu trúc như thế nào. Sử dụng trang dump Wikipedia tiếng Trung được liên kết để xác minh các chi tiết nguồn đã cung cấp; công việc được xem là hoàn tất khi mục mới khớp với các quy ước của catalog và bao gồm tên tệp cùng metadata đã nêu.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Công nghệ
json
Lĩnh vực
data
Loại issue
Tính năng
Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
42/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.