bigscience-workshop / bigscience-workshop/data_tooling
Create dataset wikpiedia_in_chinese
- Ngôn ngữ chính
- HTML
- Star
- 91
- Fork
- 47
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Mô tả
- uid: wikpiedia_in_chinese
- type: primary
- description:
- name: Wikpiedia in Chinese
- description: Wikpiedia in Chinese
- homepage: https://zh.wikipedia.org/wiki/Wikipedia:%E9%A6%96%E9%A1%B5
- validated: True
- languages:
- language_names:
- Chinese
- language_comments:
- language_locations:
- World-Wide
- validated: False
- custodian:
- name:
- in_catalogue: wikimedia_foundation
- type:
- location:
- contact_name:
- contact_email:
- contact_submitter: False
- additional:
- validated: False
- availability:
- procurement:
- for_download: Yes - it has a direct download link or links
- download_url: https://dumps.wikimedia.org/zhwiki/
- download_email:
- licensing:
- has_licenses: Yes
- license_text:
- license_properties:
- open license
- license_list:
- cc-by-sa-3.0: Creative Commons Attribution Share Alike 3.0 Unported
- pii:
- has_pii: Yes
- generic_pii_likely:
- generic_pii_list:
- numeric_pii_likely:
- numeric_pii_list:
- sensitive_pii_likely:
- sensitive_pii_list:
- no_pii_justification_class:
- no_pii_justification_text:
- validated: False
- source_category:
- category_type: website
- category_web: wiki
- category_media:
- validated: False
- media:
- category:
- text
- image
- text_format:
- .HTML
- audiovisual_format:
- image_format:
- database_format:
- text_is_transcribed: No
- instance_type: article
- instance_count: 1M
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Hướng nghiên cứu
Bắt đầu với metadata của dataset trong issue này và kiểm tra các mục dataset hiện có trong repository để xác định wikpiedia_in_chinese.json thuộc về đâu và các mục được cấu trúc như thế nào. Sử dụng trang dump Wikipedia tiếng Trung được liên kết để xác minh các chi tiết nguồn đã cung cấp; công việc được xem là hoàn tất khi mục mới khớp với các quy ước của catalog và bao gồm tên tệp cùng metadata đã nêu.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Đánh giá
- Công nghệ
- json
- Lĩnh vực
- data
- Loại issue
- Tính năng
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức độ hoạt động
- Đình trệ
- Độ rõ ràng
- Khá rõ ràng
- Mức phù hợp với người mới
- 42/100