bigscience-workshop / bigscience-workshop/data_tooling

Create dataset basque_wikipedia

Đang mở
#204 1 bình luận 0 reaction 0 người được giao Xem trên GitHub
data catalog
Ngôn ngữ chính
HTML
Star
91
Fork
47
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

- uid: basque_wikipedia
- type: primary
- description:
- name: Basque Wikipedia
- description: The Basque version of the Wikipedia, an online free content encyclopedia.
- homepage: https://eu.wikipedia.org/wiki/Azala
- validated: True
- languages:
- language_names:
- Basque
- language_comments: Standard Basque, may contain grammar and ortographic errors
- language_locations:
- Western Europe
- Spain
- validated: False
- custodian:
- name:
- in_catalogue: wikimedia_foundation
- type:
- location:
- contact_name:
- contact_email:
- contact_submitter: False
- additional:
- validated: False
- availability:
- procurement:
- for_download: Yes - it has a direct download link or links
- download_url: https://dumps.wikimedia.org/
- download_email:
- licensing:
- has_licenses: Yes
- license_text:
- license_properties:
- open license
- license_list:
- cc-by-sa-3.0: Creative Commons Attribution Share Alike 3.0 Unported
- pii:
- has_pii: Yes
- generic_pii_likely: very likely
- generic_pii_list:
- dates (birth, death, etc.)
- physical addresses
- website account name or handle
- names
- numeric_pii_likely: none
- numeric_pii_list:
- sensitive_pii_likely: very likely
- sensitive_pii_list:
- racial or ethnic origin
- political opinions
- religious or philosophical beliefs
- data concerning a person's sex life or sexual orientation
- trade-union membership
- no_pii_justification_class:
- no_pii_justification_text:
- validated: False
- source_category:
- category_type: website
- category_web: wiki
- category_media:
- validated: False
- media:
- category:
- text
- image
- text_format:
- other
- wiki
- audiovisual_format:
- image_format:
- .PNG
- .JPG
- .GIF
- database_format:
- text_is_transcribed: No
- instance_type: article
- instance_count: 100K

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Hướng nghiên cứu

Bắt đầu với tên tệp được cung cấp basque_wikipedia.json và so sánh các trường siêu dữ liệu của tệp này với cấu trúc danh mục dataset của repository. Xác nhận rằng bản ghi Basque Wikipedia vẫn giữ nguyên các giá trị và schema được liệt kê, sau đó kiểm tra rằng mục dataset mới đã được đưa vào danh mục.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Đánh giá

Lĩnh vực
data
Loại issue
Tính năng
Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức độ hoạt động
Đình trệ
Độ rõ ràng
Khá rõ ràng
Mức phù hợp với người mới
48/100

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.