Chủ sở hữu

bigscience-workshop

Đã lập chỉ mục 21 kho mã nguồn · Xem trên GitHub

petals
🌸 Run LLMs at home, BitTorrent-style. Fine-tuning and inference up to 10x faster than offloading

Python · 10565 star
promptsource
Toolkit for creating, sharing and using natural language prompts.

Python · 3034 star
Megatron-DeepSpeed
Ongoing research training transformer language models at scale, including: BERT & GPT-2

Python · 1448 star
bigscience
Central place for the engineering/scaling WG: documentation, SLURM scripts and logs, compute environment and data.

Shell · 1019 star
xmtf
Crosslingual Generalization through Multitask Finetuning

Jupyter Notebook · 534 star
biomedical
Tools for curating biomedical training data for large-scale language modeling

Python · 505 star
t-zero
Reproduce results and replicate training fo T0 (Multitask Prompted Training Enables Zero-Shot Task Generalization)

Python · 463 star
data-preparation
Code used for sourcing and cleaning the BigScience ROOTS corpus

Jupyter Notebook · 318 star
lam
Libraries, Archives and Museums (LAM)

91 star
data_tooling
Tools for managing datasets for governance and training.

HTML · 91 star
multilingual-modeling
BLOOM+1: Adapting BLOOM model to support a new unseen language

Python · 75 star
evaluation
Code and Data for Evaluation WG

Python · 42 star
data_sourcing
This directory gathers the tools developed by the Data Sourcing Working Group

Python · 31 star
metadata
Experiments on including metadata such as URLs, timestamps, website descriptions and HTML tags during pretraining.

Python · 29 star
carbon-footprint
A repository for `codecarbon` logs.

Jupyter Notebook · 13 star
tokenization

Python · 11 star
pii_processing
PII Processing code to detect and remediate PII in BigScience datasets. Reference implementation for the PII Hackathon

Python · 9 star
ShadesofBias
Evaluation for Shades of Bias in Text

HTML · 9 star
catalogue_data
Scripts to prepare catalogue data

Jupyter Notebook · 8 star
training_dynamics

5 star
Còn 1 kho mã nguồn nữa trên Xem trên GitHub

Đang mở Tất cả

Imlement tests for abstract structures such as in Curcuits thread Đang mở

bigscience-workshop/interpretability-ideas#1 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Implement and perform the interpretability analysis of the BigScience models Đang mở

bigscience-workshop/interpretability-ideas#2 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Integrate existing tools: Captum, LIT, AllenNLP Interpret, NeuroX into the HF pipeline Đang mở

bigscience-workshop/interpretability-ideas#3 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Implement the unified attention interpretation API for similar models Đang mở

bigscience-workshop/interpretability-ideas#4 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Implement the unified activations interpretation API for similar models Đang mở

bigscience-workshop/interpretability-ideas#5 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Provide the unified interpretability cookbooks Đang mở

bigscience-workshop/interpretability-ideas#6 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Provide the unified Interpretability API for both Huggingface and NON-Huggingface models Đang mở

bigscience-workshop/interpretability-ideas#7 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Allow to probe an arbitrary model's checkpoints with the off-the-shelf probes Đang mở

bigscience-workshop/interpretability-ideas#8 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Research: probe for recursion in networks Đang mở

bigscience-workshop/interpretability-ideas#9 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Implement the paper: https://arxiv.org/abs/nlin/0409024 Đang mở

bigscience-workshop/interpretability-ideas#10 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Implement the structural probe for syntax structure in Manning and Hewitt 2019 Đang mở

good first issue

bigscience-workshop/training_dynamics#1 · 4 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
Test initial structural probes on BERT to replicate Manning and Hewitt results Đang mở

bigscience-workshop/training_dynamics#2 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Implement the parse depth structural probe (from A Structural Probe for Finding Syntax in Word Representations) Đang mở

good first issue

bigscience-workshop/training_dynamics#3 · 1 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
Implement differentiable weight masks for modularity detection (from Are Neural Nets Modular? Inspecting Functional Modularity Through Differentiable Weight Masks) Đang mở

good first issue

bigscience-workshop/training_dynamics#4 · 1 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
Implement the SentEval methods (linear and MLP; from What you can cram into a single {\$}{\&}!{\#}* vector: Probing sentence embeddings for linguistic properties) Đang mở

good first issue

bigscience-workshop/training_dynamics#6 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Implement the control tasks technique to ensure probes are selective (from Designing and Interpreting Probes with Control Tasks) Đang mở

bigscience-workshop/training_dynamics#7 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Implement saliency methods (from: The elephant in the interpretability room: Why use attention as explanation when we have saliency methods?) Đang mở

bigscience-workshop/training_dynamics#8 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Implement auxiliary prediction tasks (from: Fine-grained Analysis of Sentence Embeddings Using Auxiliary Prediction Tasks) Đang mở

bigscience-workshop/training_dynamics#9 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Extract the dataset or data generating process from (Yao et. al. 2021) Đang mở

bigscience-workshop/training_dynamics#10 · 0 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
Set up infrastructure to isolate specific layers or groups of layers in the network for probing Đang mở

bigscience-workshop/training_dynamics#11 · 0 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
Design initial probes Đang mở

bigscience-workshop/training_dynamics#12 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Wiki-based dataset cleaning Đang mở

bigscience-workshop/catalogue_data#5 · 7 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Repeated lines across examples Đang mở

bigscience-workshop/catalogue_data#6 · 3 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Removing dataset lm_en_a_million_news_headlines_abc_australia Đang mở

bigscience-workshop/catalogue_data#8 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Catching crawling noise + ads Đang mở

bigscience-workshop/catalogue_data#9 · 6 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
S2ORC vs Arxiv vs PMC Đang mở

bigscience-workshop/catalogue_data#11 · 6 bình luận · 1 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Add WMT to Full Benchmark Đang mở

MT

bigscience-workshop/evaluation#4 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Add DiaBLa to Full Benchmark Đang mở

MT

bigscience-workshop/evaluation#5 · 5 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
Add SuperGLUE Tasks to Full Benchmark Đang mở

NLU

bigscience-workshop/evaluation#6 · 2 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
Add TyDiQA to Full Benchmark Đang mở

multilingual NLU

bigscience-workshop/evaluation#7 · 3 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Add Flores 101 to to Full Benchmark (as LM tasks, not MT tasks) Đang mở

multilingual NLG

bigscience-workshop/evaluation#10 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Add GEM MLSum to Full Benchmark Đang mở

help wanted In-Progress NLG

bigscience-workshop/evaluation#11 · 2 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
Add GEM Wikilingua to Full Benchmark Đang mở

NLG

bigscience-workshop/evaluation#13 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Add GEM WikiAuto to Full Benchmark Đang mở

In-Progress NLG

bigscience-workshop/evaluation#14 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Add GEM Response Generation to Full Benchmark Đang mở

NLG

bigscience-workshop/evaluation#15 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Add GEM ToTTo to Full Benchmark Đang mở

In-Progress NLG

bigscience-workshop/evaluation#16 · 3 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
Add GEM WebNLG to Full Benchmark Đang mở

In-Progress NLG

bigscience-workshop/evaluation#17 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Add GEM E2E to Full Benchmark Đang mở

NLG

bigscience-workshop/evaluation#18 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Add CRD3 to Full Benchmark Đang mở

NLG

bigscience-workshop/evaluation#19 · 2 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
Add MasaskhaNER to Full Benchmark Đang mở

multilingual NER

bigscience-workshop/evaluation#20 · 5 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Add WikiANN to Full Benchmark Đang mở

multilingual NER

bigscience-workshop/evaluation#21 · 7 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Add BLiMP to Full Benchmark Đang mở

In-Progress linguistic_structure

bigscience-workshop/evaluation#22 · 5 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
Add QA-SRL to Full Benchmark Đang mở

linguistic_structure

bigscience-workshop/evaluation#23 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
[Feature request] run ElasticSearch index over entry titles and descriptions Đang mở

enhancement help wanted

bigscience-workshop/data_sourcing#5 · 1 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
Add POS Tagging with UD to Full Benchmark Đang mở

linguistic_structure multilingual

bigscience-workshop/evaluation#24 · 1 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
[Feature Request] Prompt for Primary Sources of a Processed Dataset when selecting Other Đang mở

bigscience-workshop/data_sourcing#6 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Add LinCE Testbed to Full Benchmark Đang mở

In-Progress linguistic_structure multilingual

bigscience-workshop/evaluation#25 · 2 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
[Feature Request] Switching modes with Open Sections Đang mở

bigscience-workshop/data_sourcing#7 · 0 bình luận · 1 reaction · 0 người được giao · Lập chỉ mục 14/9/2026
Add LAMA to Full Benchmark Đang mở

In-Progress linguistic_structure

bigscience-workshop/evaluation#26 · 6 bình luận · 0 reaction · 1 người được giao · Lập chỉ mục 14/9/2026
[Bug] Error Validating when Primary source type is other Đang mở

bigscience-workshop/data_sourcing#10 · 0 bình luận · 0 reaction · 0 người được giao · Lập chỉ mục 14/9/2026

Đang hiển thị 100 mục mới nhất

Trang này chỉ liệt kê những gì được lập chỉ mục gần đây. Bộ lọc nâng cao có toàn bộ kho, thu hẹp theo ngôn ngữ, độ khó và thời lượng.

Mở bộ lọc nâng cao

bigscience-workshop

Đang hiển thị 100 mục mới nhất

Nhận issue mới trong hộp thư của bạn