Propietario

bigscience-workshop

21 repositorios indexados · Ver en GitHub

petals
🌸 Run LLMs at home, BitTorrent-style. Fine-tuning and inference up to 10x faster than offloading

Python · 10565 estrellas
promptsource
Toolkit for creating, sharing and using natural language prompts.

Python · 3034 estrellas
Megatron-DeepSpeed
Ongoing research training transformer language models at scale, including: BERT & GPT-2

Python · 1448 estrellas
bigscience
Central place for the engineering/scaling WG: documentation, SLURM scripts and logs, compute environment and data.

Shell · 1019 estrellas
xmtf
Crosslingual Generalization through Multitask Finetuning

Jupyter Notebook · 534 estrellas
biomedical
Tools for curating biomedical training data for large-scale language modeling

Python · 505 estrellas
t-zero
Reproduce results and replicate training fo T0 (Multitask Prompted Training Enables Zero-Shot Task Generalization)

Python · 463 estrellas
data-preparation
Code used for sourcing and cleaning the BigScience ROOTS corpus

Jupyter Notebook · 318 estrellas
lam
Libraries, Archives and Museums (LAM)

91 estrellas
data_tooling
Tools for managing datasets for governance and training.

HTML · 91 estrellas
multilingual-modeling
BLOOM+1: Adapting BLOOM model to support a new unseen language

Python · 75 estrellas
evaluation
Code and Data for Evaluation WG

Python · 42 estrellas
data_sourcing
This directory gathers the tools developed by the Data Sourcing Working Group

Python · 31 estrellas
metadata
Experiments on including metadata such as URLs, timestamps, website descriptions and HTML tags during pretraining.

Python · 29 estrellas
carbon-footprint
A repository for `codecarbon` logs.

Jupyter Notebook · 13 estrellas
tokenization

Python · 11 estrellas
pii_processing
PII Processing code to detect and remediate PII in BigScience datasets. Reference implementation for the PII Hackathon

Python · 9 estrellas
ShadesofBias
Evaluation for Shades of Bias in Text

HTML · 9 estrellas
catalogue_data
Scripts to prepare catalogue data

Jupyter Notebook · 8 estrellas
training_dynamics

5 estrellas
1 repositorio más está en Ver en GitHub

Abierto Todos

Imlement tests for abstract structures such as in Curcuits thread Abierto

bigscience-workshop/interpretability-ideas#1 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Implement and perform the interpretability analysis of the BigScience models Abierto

bigscience-workshop/interpretability-ideas#2 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Integrate existing tools: Captum, LIT, AllenNLP Interpret, NeuroX into the HF pipeline Abierto

bigscience-workshop/interpretability-ideas#3 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Implement the unified attention interpretation API for similar models Abierto

bigscience-workshop/interpretability-ideas#4 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Implement the unified activations interpretation API for similar models Abierto

bigscience-workshop/interpretability-ideas#5 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Provide the unified interpretability cookbooks Abierto

bigscience-workshop/interpretability-ideas#6 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Provide the unified Interpretability API for both Huggingface and NON-Huggingface models Abierto

bigscience-workshop/interpretability-ideas#7 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Allow to probe an arbitrary model's checkpoints with the off-the-shelf probes Abierto

bigscience-workshop/interpretability-ideas#8 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Research: probe for recursion in networks Abierto

bigscience-workshop/interpretability-ideas#9 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Implement the paper: https://arxiv.org/abs/nlin/0409024 Abierto

bigscience-workshop/interpretability-ideas#10 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Implement the structural probe for syntax structure in Manning and Hewitt 2019 Abierto

good first issue

bigscience-workshop/training_dynamics#1 · 4 comentarios · 0 reacciones · 1 asignado · Indexado el 14/9/2026
Test initial structural probes on BERT to replicate Manning and Hewitt results Abierto

bigscience-workshop/training_dynamics#2 · 1 comentario · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Implement the parse depth structural probe (from A Structural Probe for Finding Syntax in Word Representations) Abierto

good first issue

bigscience-workshop/training_dynamics#3 · 1 comentario · 0 reacciones · 1 asignado · Indexado el 14/9/2026
Implement differentiable weight masks for modularity detection (from Are Neural Nets Modular? Inspecting Functional Modularity Through Differentiable Weight Masks) Abierto

good first issue

bigscience-workshop/training_dynamics#4 · 1 comentario · 0 reacciones · 1 asignado · Indexado el 14/9/2026
Implement the SentEval methods (linear and MLP; from What you can cram into a single {\$}{\&}!{\#}* vector: Probing sentence embeddings for linguistic properties) Abierto

good first issue

bigscience-workshop/training_dynamics#6 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Implement the control tasks technique to ensure probes are selective (from Designing and Interpreting Probes with Control Tasks) Abierto

bigscience-workshop/training_dynamics#7 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Implement saliency methods (from: The elephant in the interpretability room: Why use attention as explanation when we have saliency methods?) Abierto

bigscience-workshop/training_dynamics#8 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Implement auxiliary prediction tasks (from: Fine-grained Analysis of Sentence Embeddings Using Auxiliary Prediction Tasks) Abierto

bigscience-workshop/training_dynamics#9 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Extract the dataset or data generating process from (Yao et. al. 2021) Abierto

bigscience-workshop/training_dynamics#10 · 0 comentarios · 0 reacciones · 1 asignado · Indexado el 14/9/2026
Set up infrastructure to isolate specific layers or groups of layers in the network for probing Abierto

bigscience-workshop/training_dynamics#11 · 0 comentarios · 0 reacciones · 1 asignado · Indexado el 14/9/2026
Design initial probes Abierto

bigscience-workshop/training_dynamics#12 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Wiki-based dataset cleaning Abierto

bigscience-workshop/catalogue_data#5 · 7 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Repeated lines across examples Abierto

bigscience-workshop/catalogue_data#6 · 3 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Removing dataset lm_en_a_million_news_headlines_abc_australia Abierto

bigscience-workshop/catalogue_data#8 · 2 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Catching crawling noise + ads Abierto

bigscience-workshop/catalogue_data#9 · 6 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
S2ORC vs Arxiv vs PMC Abierto

bigscience-workshop/catalogue_data#11 · 6 comentarios · 1 reacción · 0 asignados · Indexado el 14/9/2026
Add WMT to Full Benchmark Abierto

MT

bigscience-workshop/evaluation#4 · 2 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Add DiaBLa to Full Benchmark Abierto

MT

bigscience-workshop/evaluation#5 · 5 comentarios · 0 reacciones · 1 asignado · Indexado el 14/9/2026
Add SuperGLUE Tasks to Full Benchmark Abierto

NLU

bigscience-workshop/evaluation#6 · 2 comentarios · 0 reacciones · 1 asignado · Indexado el 14/9/2026
Add TyDiQA to Full Benchmark Abierto

multilingual NLU

bigscience-workshop/evaluation#7 · 3 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Add Flores 101 to to Full Benchmark (as LM tasks, not MT tasks) Abierto

multilingual NLG

bigscience-workshop/evaluation#10 · 1 comentario · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Add GEM MLSum to Full Benchmark Abierto

help wanted In-Progress NLG

bigscience-workshop/evaluation#11 · 2 comentarios · 0 reacciones · 1 asignado · Indexado el 14/9/2026
Add GEM Wikilingua to Full Benchmark Abierto

NLG

bigscience-workshop/evaluation#13 · 1 comentario · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Add GEM WikiAuto to Full Benchmark Abierto

In-Progress NLG

bigscience-workshop/evaluation#14 · 1 comentario · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Add GEM Response Generation to Full Benchmark Abierto

NLG

bigscience-workshop/evaluation#15 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Add GEM ToTTo to Full Benchmark Abierto

In-Progress NLG

bigscience-workshop/evaluation#16 · 3 comentarios · 0 reacciones · 1 asignado · Indexado el 14/9/2026
Add GEM WebNLG to Full Benchmark Abierto

In-Progress NLG

bigscience-workshop/evaluation#17 · 2 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Add GEM E2E to Full Benchmark Abierto

NLG

bigscience-workshop/evaluation#18 · 2 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Add CRD3 to Full Benchmark Abierto

NLG

bigscience-workshop/evaluation#19 · 2 comentarios · 0 reacciones · 1 asignado · Indexado el 14/9/2026
Add MasaskhaNER to Full Benchmark Abierto

multilingual NER

bigscience-workshop/evaluation#20 · 5 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Add WikiANN to Full Benchmark Abierto

multilingual NER

bigscience-workshop/evaluation#21 · 7 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Add BLiMP to Full Benchmark Abierto

In-Progress linguistic_structure

bigscience-workshop/evaluation#22 · 5 comentarios · 0 reacciones · 1 asignado · Indexado el 14/9/2026
Add QA-SRL to Full Benchmark Abierto

linguistic_structure

bigscience-workshop/evaluation#23 · 2 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
[Feature request] run ElasticSearch index over entry titles and descriptions Abierto

enhancement help wanted

bigscience-workshop/data_sourcing#5 · 1 comentario · 0 reacciones · 1 asignado · Indexado el 14/9/2026
Add POS Tagging with UD to Full Benchmark Abierto

linguistic_structure multilingual

bigscience-workshop/evaluation#24 · 1 comentario · 0 reacciones · 0 asignados · Indexado el 14/9/2026
[Feature Request] Prompt for Primary Sources of a Processed Dataset when selecting Other Abierto

bigscience-workshop/data_sourcing#6 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
Add LinCE Testbed to Full Benchmark Abierto

In-Progress linguistic_structure multilingual

bigscience-workshop/evaluation#25 · 2 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026
[Feature Request] Switching modes with Open Sections Abierto

bigscience-workshop/data_sourcing#7 · 0 comentarios · 1 reacción · 0 asignados · Indexado el 14/9/2026
Add LAMA to Full Benchmark Abierto

In-Progress linguistic_structure

bigscience-workshop/evaluation#26 · 6 comentarios · 0 reacciones · 1 asignado · Indexado el 14/9/2026
[Bug] Error Validating when Primary source type is other Abierto

bigscience-workshop/data_sourcing#10 · 0 comentarios · 0 reacciones · 0 asignados · Indexado el 14/9/2026

Mostrando los 100 más recientes

Esta página solo lista lo indexado más recientemente. El filtro avanzado tiene el inventario completo, acotado por lenguaje, dificultad y duración.

Abrir el filtro avanzado

bigscience-workshop

Mostrando los 100 más recientes

Recibe los nuevos issues en tu correo