microsoft / microsoft/PyRIT

DOC Identify and Document Relevant Datasets from Safety Prompts

Aperta
#429 13 commenti 0 reazioni 2 assegnatari Vedi su GitHub

@Lakshmiaddepalli ci sta già lavorando.

Dal 4/10/2024.

datasets documentation good first issue
Lingua principale
Python
Stelle
4.5k
Fork
893
Merge medio
3g 50m
PR unite (30g)
165

Descrizione

We recently discovered https://safetyprompts.com/, which has so many datasets!

We need help going through the website and creating a list of relevant datasets. A relevant dataset is one which contains red teaming prompts for different harm categories. For each relevant dataset, highlight which columns (e.g. prompt column in #420) can be used for red teaming prompts and post that information as a comment in this issue.

Expected Format (Example)

Name: LLM-LAT/harmful-dataset
Link: https://huggingface.co/datasets/LLM-LAT/harmful-dataset
Relevant Columns: "prompt"

Additional Context

We have datasets documented under orchestrators here: https://github.com/search?q=repo%3AAzure%2FPyRIT%20The%20dataset%20sources%20can%20be%20found%20at&type=code

Those dataset fetch functions are here: https://github.com/Azure/PyRIT/blob/main/pyrit/datasets/fetch_example_datasets.py

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Valutazione

Questa issue non è ancora stata valutata.

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.