microsoft / microsoft/PyRIT

DOC Identify and Document Relevant Datasets from Safety Prompts

Offen
#429 13 Kommentare 0 Reaktionen 2 zugewiesene Personen Auf GitHub ansehen

@Lakshmiaddepalli arbeitet bereits daran.

Seit 04.10.2024.

datasets documentation good first issue
Vorherrschende Sprache
Python
Sterne
4.5k
Forks
893
Ø Merge
3 T. 50 Min.
Gemergte PRs (30 T.)
165

Beschreibung

We recently discovered https://safetyprompts.com/, which has so many datasets!

We need help going through the website and creating a list of relevant datasets. A relevant dataset is one which contains red teaming prompts for different harm categories. For each relevant dataset, highlight which columns (e.g. prompt column in #420) can be used for red teaming prompts and post that information as a comment in this issue.

Expected Format (Example)

Name: LLM-LAT/harmful-dataset
Link: https://huggingface.co/datasets/LLM-LAT/harmful-dataset
Relevant Columns: "prompt"

Additional Context

We have datasets documented under orchestrators here: https://github.com/search?q=repo%3AAzure%2FPyRIT%20The%20dataset%20sources%20can%20be%20found%20at&type=code

Those dataset fetch functions are here: https://github.com/Azure/PyRIT/blob/main/pyrit/datasets/fetch_example_datasets.py

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.