Azure / Azure/azure-sdk-for-python

AdversarialSimulator should allow caller to specify a particular category of harm for generation

Offen
#40,749 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
Client customer-reported Evaluation feature-request needs-team-attention Service Attention
Vorherrschende Sprache
Python
Sterne
5.6k
Forks
3.4k
Ø Merge
2 T. 2 Std.
Gemergte PRs (30 T.)
213

Beschreibung

**Is your feature request related to a problem? Please describe.**
My team uses the Azure AI simulator APIs to test the behavior of our generative AI system against harmful inputs. The simulator APIs, best as I can tell, do not give callers the ability to specify the category of harm that it is producing data for.

**Describe the solution you'd like**
The APIs should take additional parameters that allow callers to generate inputs that all map to a specific category of harm, e.g., only violent content, only self-harm content, etc.- or any combination thereof.

**Describe alternatives you've considered**
The only way to generate enough volume of a specific harm is to call the simulator sufficiently many times- but that results in a lot of unnecessary harmful data being generated which we have to then throw away. It'd be much nicer to have the finer-grained control via the API.

**Additional context**
Add any other context or screenshots about the feature request here.

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne damit, die AdversarialSimulator API im Python SDK zu finden und zu prüfen, wie die aktuellen Eingaben für die Generierung bereitgestellt werden. Lege fest, wie Aufrufer eine oder mehrere Schadenskategorien auswählen, und verifiziere anschließend, dass die Generierung nur auf diese Kategorien abzielen kann, ohne verworfene Ausgabe zu erfordern.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
azure, python
Bereich
ai, api
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
30/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.