Azure / Azure/azure-sdk-for-python
AdversarialSimulator should allow caller to specify a particular category of harm for generation
- Vorherrschende Sprache
- Python
- Sterne
- 5.6k
- Forks
- 3.4k
- Ø Merge
- 2 T. 2 Std.
- Gemergte PRs (30 T.)
- 213
Beschreibung
**Is your feature request related to a problem? Please describe.**
My team uses the Azure AI simulator APIs to test the behavior of our generative AI system against harmful inputs. The simulator APIs, best as I can tell, do not give callers the ability to specify the category of harm that it is producing data for.
**Describe the solution you'd like**
The APIs should take additional parameters that allow callers to generate inputs that all map to a specific category of harm, e.g., only violent content, only self-harm content, etc.- or any combination thereof.
**Describe alternatives you've considered**
The only way to generate enough volume of a specific harm is to call the simulator sufficiently many times- but that results in a lot of unnecessary harmful data being generated which we have to then throw away. It'd be much nicer to have the finer-grained control via the API.
**Additional context**
Add any other context or screenshots about the feature request here.
Beitragsleitfaden
Rechercherichtung
Beginne damit, die AdversarialSimulator API im Python SDK zu finden und zu prüfen, wie die aktuellen Eingaben für die Generierung bereitgestellt werden. Lege fest, wie Aufrufer eine oder mehrere Schadenskategorien auswählen, und verifiziere anschließend, dass die Generierung nur auf diese Kategorien abzielen kann, ohne verworfene Ausgabe zu erfordern.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- azure, python
- Bereich
- ai, api
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 30/100