Azure / Azure/azure-sdk-for-python

AdversarialSimulator should allow caller to specify a particular category of harm for generation

Aperta
#40,749 3 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Client customer-reported Evaluation feature-request needs-team-attention Service Attention
Lingua principale
Python
Stelle
5.6k
Fork
3.4k
Merge medio
2g
PR unite (30g)
217

Descrizione

**Is your feature request related to a problem? Please describe.**
My team uses the Azure AI simulator APIs to test the behavior of our generative AI system against harmful inputs. The simulator APIs, best as I can tell, do not give callers the ability to specify the category of harm that it is producing data for.

**Describe the solution you'd like**
The APIs should take additional parameters that allow callers to generate inputs that all map to a specific category of harm, e.g., only violent content, only self-harm content, etc.- or any combination thereof.

**Describe alternatives you've considered**
The only way to generate enough volume of a specific harm is to call the simulator sufficiently many times- but that results in a lot of unnecessary harmful data being generated which we have to then throw away. It'd be much nicer to have the finer-grained control via the API.

**Additional context**
Add any other context or screenshots about the feature request here.

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia individuando l'API AdversarialSimulator nel Python SDK e verificando come sono esposti attualmente i suoi input di generazione. Definisci come i chiamanti selezionano una o più categorie di danno, quindi verifica che la generazione possa puntare solo a quelle categorie senza richiedere output scartato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
azure, python
Ambito
ai, api
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
30/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.