Azure / Azure/azure-sdk-for-python

AI foundry - New built-in role to peform "human-in-the-loop" review of evals outcome so that security evals outcome/data is protected using least privilegeby

Aperta
#41,141 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub
AI bug customer-reported needs-team-attention Service Attention
Lingua principale
Python
Stelle
5.6k
Fork
3.4k
Merge medio
2g 2h
PR unite (30g)
213

Descrizione

**Is your feature request related to a problem? Please describe.**
Currently anyone having access to AI Foundry priject can view security evals outcome. howver, these might be sensitive so as to restrict only few people in an org to view and analyse it. There is "BLUR" button but looks like anyone with access to AI Foundry project can toggle it to see the evals outcome.

This is an issue because if evals are run for prompt injection attacks or code vulnerabilties then anyone who is having access to AI Foundry project can view the "bad prompts" and might use it to harm organisation (insider threat).

Ideally, access to evals results has to be controlled via separate role.

**Describe the solution you'd like**
New built in role to allow view of evals results

**Describe alternatives you've considered**
No alternative currently

**Additional context**

Image

Image

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Nell'issue non sono identificati file del repository, test o punti di ingresso. Inizia individuando l'accesso ai risultati delle valutazioni di Azure AI Foundry e le definizioni dei ruoli, quindi determina in che modo un ruolo integrato separato limiterebbe la visualizzazione e l'analisi. Il lavoro è completato quando gli utenti autorizzati possono visualizzare i risultati delle valutazioni, mentre gli altri utenti del progetto non possono farlo.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
azure, python
Ambito
ai, security
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Abbastanza chiara
Idoneità per principianti
22/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.