cloudflare / cloudflare/developer-platform

Workers AI: need opt-out for NSFW content filter on image generation models

Aperta
#58 2 commenti 1 reazione 0 assegnatari Vedi su GitHub
product:workers-ai
Lingua principale
Nessun dato sulla lingua
Stelle
1
Fork
0
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

The NSFW content filter on Flux image models (flux-1-schnell, flux-2-klein-4b, flux-2-klein-9b) has aggressive false positives that make these models unusable for production workloads.

**The problem**: single words like "hamburger", portrait descriptions like "a man in his late 50s wearing a suit", and other completely benign prompts trigger error 3030 (`AiError: Input prompt contains NSFW content`). There is no parameter to disable or tune the filter sensitivity.

I'm using `@cf/black-forest-labs/flux-2-klein-9b` for generating logo text via img2img. Completely innocuous brand names get flagged with no recourse. Adding more context to prompts helps sometimes but is not reliable. This makes Workers AI image generation impossible to depend on for any user-facing feature.

Your own SDK tests acknowledge this. From https://github.com/cloudflare/ai/pull/396:

> Flux 1 Schnell content filter has intermittent false positives on innocuous prompts. We changed the test prompt but it still occasionally triggers via the binding path.

The Cloudflare community thread has been open since Oct 2024 with many reports and no resolution: https://community.cloudflare.com/t/image-rendering-issue-with-flux-api-nsfw-warning/729440

**Request**: add an optional parameter (e.g. `skip_content_filter: true` or `content_filter: "off"`) to image generation models so developers can opt out of the filter when their use case doesn't require it.

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia esaminando i test dell’SDK e il comportamento di binding-path menzionato in PR 396, quindi traccia il percorso dei parametri di generazione delle immagini fino ai modelli Flux elencati. Il lavoro è completato quando è supportato un parametro opzionale di opt-out o di regolazione per questi modelli, mantenendo disponibile per impostazione predefinita il comportamento di filtraggio esistente.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Ambito
ai, cloud
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Tranquilla
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.