cloudflare / cloudflare/developer-platform

Workers AI: need opt-out for NSFW content filter on image generation models

Abierto
#58 2 comentarios 1 reacción 0 asignados Ver en GitHub
product:workers-ai
Lenguaje dominante
Sin datos de lenguaje
Estrellas
1
Forks
0
Métricas de merge de PR
Sin PR fusionados en 30 d

Descripción

The NSFW content filter on Flux image models (flux-1-schnell, flux-2-klein-4b, flux-2-klein-9b) has aggressive false positives that make these models unusable for production workloads.

**The problem**: single words like "hamburger", portrait descriptions like "a man in his late 50s wearing a suit", and other completely benign prompts trigger error 3030 (`AiError: Input prompt contains NSFW content`). There is no parameter to disable or tune the filter sensitivity.

I'm using `@cf/black-forest-labs/flux-2-klein-9b` for generating logo text via img2img. Completely innocuous brand names get flagged with no recourse. Adding more context to prompts helps sometimes but is not reliable. This makes Workers AI image generation impossible to depend on for any user-facing feature.

Your own SDK tests acknowledge this. From https://github.com/cloudflare/ai/pull/396:

> Flux 1 Schnell content filter has intermittent false positives on innocuous prompts. We changed the test prompt but it still occasionally triggers via the binding path.

The Cloudflare community thread has been open since Oct 2024 with many reports and no resolution: https://community.cloudflare.com/t/image-rendering-issue-with-flux-api-nsfw-warning/729440

**Request**: add an optional parameter (e.g. `skip_content_filter: true` or `content_filter: "off"`) to image generation models so developers can opt out of the filter when their use case doesn't require it.

Guía de contribución

Abrir la guía de contribución

Línea de trabajo

Comienza revisando las pruebas del SDK y el comportamiento de binding-path referenciado en PR 396; después, sigue el recorrido de los parámetros de generación de imágenes hasta los modelos Flux indicados. Se considera completado cuando se admita un parámetro opcional de exclusión o ajuste para esos modelos, mientras el comportamiento de filtrado existente siga estando disponible de forma predeterminada.

Escrito por el modelo de indexación a partir del texto del issue.

Evaluación

Área
ai, cloud
Tipo de issue
Nueva funcionalidad
Dificultad
5/5
Tiempo estimado
Más de una semana
Estado de actividad
Tranquilo
Claridad
Bastante claro
Aptitud para principiantes
35/100

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.