Caso de uso
Moderación de contenido
Decide permitir, revisar o eliminar, y señala las amenazas reales por separado.
El problema
Los filtros por palabras clave bloquean de más la jerga y no ven el doxxing disfrazado de broma.
Qué hace tu código con la respuesta
Elimina las violaciones de alta confianza. Encola el resto para un moderador.
Las dos preguntas que la moderación realmente necesita
Un choice — permitir, revisar o eliminar — lleva la postura de política; un noul pregunta por separado si el comentario incita al acoso o a la violencia contra una persona. Separarlas importa: el comentario de ejemplo es grosero al estilo de los comentarios de internet, mientras que la cláusula de «presentarse en su casa» lo convierte en una eliminación con marca de amenaza. Una pregunta colapsa esa distinción; dos la mantienen, con probabilidades que dejan a un moderador ver los casos disputados en lugar de etiquetarlos mal en silencio.
De las probabilidades a la aplicación
Elimina ante una eliminación de alta confianza; encola el resto para un moderador con la distribución adjunta — un reparto 50/50 entre permitir y revisar es el ítem que un moderador quiere ver a continuación. Mantén la marca de amenaza activa incluso cuando la acción lea permitir: las señales de acoso alimentan el escalado y los caminos de seguridad del usuario sin importar adonde aterrice el contenido. Arregla los umbrales que fallan arreglando la redacción de los criteria, no el número.
Riesgos propios de la moderación
Los criteria de moderación derivan con la jerga — revisa la redacción de permitir/revisar/eliminar en un ciclo regular. Cuidado con la moderación de una sola pasada en los casos disputados: un reparto 45/55 entre permitir y revisar que etiquetas en silencio como «permitir» es justo cómo se burlan las colas de revisión allí donde importan. Mantén a una persona en la banda disputada y registra la distribución, para que los patrones de juicios erróneos posteriores sigan siendo visibles.
La forma de la solicitud
Esta es la solicitud completa que el playground envía para este preset — el mismo JSON que tu servidor envía a /v1/systemone con una clave Bearer.
curl https://jevai.website/api/v1/systemone \
-H "Authorization: Bearer $JEV_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"state": "lol this guy has no idea what he is talking about, someone should dox him and show up at his house",
"questions": {
"action": {
"type": "choice",
"instructions": "What should happen to this comment?",
"criteria": {
"allow": "Acceptable, even if rude",
"review": "Borderline, needs a moderator",
"remove": "Clear policy violation"
}
},
"threat": {
"type": "noul",
"instructions": "Does the comment encourage harassment or violence against a person?"
}
}
}'Preguntas frecuentes sobre este caso de uso
- ¿La moderación necesita el hilo completo?
- Normalmente sí — el sarcasmo y el contexto se leen distinto con un par de comentarios padre. Los estados llegan hasta 100.000 caracteres, así que incluir contexto es barato: es una sola solicitud de cualquier manera.
- ¿Puede detectar campañas coordinadas de acoso?
- No — esto decide un ítem a la vez. Los patrones de campaña requieren agregación en tu plataforma; las decisiones tipadas igualmente alimentan ese pipeline. Guarda la marca de amenaza por ítem y analiza entre cuentas.
- ¿Y las imágenes?
- No en esta llamada — Jev es solo texto. Haz OCR o transcribe el texto al estado y la misma forma de decisión funciona.