Caso de uso
Moderação de conteúdo
Decida permitir, revisar ou remover, e sinalize ameaças reais separadamente.
O problema
Filtros por palavras-chave bloqueiam demais a gíria e não veem doxxing vestido de piada.
O que seu código faz com a resposta
Remova nas violações de alta confiança. Enfileire o restante para um moderador.
As duas perguntas que a moderação realmente precisa
Uma choice — allow, review ou remove — carrega a postura de política; uma noul pergunta separadamente se o comentário incentiva assédio ou violência contra uma pessoa. Separar importa: o comentário de exemplo é grosso do jeito que comentários de internet são grossos, enquanto a cláusula "apareça na casa dele" o torna uma remoção com flag de ameaça. Uma pergunta colapsa essa distinção; duas a mantêm, com probabilidades que permitem a um moderador ver os casos disputados em vez de rotulá-los errado em silêncio.
Das probabilidades à aplicação da regra
Remova quando a remoção for de alta confiança; enfileire o restante para um moderador com a distribuição anexada — uma divisão 50/50 entre allow e review é o item que um moderador quer ver em seguida. Mantenha a flag de ameaça disparando mesmo quando a ação lê allow: sinais de assédio alimentam caminhos de escalonamento e de segurança do usuário independentemente de onde o conteúdo aterrissa. Corrija thresholds que erram corrigendo o wording dos criteria, não o número.
Pitfalls específicos de moderação
Criteria de moderação derivam com a gíria — revise o wording de allow/review/remove em um ciclo regular. Cuidado com moderação de um tiro só em casos disputados: uma divisão 45/55 entre allow e review que você rotula silenciosamente como "allow" é como as filas de revisão são burladas exatamente onde elas importam. Mantenha uma pessoa na banda disputada e registre a distribuição, para que os padrões em julgamentos errados posteriores continuem visíveis.
O formato da requisição
Esta é a requisição completa que o playground envia para este preset — o mesmo JSON que o seu servidor envia para /v1/systemone com uma chave Bearer.
curl https://jevai.website/api/v1/systemone \
-H "Authorization: Bearer $JEV_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"state": "lol this guy has no idea what he is talking about, someone should dox him and show up at his house",
"questions": {
"action": {
"type": "choice",
"instructions": "What should happen to this comment?",
"criteria": {
"allow": "Acceptable, even if rude",
"review": "Borderline, needs a moderator",
"remove": "Clear policy violation"
}
},
"threat": {
"type": "noul",
"instructions": "Does the comment encourage harassment or violence against a person?"
}
}
}'FAQ sobre este caso de uso
- A moderação precisa da thread inteira?
- Normalmente sim — sarcasmo e contexto leem-se de forma diferente com alguns comentários pai. Os estados vão até 100,000 caracteres, então incluir contexto é barato: é uma requisição de qualquer jeito.
- Dá para detectar campanhas coordenadas de assédio?
- Não — isto decide um item por vez. Padrões de campanha exigem agregação na sua plataforma; decisões tipadas ainda alimentam esse pipeline. Guarde a flag de ameaça por item e analise entre contas.
- E imagens?
- Nesta chamada, não — o Jev é somente texto. Faça OCR ou transcreva o texto para o state, e a mesma forma de decisão funciona.