Interprétez les scores de confiance d’une API d’image avec des exemples annotés, des évaluations par catégorie et des actions pour les cas incertains.
1. Un score n’est pas automatiquement une probabilité
Un score fourni par une API doit être interprété selon sa documentation. Il ne prouve pas à lui seul la probabilité qu’une image viole votre politique.
2. Partir de la politique
Définissez les catégories, l’action attendue et le coût relatif des faux positifs et des violations manquées. Un seuil unique pour toutes les catégories est rarement justifié.
3. Constituer des exemples annotés
Utilisez des images représentatives, des cas difficiles et des exemples autorisés proches de la frontière. Faites réviser les labels et conservez les désaccords.
4. Évaluer par catégorie
Mesurez précision, rappel, faux positifs, latence et charge de revue par catégorie, langue, surface et type d’image. Une moyenne peut cacher une faiblesse importante.
5. Définir une zone d’incertitude
Un score intermédiaire peut déclencher revue, correction ou limitation plutôt qu’un blocage automatique. Le comportement doit être défini avant l’observation des résultats.
6. Tester la dérive
La composition des images évolue avec les produits, campagnes et comportements de contournement. Réévaluez les seuils lorsque le trafic ou la politique change.
7. Ne pas comparer des scores incomparables
Les scores de deux systèmes, modalités ou versions ne sont pas nécessairement sur la même échelle. Comparez les décisions finales sur les mêmes exemples et la même politique.
8. Faire des seuils une décision gouvernée
Documentez qui approuve, publie et peut revenir sur un seuil. Avec Bodyguard, discutez des catégories, du contexte et des données nécessaires pour une évaluation utile.
Sources
- Bodyguard — API Solution : https://www.bodyguard.ai/en/api/solution
- Bodyguard — API Comparison : https://www.bodyguard.ai/en/api/comparison
- Bodyguard — Text Moderation : https://www.bodyguard.ai/en/product/text-moderation
