Pourquoi en avoir besoin ?
Un agent peut enchaîner plusieurs outils et modifier des systèmes. La réponse générée par le modèle ne suffit donc pas à contrôler chaque conséquence.
Un garde-fou est une contrainte qui réduit les actions qu’un agent peut exécuter ou impose une validation avant une opération sensible.
Un agent peut enchaîner plusieurs outils et modifier des systèmes. La réponse générée par le modèle ne suffit donc pas à contrôler chaque conséquence.
Capacités, domaines autorisés, limites de montant, horaires, nombre d’actions et validation humaine sont des exemples de contraintes opérationnelles.
Un contrôle utile doit être proche du point où l’action est exécutée. C’est l’idée des garde-fous runtime : décider avant de laisser l’action atteindre le système cible.
Conforva combine politiques, évaluation d’action et audit. Consultez la page garde-fous pour l’approche produit.