Quand on confie un travail à un agent IA, la tentation est de tout faire valider. Par prudence. Le risque est vite là : chaque action attend un clic, les validations s’empilent, et l’on finit par approuver sans lire. L’excès inverse, tout laisser faire, n’est pas plus sûr.
La validation humaine n’est pas un interrupteur général. C’est un réglage, action par action, qui dépend du risque.
La question à poser pour chaque action
Pour savoir si une action doit attendre une personne, une question suffit : si l’agent se trompe, qu’est-ce que cela coûte, et peut-on revenir en arrière ?
- Classer une facture, rattacher un ticket à un incident, mettre à jour un suivi : une erreur se voit et se corrige. L’agent peut le faire seul, à condition que chaque action laisse une trace.
- Payer, accorder une remise, rembourser un client : une erreur engage l’entreprise, et elle ne se rattrape pas toujours. Ces actions attendent une validation.
L’OWASP, qui publie une référence sur les risques de sécurité des applications d’IA, va dans le même sens. Parmi les mesures contre ce qu’il appelle l’« autonomie excessive », il recommande d’exiger l’approbation d’une personne pour les actions à fort impact, et de ne donner à l’agent que les permissions dont il a besoin.
Ce qu’un agent ne doit jamais faire seul
Quel que soit le métier, on retrouve les mêmes familles d’actions :
- Faire sortir de l’argent : un paiement hors seuil, un remboursement, un geste commercial.
- Changer une coordonnée sensible : un nouveau RIB fournisseur en est l’exemple type.
- Engager l’entreprise auprès d’un client : une remise au-delà de la grille, une clause modifiée, une réponse qui sort de ce que vous avez validé.
- Trancher quand il doute : un montant illisible, une correspondance incertaine. L’agent signale le doute au lieu de deviner.
Sur les trois cas d’usage du site, un réglage courant ressemble à ceci :
Le cas du RIB modifié
Le faux changement de RIB envoyé au nom d’un fournisseur est une variante connue de la fraude au faux ordre de virement. Cybermalveillance.gouv.fr recommande une procédure de vérification et de validation hiérarchique interne, sans dérogation possible, pour tout changement de coordonnées bancaires. Un agent repère le changement. La confirmation, par un canal déjà connu, reste humaine.
Une validation utile se prépare
Une demande de validation ne doit pas obliger à refaire le travail. Elle arrive avec le problème déjà identifié : la ligne en cause, la règle qui ne passe pas, le document qui fait foi, et ce que l’agent a cherché sans le trouver. La personne décide sur pièces, sans refaire l’enquête.
Trois principes rendent ce réglage fiable :
- Les calculs ne sont pas confiés à l’IA. Un écart de montant ou un dépassement de seuil est calculé par du code. L’IA lit les documents, le code compare.
- Le blocage est dans le système, pas dans une simple consigne donnée à l’IA. L’agent n’a tout simplement pas le moyen d’exécuter seul ce qui doit être validé. Le plus souvent, il prépare ; une personne exécute.
- Chaque vérification laisse une trace. Ce que l’agent a fait seul se relit après coup, ce qui permet d’élargir ou de resserrer son autonomie en connaissance de cause.
Par où commencer
Listez les actions du processus que vous voulez confier à un agent. Pour chacune, posez la question du coût d’une erreur, puis décidez : seul, soumis, ou hors de sa portée. Ce réglage se fait au cadrage, et se teste sur vos vrais documents avant la mise en service.
Pour voir comment ces garde-fous se présentent dans un agent sur mesure, la page d’accueil détaille les règles que suit chaque agent.
