Si un chatbot commet une erreur, l'utilisateur s'en rend compte et passe outre. Si un agent commet une erreur, il a déjà envoyé un e-mail, supprimé un fichier ou appelé l'API de facturation. La différence au niveau des conséquences entraîne une différence sur le plan technique.
Erreur cumulée en fonction du nombre de pas
Supposons que chaque étape ait une probabilité de réussite de 95 %. Une série de dix étapes donne un taux de réussite d'environ 60 %. Une série de vingt étapes tombe quant à elle en dessous de 40 %. C'est la raison pour laquelle l'agent fonctionne bien dans la démo en trois étapes, mais échoue dans le processus réel.
La solution ne réside pas dans un modèle plus performant, mais dans le raccourcissement de la chaîne : regrouper plusieurs petites étapes en un seul outil plus puissant, et pré-générer les parties identifiables à l'aide de code standard.
La description d'un outil est plus importante que vous ne le pensez
Le modèle de sélection des outils repose sur leur nom et leur description. Le fait que deux outils aient des descriptions similaires est une source majeure d'erreurs. La description doit préciser clairement quand les utiliser et quand ne pas les utiliser, et inclure des exemples de paramètres valides.
Il en va de même pour le nombre d'outils : trop de choix réduit le taux de réussite. Regroupez-les par tâche et ne fournissez que l'ensemble nécessaire au contexte actuel.
La limite de sécurité doit se situer en dehors du modèle
Ne comptez pas sur les avertissements pour empêcher un agent de commettre des actions dangereuses — les avertissements sont des conseils, pas des barrières. Les autorisations doivent être bloquées au niveau du système :
- La clé API ne dispose que des droits minimaux nécessaires à l'
- Les opérations irréversibles nécessitent la confirmation
- Fonctionner dans un environnement isolé, avec un accès réseau limité
- Consigner de manière exhaustive tous les appels aux outils afin de permettre la traçabilité en cas d'incident
Insérer des messages d'alerte à partir des données
L'agent lit des pages Web, des e-mails, des fichiers — et ces contenus peuvent contenir des instructions qui le visent directement. Principe incontournable : les données provenant de l'extérieur ne sont que des données, jamais des ordres. Concevez le système de manière à ce qu'il n'y ait aucun moyen pour que le contenu lu se transforme en une action non contrôlée.
Thảo luận