Tester : bac à sable et scénarios
Éprouvez votre agent sur de vrais cas, d'abord seul face à lui, puis sur une batterie de scénarios notés, avant qu'un seul client ne lui parle.
Un agent ne devrait jamais découvrir un cas difficile en production. Magnitude vous donne deux terrains d'essai complémentaires, tous deux dans l'éditeur de l'agent : le bac à sable, pour lui parler vous-même à l'instant présent, et les scénarios, une batterie de tests enregistrés qu'un juge impartial note pour vous. Les deux rejouent exactement le cerveau qui part en ligne, donc ce que vous voyez ici est ce que vivra le client.
Le bac à sable
À droite de l'éditeur, un panneau de test reste ouvert en permanence. Vous y écrivez comme le ferait un client, et l'agent répond avec le cerveau que vous êtes en train de régler, sans rien envoyer et sans rien enregistrer. C'est le moyen le plus rapide de sentir son ton, sa justesse et ses limites avant de toucher à quoi que ce soit.
Pour un agent de site web, le panneau affiche le vrai widget, celui-là même que verront vos visiteurs, toujours ouvert et habillé en direct par les réglages d'apparence que vous modifiez à gauche. Pour un agent social, c'est une conversation de test qui, en plus de la réponse, fait remonter les actions silencieuses de l'agent sous forme de pastilles : passage d'étape d'un lead, valeur estimée, priorité, humeur détectée, résolution, transfert vers un humain. Vous voyez ainsi, en même temps que la réponse, comment votre suivi client va bouger.
Sous chaque réponse, l'aperçu vous montre aussi les sources : les documents de votre base de connaissances qui ont servi à répondre. Vous vérifiez d'un coup d'œil que l'agent s'appuie sur la bonne information, et non sur une invention.
Les documents cités sous une réponse s'affichent dans l'aperçu et pour votre équipe, jamais pour le client. Le visiteur ne voit que la réponse.
Un bouton « Journal des outils » ouvre le détail de tout ce que l'agent a fait pour répondre : chaque recherche dans vos connaissances, chaque requête sur vos données, chaque outil appelé, avec ses paramètres et son résultat. Le bouton « Réinitialiser » repart d'une conversation vierge. Comme le bac à sable lit vos modifications en cours, vous pouvez ajuster les instructions et retester aussitôt, sans publier.
L'onglet Scénarios
Le bac à sable teste une conversation à la fois. L'onglet « Scénarios » enregistre une batterie de cas que vous rejouez à la demande, autant de fois que vous voulez. Chaque scénario tient en une ligne : un message de client, et la réponse attendue. Pour un agent social, vous pouvez aussi cocher « Doit transférer à un humain » quand le bon comportement est de passer la main plutôt que de répondre.
Ce sont des tests à un tour : un message, une réponse. Ce choix est volontaire. En isolant un comportement par scénario, vous savez précisément ce qui a réussi ou échoué, sans qu'un long échange ne brouille le diagnostic.
La liste affiche pour chaque test la question, la réponse attendue et une pastille de statut. Dépliez une ligne pour lire la réponse attendue, la corriger, la valider, ou relancer ce test seul.
Générer les tests depuis vos vraies conversations
Vous n'écrivez pas cette batterie à la main. Cliquez sur « Générer » (ou « Régénérer » si des tests existent déjà) et choisissez la source. Deux options : « Vos vraies conversations », recommandée, et « Les instructions de l'agent », utile pour un agent tout neuf sans historique.
Avec la première, l'agent lit vos messages clients récents, en extrait les demandes distinctes réellement posées, ignore le bruit (« merci », « ok », les salutations seules, les messages vides), regroupe les variantes, puis compose une sélection variée et dédoublonnée qui couvre vos cas réels, du plus fréquent au plus rare. Chaque question retenue est ensuite rejouée à travers votre vrai agent, de sorte que la « Réponse attendue » est pré-remplie avec ce qu'il répond aujourd'hui.
À vous de relire. Les tests générés arrivent marqués « à vérifier » : vous confirmez la réponse quand elle est bonne, vous la corrigez quand elle ne l'est pas. Une réponse que vous corrigez et que l'agent ne sait pas encore reproduire devient un test rouge, jusqu'à ce que vous ajustiez ses instructions ou sa base de connaissances. C'est précisément le signal que vous cherchez.
La génération tourne en arrière-plan avec une barre de progression : vous pouvez quitter la page, elle continue, et les tests sont enregistrés au fil de l'eau. « Régénérer » ne touche qu'aux tests générés que vous n'avez pas encore relus ; vos tests manuels et toutes les réponses déjà validées sont conservés.
Un agent neuf n'a rien à exploiter. Choisissez alors « Les instructions de l'agent » : la batterie est synthétisée à partir de son cerveau. La rédaction des tests comme leur notation n'entament pas votre quota de messages.
Comment un test est noté
Lancez un test seul avec « Retester », ou toute la batterie avec « Tout tester ». Dans les deux cas, la question est rejouée à travers le vrai cerveau de l'agent, sans le moindre effet de bord : rien n'est envoyé au client, rien n'est enregistré, aucun transfert n'a réellement lieu.
Quand une réponse attendue est définie, un juge impartial compare la réponse produite à la vôtre par le sens, jamais par la formulation. Il est indulgent sur la forme et strict sur les faits. En parallèle, l'attente de transfert (pour les agents sociaux) est vérifiée exactement : l'agent a-t-il passé la main, oui ou non. Les deux doivent passer pour que la ligne devienne verte.
| Verdict | Quand |
|---|---|
| Réussi | La réponse transmet les mêmes faits et la même intention que la réponse attendue. Le ton, l'ordre, la longueur et la mise en forme sont ignorés. Des informations correctes en plus sont acceptées. |
| Échoué | Un fait diffère ou est contredit (prix, horaire, condition), une information attendue manque, l'agent invente ou promet à tort, il élude alors qu'il devrait répondre, ou il transfère quand il ne le fallait pas (ou l'inverse). |
Quand un test échoue, la ligne montre la réponse réellement produite, une justification en une phrase, et une suggestion concrète : ce qu'il faut préciser dans les instructions, ou l'information à ajouter à la base de connaissances. Si vous jugez la réponse acceptable malgré le verdict, « Marquer ce test comme réussi » laisse le dernier mot à votre jugement.
Tout tester avant de publier
« Tout tester » rejoue la batterie entière, une ligne après l'autre, chacune virant au vert ou au rouge en direct. Prenez l'habitude de le lancer avant chaque publication : une modification qui corrige un cas ne doit pas en casser un autre en silence. Une batterie toute verte est votre feu vert.
Quand tout passe, vous pouvez publier l'agent en confiance. Chaque version publiée est archivée : vous testez, vous publiez, et vous gardez une trace de ce qui était en ligne.
Écrire de bons scénarios
Que les tests soient générés ou ajoutés à la main, quelques réflexes les rendent utiles :
- Restez naturel : écrivez le message comme un client le taperait vraiment, fautes et raccourcis compris.
- Une attente par test : un message, un comportement à vérifier. C'est plus lisible qu'un long échange.
- Une réponse attendue factuelle : listez les faits qui doivent apparaître, pas un texte au mot près. Le juge note le sens, pas le style.
- Couvrez l'éventail : ne testez pas dix fois la même question, visez des sujets distincts.
Un agent tient très bien sur les questions faciles. Ce sont les cas limites qui le trahissent : une limite de prix ou une remise, un remboursement ou une annulation, une question hors sujet, un client visiblement en colère, et tout ce qui doit impérativement partir vers un humain. Ajoutez-en un scénario chacun : c'est là que se gagne la confiance.