Testez vos prompts IA avec une comparaison A/B
Une réponse convaincante ne suffit pas à valider un prompt. Réunissez quelques cas représentatifs et définissez les critères d’une bonne réponse avant de revoir la consigne.
- Préparez un cas courant, un cas court et un cas incomplet. Vérifiez l’exactitude, le respect du format et la gestion des informations manquantes.
- Pour comparer des prompts, gardez le modèle et l’entrée identiques. Pour comparer des modèles, gardez le prompt et l’entrée identiques.
- Utilisez les outils Pro pour examiner les réponses côte à côte. Retenez la version la plus régulière et signalez les sorties à vérifier manuellement.
Exemple concret
Comparez deux prompts qui résument un ticket d’assistance. Dans B, ajoutez « écris inconnu si une information manque ». Testez un ticket sans numéro de commande et vérifiez si l’une des réponses invente ce numéro.
Puis-je faire la comparaison dans mon propre outil ?
Oui. Copiez les deux versions dans le même outil et évaluez les réponses selon les mêmes critères. Le test intégré et la comparaison dans l’espace de travail sont réservés à Pro.