IA
Construire un jeu d'évaluation avec les métiers
Par François Castellani, fondateur de SIMGSOFT ·Publié le 1 septembre 2026 · Mis à jour le 18 octobre 2026 · 12 min de lecture
Réponse courte
Le format qui marche
- Cas minimum
- 50
- Ateliers
- 2
- Auteurs
- Métiers
- Rejeu
- À chaque modif.
La question qui bloque les projets d'assistant interne n'est pas technique. Elle tient en une phrase entendue à chaque comité : « est-ce que la nouvelle version est meilleure ? ». Sans jeu d'évaluation, personne ne peut y répondre, et le projet avance par impressions contradictoires jusqu'à ce que la confiance s'épuise.
Sans jeu, rien n'est mesurable
Modifier un prompt, changer la taille des extraits, activer un filtre : chacune de ces décisions améliore certains cas et en dégrade d'autres. En l'absence de mesure, on ne voit que les cas récemment observés, c'est-à-dire ceux dont on vient de parler. C'est ainsi qu'une équipe tourne en rond pendant des semaines, corrigeant en alternance deux défauts symétriques.
Un jeu d'évaluation transforme cette discussion en un tableau : cinquante cas, deux versions, un écart chiffré et la liste nominative des cas qui ont régressé. La conversation change immédiatement de nature.
Deux ateliers suffisent
La construction du jeu n'est pas un chantier. Elle tient en deux séances avec les utilisateurs, séparées d'une semaine.
| Séance | Durée | Production |
|---|---|---|
| Atelier 1 — collecte | 2 heures, 4 à 6 participants | Chacun écrit dix questions réellement posées dans son travail, sans les reformuler |
| Entre les deux | 1 à 2 jours | Dédoublonnage, recherche de la réponse de référence et de sa source |
| Atelier 2 — validation | 2 heures | Validation des réponses attendues, cotation de la gravité d'une erreur |
La consigne du premier atelier est la plus importante : on ne veut pas de belles questions. On veut les questions telles qu'elles se posent, avec le jargon interne, les abréviations maison et les formulations incomplètes. Les questions polies par un ingénieur donnent un jeu d'évaluation flatteur et inutile.
Ce que contient un cas
| Champ | Rôle |
|---|---|
| Question | Telle qu'elle serait posée, sans reformulation |
| Réponse attendue | Le fond, pas la formulation exacte |
| Source qui fait foi | Document et section : permet de vérifier la citation |
| Profil demandeur | Détermine ce que la personne a le droit de voir |
| Gravité d'une erreur | Anodine, gênante, inacceptable |
| Type | Fait, synthèse, comparaison, question hors périmètre |
Deux catégories sont systématiquement oubliées et pourtant décisives. Les questionshors périmètre, dont la bonne réponse est un refus explicite : elles mesurent la capacité du système à dire qu'il ne sait pas. Et les questionspiégées par les droits, posées par un profil qui n'a pas accès à la donnée : la bonne réponse est de ne rien révéler, sujet développé dans notre guideRAG et données sensibles.
Un assistant qui répond juste à quarante-huit questions sur cinquante mais invente une réponse sur un sujet qu'il ignore est plus dangereux qu'un assistant qui répond juste quarante fois et refuse dix fois.
Noter sans se mentir
Une note globale sur cent ne sert à rien : elle masque les compensations entre catégories. Quatre critères notés séparément donnent une image exploitable.
- Exactitude. L'information est-elle juste ? C'est le critère principal, noté en trois niveaux plutôt qu'en pourcentage : juste, incomplet, faux.
- Traçabilité. La source citée existe-t-elle et contient-elle réellement l'information ? Une citation inventée doit compter comme une erreur grave.
- Périmètre. Le système a-t-il refusé ce qu'il devait refuser ?
- Utilisabilité. La réponse est-elle exploitable telle quelle par la personne qui l'a demandée ?
Le suivi se fait ensuite en trois chiffres par version : le taux de réponses justes, le nombre d'erreurs graves, et le nombre de cas régressés par rapport à la version précédente. Ce dernier chiffre est celui qui doit conditionner une mise en production : une amélioration moyenne qui casse trois cas critiques n'est pas une amélioration.
Faire vivre le jeu
Un jeu d'évaluation figé perd sa valeur en quelques mois, parce que les usages se déplacent. Trois habitudes le maintiennent utile sans en faire un projet à part entière.
- Alimenter par les échecs réels. Toute question mal traitée signalée par un utilisateur devient un cas, avec sa réponse attendue. Le jeu grandit par où le système souffre.
- Garder une réserve non regardée. Une dizaine de cas mis de côté, jamais utilisés pour ajuster le système, servent de contrôle : ils détectent le surajustement au jeu d'évaluation lui-même.
- Revoir la gravité une fois par an. Ce qui était anodin au démarrage devient parfois critique quand l'usage se généralise.
Le jeu d'évaluation finit par devenir le livrable le plus durable du projet. Les prompts changent, les modèles se remplacent, la base documentaire se réorganise : la définition écrite de ce qu'est une bonne réponse, elle, reste et vous appartient.
Sources
Textes et pages officielles consultés le 18 octobre 2026.
- Create strong empirical evaluations
Anthropic, documentation Claude
Cas représentatifs des usages réels et cas limites, comparaison des notations par code, humaine et par modèle.
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
L. Zheng et al., arXiv:2306.05685 (NeurIPS 2023)
Plus de 80 % d'accord avec les humains, mais biais de position, de verbosité et d'auto-complaisance du modèle juge.
Questions fréquentes
Cinquante cas bien choisis suffisent pour détecter une régression sur un périmètre métier délimité. En dessous de vingt, le bruit domine et deux exécutions successives donnent des résultats différents sans qu'aucun changement n'ait eu lieu. Au-delà de deux cents, le coût de maintenance dépasse le bénéfice pour la plupart des projets internes.
Les personnes qui poseront réellement ces questions, pas l'équipe technique. Un développeur écrit spontanément des questions bien formulées, complètes et sans fautes ; les utilisateurs écrivent des questions elliptiques, avec du vocabulaire maison et des sous-entendus. Ce sont les secondes qui prédisent le comportement en production.
Oui pour la première passe, non pour les cas critiques. La notation automatique fait gagner un temps considérable sur des critères vérifiables, comme la présence d'une information ou d'une citation. Les cas dont une erreur aurait des conséquences graves doivent rester notés par un humain compétent sur le sujet.
À chaque modification qui touche la chaîne : prompt, découpage, modèle, filtres, données. C'est précisément l'intérêt : transformer une modification incertaine en une comparaison chiffrée avant et après. Rejouer une fois par mois sans lien avec les changements n'apporte presque rien.
En les traitant à part, avec une réponse attendue exprimée sous forme de règle plutôt que de texte figé. « Doit citer la procédure en vigueur à la date de la question » est vérifiable dans le temps ; « doit répondre 14 jours » cesse d'être vrai à la première mise à jour de la procédure.
À lire ensuite
Besoin d'un avis sur votre cas ?
Décrivez votre contexte en trois lignes. On répond avec une estimation argumentée, pas un formulaire de qualification.
Poser la question →