Aller au contenu

IA

Construire un jeu d'évaluation avec les métiers

Par , fondateur de SIMGSOFT ·Publié le 1 septembre 2026 · Mis à jour le 18 octobre 2026 · 12 min de lecture

Réponse courte

Sans jeu d'évaluation, une modification de prompt est un pari. Le jeu se construit avec les métiers, pas avec les développeurs : cinquante questions réellement posées, la réponse attendue, la source qui fait foi, et le niveau de gravité d'une erreur. Deux ateliers suffisent à le produire.

Le format qui marche

Cas minimum
50
Ateliers
2
Auteurs
Métiers
Rejeu
À chaque modif.

La question qui bloque les projets d'assistant interne n'est pas technique. Elle tient en une phrase entendue à chaque comité : « est-ce que la nouvelle version est meilleure ? ». Sans jeu d'évaluation, personne ne peut y répondre, et le projet avance par impressions contradictoires jusqu'à ce que la confiance s'épuise.

Sans jeu, rien n'est mesurable

Modifier un prompt, changer la taille des extraits, activer un filtre : chacune de ces décisions améliore certains cas et en dégrade d'autres. En l'absence de mesure, on ne voit que les cas récemment observés, c'est-à-dire ceux dont on vient de parler. C'est ainsi qu'une équipe tourne en rond pendant des semaines, corrigeant en alternance deux défauts symétriques.

Un jeu d'évaluation transforme cette discussion en un tableau : cinquante cas, deux versions, un écart chiffré et la liste nominative des cas qui ont régressé. La conversation change immédiatement de nature.

Deux ateliers suffisent

La construction du jeu n'est pas un chantier. Elle tient en deux séances avec les utilisateurs, séparées d'une semaine.

SéanceDuréeProduction
Atelier 1 — collecte2 heures, 4 à 6 participantsChacun écrit dix questions réellement posées dans son travail, sans les reformuler
Entre les deux1 à 2 joursDédoublonnage, recherche de la réponse de référence et de sa source
Atelier 2 — validation2 heuresValidation des réponses attendues, cotation de la gravité d'une erreur

La consigne du premier atelier est la plus importante : on ne veut pas de belles questions. On veut les questions telles qu'elles se posent, avec le jargon interne, les abréviations maison et les formulations incomplètes. Les questions polies par un ingénieur donnent un jeu d'évaluation flatteur et inutile.

Ce que contient un cas

ChampRôle
QuestionTelle qu'elle serait posée, sans reformulation
Réponse attendueLe fond, pas la formulation exacte
Source qui fait foiDocument et section : permet de vérifier la citation
Profil demandeurDétermine ce que la personne a le droit de voir
Gravité d'une erreurAnodine, gênante, inacceptable
TypeFait, synthèse, comparaison, question hors périmètre

Deux catégories sont systématiquement oubliées et pourtant décisives. Les questionshors périmètre, dont la bonne réponse est un refus explicite : elles mesurent la capacité du système à dire qu'il ne sait pas. Et les questionspiégées par les droits, posées par un profil qui n'a pas accès à la donnée : la bonne réponse est de ne rien révéler, sujet développé dans notre guideRAG et données sensibles.

Un assistant qui répond juste à quarante-huit questions sur cinquante mais invente une réponse sur un sujet qu'il ignore est plus dangereux qu'un assistant qui répond juste quarante fois et refuse dix fois.

Noter sans se mentir

Une note globale sur cent ne sert à rien : elle masque les compensations entre catégories. Quatre critères notés séparément donnent une image exploitable.

  • Exactitude. L'information est-elle juste ? C'est le critère principal, noté en trois niveaux plutôt qu'en pourcentage : juste, incomplet, faux.
  • Traçabilité. La source citée existe-t-elle et contient-elle réellement l'information ? Une citation inventée doit compter comme une erreur grave.
  • Périmètre. Le système a-t-il refusé ce qu'il devait refuser ?
  • Utilisabilité. La réponse est-elle exploitable telle quelle par la personne qui l'a demandée ?

Le suivi se fait ensuite en trois chiffres par version : le taux de réponses justes, le nombre d'erreurs graves, et le nombre de cas régressés par rapport à la version précédente. Ce dernier chiffre est celui qui doit conditionner une mise en production : une amélioration moyenne qui casse trois cas critiques n'est pas une amélioration.

Faire vivre le jeu

Un jeu d'évaluation figé perd sa valeur en quelques mois, parce que les usages se déplacent. Trois habitudes le maintiennent utile sans en faire un projet à part entière.

  1. Alimenter par les échecs réels. Toute question mal traitée signalée par un utilisateur devient un cas, avec sa réponse attendue. Le jeu grandit par où le système souffre.
  2. Garder une réserve non regardée. Une dizaine de cas mis de côté, jamais utilisés pour ajuster le système, servent de contrôle : ils détectent le surajustement au jeu d'évaluation lui-même.
  3. Revoir la gravité une fois par an. Ce qui était anodin au démarrage devient parfois critique quand l'usage se généralise.

Le jeu d'évaluation finit par devenir le livrable le plus durable du projet. Les prompts changent, les modèles se remplacent, la base documentaire se réorganise : la définition écrite de ce qu'est une bonne réponse, elle, reste et vous appartient.

Sources

Textes et pages officielles consultés le 18 octobre 2026.

  1. Create strong empirical evaluations

    Anthropic, documentation Claude

    Cas représentatifs des usages réels et cas limites, comparaison des notations par code, humaine et par modèle.

  2. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

    L. Zheng et al., arXiv:2306.05685 (NeurIPS 2023)

    Plus de 80 % d'accord avec les humains, mais biais de position, de verbosité et d'auto-complaisance du modèle juge.

Questions fréquentes

Cinquante cas bien choisis suffisent pour détecter une régression sur un périmètre métier délimité. En dessous de vingt, le bruit domine et deux exécutions successives donnent des résultats différents sans qu'aucun changement n'ait eu lieu. Au-delà de deux cents, le coût de maintenance dépasse le bénéfice pour la plupart des projets internes.

Les personnes qui poseront réellement ces questions, pas l'équipe technique. Un développeur écrit spontanément des questions bien formulées, complètes et sans fautes ; les utilisateurs écrivent des questions elliptiques, avec du vocabulaire maison et des sous-entendus. Ce sont les secondes qui prédisent le comportement en production.

Oui pour la première passe, non pour les cas critiques. La notation automatique fait gagner un temps considérable sur des critères vérifiables, comme la présence d'une information ou d'une citation. Les cas dont une erreur aurait des conséquences graves doivent rester notés par un humain compétent sur le sujet.

À chaque modification qui touche la chaîne : prompt, découpage, modèle, filtres, données. C'est précisément l'intérêt : transformer une modification incertaine en une comparaison chiffrée avant et après. Rejouer une fois par mois sans lien avec les changements n'apporte presque rien.

En les traitant à part, avec une réponse attendue exprimée sous forme de règle plutôt que de texte figé. « Doit citer la procédure en vigueur à la date de la question » est vérifiable dans le temps ; « doit répondre 14 jours » cesse d'être vrai à la première mise à jour de la procédure.

À lire ensuite

Besoin d'un avis sur votre cas ?

Décrivez votre contexte en trois lignes. On répond avec une estimation argumentée, pas un formulaire de qualification.

Poser la question →