Évaluer un système d’IA générative sans se fier aux impressions

« La réponse semble bonne » n’est pas un protocole de validation

Les systèmes d’IA générative produisent des sorties ouvertes : deux formulations différentes peuvent être également valables, tandis qu’une réponse convaincante peut contenir une erreur discrète. Cette variabilité rend les tests classiques insuffisants, mais elle ne dispense pas d’une démarche d’ingénierie.

Une bonne stratégie d’évaluation combine plusieurs regards. Les vérifications déterministes contrôlent ce qui doit être exact. Des critères sémantiques examinent la qualité du contenu. Des experts évaluent les cas où le contexte métier compte. Enfin, les signaux de production montrent si le système aide réellement ses utilisateurs.

Décomposer la qualité

Un score unique mélange souvent des problèmes de nature différente. Pour un assistant documentaire, une réponse peut être bien écrite mais non sourcée ; exacte mais trop longue ; pertinente mais fondée sur un document auquel l’utilisateur ne devrait pas accéder.

Construisez une grille adaptée au produit :

• exactitude : les affirmations sont-elles conformes aux sources ?
• complétude : les éléments nécessaires à la décision sont-ils présents ?
• pertinence : la réponse traite-t-elle la demande réelle ?
• ancrage : les références permettent-elles de vérifier le résultat ?
• respect des consignes : format, ton et contraintes sont-ils suivis ?
• sécurité : les données, permissions et actions interdites sont-elles maîtrisées ?
• utilité métier : l’utilisateur peut-il accomplir son travail plus facilement ?

Toutes les dimensions n’ont pas le même poids. Une omission stylistique et une mauvaise recommandation réglementaire ne doivent jamais se compenser dans une moyenne.

Construire un jeu de cas représentatif

Les premiers cas peuvent provenir d’entretiens, de tickets, de recherches internes et d’observations terrain. Anonymisez les données, conservez le contexte utile et documentez la sortie attendue ou les critères d’acceptation.

Un jeu robuste contient plusieurs familles :

Chaque incident pertinent rencontré en production devrait pouvoir devenir un nouveau cas de régression. Le jeu d’évaluation devient ainsi une mémoire opérationnelle du produit.

Utiliser une pyramide d’évaluations

:::

Les niveaux ne se remplacent pas. Un validateur de schéma rapide s’exécute sur chaque changement. Une revue experte plus coûteuse cible les versions candidates ou les scénarios à fort impact.

Employer un modèle juge avec méthode

Un modèle peut comparer des réponses ou appliquer une rubrique, mais son verdict n’est pas une vérité indépendante. Il peut préférer un style, être sensible à l’ordre des options ou accepter une justification séduisante.

Pour le rendre utile, formulez des critères observables, demandez une justification structurée, masquez autant que possible l’identité des variantes et comparez régulièrement ses décisions à celles d’experts. Si le juge et les humains divergent sur une famille de cas, cette divergence est une information : la rubrique est peut-être ambiguë ou le juge inadapté.

Évaluer un agent étape par étape

Pour un agent, la réponse finale ne raconte pas tout. Il peut obtenir un bon résultat après des appels coûteux ou dangereux ; inversement, une API indisponible peut empêcher un agent bien conçu de terminer.

Évaluez séparément :

1. la classification de la demande ;
2. le plan choisi ;
3. la sélection de l’outil ;
4. les paramètres transmis ;
5. l’interprétation du résultat ;
6. la décision d’agir, demander ou s’arrêter ;
7. la réponse finale et ses preuves.

Cette granularité rend le diagnostic actionnable. Une mauvaise réponse issue d’une recherche correcte appelle un ajustement de synthèse ; un bon texte fondé sur la mauvaise fiche exige de corriger la récupération ou la résolution d’identité.

:::

Fixer des seuils qui ont un sens

Un seuil de mise en production doit refléter la gravité des erreurs. Pour une aide à la rédaction interne, une correction humaine fréquente peut rester acceptable. Pour une action qui engage un client, les cas critiques exigent une politique beaucoup plus stricte.

Définissez des portes de qualité : aucune violation de permission sur le jeu sécurité ; aucune action critique sans confirmation ; stabilité sur les scénarios prioritaires ; latence et coût compatibles avec le parcours. Ces règles peuvent coexister avec un score de qualité global, mais elles ne doivent pas être absorbées par lui.

Suivez également les intervalles et les volumes. Une variation sur quelques cas n’a pas la même signification qu’une tendance répétée sur un ensemble représentatif. Lorsque le jeu est petit, utilisez les résultats comme un signal de diagnostic plutôt que comme une précision scientifique artificielle.

Relier hors ligne et production

Les évaluations hors ligne sont rapides et reproductibles. Elles comparent des variantes avant exposition. La production révèle toutefois des demandes nouvelles, des comportements d’usage et des contraintes impossibles à simuler entièrement.

Instrumentez des événements utiles : réponse acceptée, texte fortement corrigé, source ouverte, escalade demandée, action annulée, tâche terminée. Interprétez-les avec prudence. Une absence de correction peut signifier que la réponse est parfaite, mais aussi qu’elle n’a pas été lue.

Prévoyez un mécanisme simple permettant aux équipes de qualifier un problème. Les catégories doivent alimenter le jeu de cas et la feuille de route. C’est cette boucle — observation, reproduction, correction, non-régression — qui transforme un prototype en produit maintenable.

Comparer des versions sans changer dix variables

Une amélioration peut venir du modèle, des instructions, de la récupération, d’un outil ou de l’interface. Si tout change simultanément, il devient difficile de comprendre le résultat. Versionnez les composants et comparez une hypothèse à la fois lorsque c’est possible.

Conservez pour chaque exécution la version des instructions, du modèle, des paramètres, de l’index documentaire et des outils. La reproductibilité absolue n’est pas toujours possible, mais la traçabilité rend l’analyse bien plus solide.

:::