La validité est l’argument structuré selon lequel l’interprétation et l’usage proposés des scores sont justifiés par des preuves. Ce n’est ni un coefficient, ni un rapport, ni un avis isolé.
De l’affirmation aux preuves observables
Définir l’interprétation, l’usage et les conséquences prévus. Expliciter ensuite les garanties nécessaires : contenu représentatif, processus de réponse appropriés, notation fiable, structure interne défendable, relations externes pertinentes et conséquences acceptables.
Analyser l’examen comme un système
Examiner spécifications, développement et prétest des items, assemblage, passation, aménagements, notation, fixation des seuils, résultats, recours et sécurité. Une faiblesse dans un maillon peut limiter l’interprétation soutenue par toute la chaîne.
Employer des méthodes adaptées : difficulté et discrimination, accord et sévérité des évaluateurs, fidélité ou généralisabilité, erreur standard, cohérence de classification, analyse des sous-groupes et effets différentiels.
Déclarer les limites et agir sur l’usage
Le rapport technique doit préciser provenance des données, tailles d’échantillon, données manquantes, méthodes, incertitude, limites et décisions. Des résultats sans contexte favorisent la surinterprétation.
Suivre conséquences prévues et imprévues, réclamations, recours et usages abusifs prévisibles. Les changements substantiels ou usages préjudiciables exigent enquête et action proportionnée, y compris révision des consignes, seuils ou périmètre.