Orientación técnica · 12 min

Construir un argumento de validez para un examen

Una cadena práctica de evidencias desde la interpretación prevista de las puntuaciones hasta las tareas, la puntuación, el análisis, las consecuencias y el mantenimiento.

La validez es el argumento estructurado de que la interpretación y el uso propuestos de las puntuaciones están justificados por evidencias. No es un único coeficiente, informe u opinión experta.

De la afirmación a la evidencia observable

Definir la interpretación, el uso y las consecuencias previstos. Explicitar después las garantías necesarias: contenido representativo, procesos de respuesta adecuados, puntuación fiable, estructura interna defendible, relaciones externas pertinentes y consecuencias aceptables.

Analizar el examen como sistema

Examinar especificaciones, desarrollo y pilotaje de ítems, ensamblaje, administración, ajustes, puntuación, establecimiento de cortes, resultados, recursos y seguridad. Una debilidad en un eslabón puede limitar la interpretación sustentada por toda la cadena.

Utilizar métodos adecuados: dificultad y discriminación, acuerdo y severidad de evaluadores, fiabilidad o generalizabilidad, error estándar, consistencia de clasificación, análisis de subgrupos e impacto diferencial.

Declarar las limitaciones y actuar sobre el uso

El informe técnico debe indicar procedencia de datos, tamaños de muestra, datos faltantes, métodos, incertidumbre, limitaciones y decisiones. Los resultados sin contexto favorecen la sobreinterpretación.

Supervisar consecuencias previstas e imprevistas, reclamaciones, recursos y usos indebidos previsibles. Los cambios sustanciales o usos perjudiciales requieren investigación y acción proporcional, incluida la revisión de orientaciones, límites o alcance.