À quel point le choix des questions peut-il modifier un score de calcul mental en 30 secondes ?

1La question de mesure

Un test de 30 secondes n'a aucune marge pour moyenner sur des centaines d'items. Une poignée de questions inhabituellement lentes peut consommer une grande part du temps disponible. Un score de bonnes réponses peut donc refléter à la fois la performance d'une personne et les questions particulières sélectionnées pour cette tentative.

La question centrale est étroite et tranchable : dans un sprint arithmétique fixe de 30 secondes, à quel point la composition des items peut-elle, à elle seule, modifier le score de bonnes réponses d'une personne — et des formes équilibrées par difficulté peuvent-elles réduire cette variation de forme à forme ?

Y répondre honnêtement exige de séparer quatre notions qu'un score unique confond :

1. La performance de la personne — sa vitesse et sa justesse à cette occasion.
2. Les questions présentées — opération, taille des opérandes, statut de véracité, plausibilité de la réponse et difficulté calibrée des items.
3. Les conditions du test — limite de temps, ordre, interface, appareil, latence, distractions et entraînement.
4. Le score rapporté — un nombre de bonnes réponses et une justesse produits par les trois facteurs ci-dessus.

2Pourquoi les questions arithmétiques diffèrent en difficulté

La raison la mieux répliquée est l'effet de taille du problème : les problèmes arithmétiques plus grands prennent systématiquement plus de temps et produisent plus d'erreurs que les plus petits, un phénomène étudié et modélisé depuis plus de trois décennies.³ Notre réanalyse a reproduit le résultat de l'article source exactement à l'arrondi près : pour l'addition, le tau de Kendall médian entre taille du problème et temps de réponse était de 0,288, positif pour les 59 participants (t de groupe (58) = 18,80) ; pour la soustraction, le tau médian était de 0,190, positif pour 58 des 59 (t de groupe (58) = 14,51).¹

• L'opération — les items de soustraction étaient plus lents que les items d'addition dans ce jeu de données (1,423 s contre 1,237 s sur les essais primaires) ; les deux ne sont pas interchangeables en vitesse ni en profil d'erreurs.
• Les exigences de la décision vrai/faux — vérifier une réponse affichée mobilise des processus différents que la produire ; ici, les équations fausses étaient plus lentes que les vraies (1,392 s contre 1,267 s) et légèrement moins justes (96,92 % contre 97,48 %).⁴
• Le compromis vitesse–justesse — une personne peut convertir de la justesse en items tentés et inversement ; le seul nombre de bonnes réponses masque la stratégie utilisée.
• L'ordre, l'entraînement et la fatigue — la position d'un item dans une session influence la réponse qu'il reçoit.

Parce que les items diffèrent à ce point, une forme courte contenant davantage d'items de soustraction ou d'opérandes plus grands est mesurablement plus lente qu'une autre forme de durée égale — ce qui pose la question pratique à laquelle cette étude répond : la performance de la personne a-t-elle changé, ou est-ce la forme qui a changé ?

3Un jeu de données ouvert et indépendant, audité

Nous avons utilisé la tâche de vérification arithmétique de Bye, Harsch et Varma (2022), un jeu de données collecté de manière indépendante, évalué par les pairs et publié ouvertement sous licence CC BY 4.0 sur OSF.^1,2 Les participants jugeaient si des équations d'addition et de soustraction à un chiffre étaient vraies ou fausses, en répondant aussi vite et aussi justement que possible. Les réponses fausses différaient en général de la réponse correcte de 2, avec des exceptions spécifiques pour éviter les résultats négatifs ou les valeurs trivialement rejetables.

L'archive brute a été auditée avant toute modélisation. Soixante fichiers par participant étaient présents, chacun avec 256 lignes ; les identifiants de participants 27 et 39 étaient absents, ce qui correspond aux deux exclusions de répétitions pilotes déjà retirées de l'archive publique par les auteurs de l'étude source.

Le traitement de la confidentialité a été fixé avant l'ingestion : le champ de date des participants a été supprimé immédiatement ; les champs d'enquête, ACT/SAT, de santé, d'admission et démographiques n'ont jamais été utilisés ; et les fichiers bruts sont restés dans un espace d'analyse restreint. Les sorties publiées sont des tableaux agrégés et des résumés dérivés par participant indexés sur les identifiants déjà publics de l'étude source — aucune ligne d'essai brute n'est republiée.

4L'hypothèse gelée

Hypothèse primaire (fixée avant l'analyse) : des formes échantillonnées naïvement, contenant davantage d'items à grands opérandes, de soustraction, ou d'items par ailleurs plus lents et plus sujets aux erreurs, produiront moins de bonnes réponses et une plus grande variation intra-individuelle des scores de forme à forme que des formes équilibrées à l'aide d'une difficulté des items estimée uniquement à partir des participants d'entraînement.

Le protocole s'engageait à publier un résultat nul ou contraire, et énumérait à l'avance les façons dont l'équilibrage pouvait échouer : classements individuels de difficulté instables, réservoir d'items trop petit, inconstance au niveau de la personne dominant le mélange d'items, variables de difficulté manquantes, ou simulation de 30 secondes insensible. Comme le montre la section 6, le volet réduction de variance de l'hypothèse a été soutenu à environ 10–13 % ; le volet score moyen n'a pas été soutenu de manière significative — les formes aléatoires et équilibrées ont produit des scores moyens presque identiques.

5Simuler des milliers de formes de 30 secondes

La simulation rejoue des comportements réels observés dans un budget de temps. En termes simples :

1. Les participants ont été répartis via cinq exécutions répétées de validation croisée à cinq plis, et la difficulté des items a été estimée uniquement à partir des participants d'entraînement — les propres données d'un participant mis de côté n'ont jamais façonné la difficulté utilisée pour construire ses formes.
2. Le score de difficulté combinait le logarithme du temps de réponse centré par participant et un taux d'erreur d'item lissé, et les items ont été classés en quartiles de difficulté au sein de chaque croisement opération × statut de véracité affiché.
3. Chaque participant mis de côté a reçu 1 000 formes simulées par condition : entièrement aléatoire, équilibrée par quotas d'opération et de véracité, et entièrement équilibrée par difficulté (blocs équilibrés localement couvrant l'opération, le statut de véracité et les strates de difficulté — la logique d'assignation stratifiée étudiée dans la recherche sur les formes aléatoirement équivalentes).
4. Les temps de réponse observés étaient cumulés jusqu'à la limite de 30 secondes : un item ne compte que si sa réponse se termine dans les temps ; les réponses correctes et incorrectes consomment toutes deux du temps ; seules les réponses correctes rapportent des points.
5. Les intervalles de confiance ont rééchantillonné les participants 10 000 fois (bootstrap non paramétrique, préservant le regroupement par participant).

Le comparateur équilibré par quotas est le test le plus exigeant : il préserve les grandes proportions de la tâche source (opération, statut de véracité) sans équilibrer la difficulté calibrée, de sorte que la comparaison isole la question de savoir si équilibrer la difficulté prédite apporte une valeur ajoutée au-delà de simples quotas de contenu.⁵ Cela reste une simulation utilisant des essais de vérification arithmétique vrai/faux collectés de manière indépendante — pas une étude directe de fidélité du test mobile Altamens à quatre choix.

6Résultats : l'équilibrage a réduit la variance de forme à forme d'environ 10–13 %

Résultat primaire : les formes équilibrées par difficulté ont réduit la variance intra-individuelle moyenne des scores de bonnes réponses simulés en 30 secondes de 13,14 % par rapport aux formes entièrement aléatoires (IC à 95 % par bootstrap sur les participants : 11,08 % à 15,10 %). L'écart-type intra-individuel quadratique moyen est passé de 1,99 à 1,85 bonne réponse. Comme la variance est le carré de l'écart-type, la réduction de variance annoncée correspond à une réduction plus modeste de 6,8 % de l'écart-type.

Les simples quotas d'opération et de véracité n'ont atteint qu'une réduction de variance de 4,60 % (écart-type quadratique moyen de 1,94) ; équilibrer la difficulté calibrée a ajouté 8,95 points de pourcentage au-delà des quotas. Les scores moyens sont restés essentiellement inchangés — 22,76 bonnes réponses avec les formes aléatoires, 22,75 avec les quotas, 22,66 avec l'équilibrage par difficulté — et le petit décalage primaire de −0,11 point s'est réduit à −0,01 quand tous les temps de réponse finis étaient retenus, ce qui indique un artefact du seuil de coupure plutôt qu'une pénalité de score.

Ce qu'un participant remarquerait réellement : l'équilibrage a aidé, mais une variabilité substantielle propre aux tests courts subsistait. Sur des paires de formes de 30 secondes simulées indépendamment, l'étendue des scores entre les 5e et 95e percentiles du participant médian restait de 6 points dans les deux conditions.

7Les garde-fous qui ont gardé l'analyse honnête

• La difficulté des items était bidimensionnelle — la calibration combinait le logarithme du temps de réponse centré par participant et un taux d'erreur d'item lissé, plutôt que de se réduire à un composite unique aveugle aux erreurs. Une variante de sensibilité fondée sur le temps de réponse seul est rapportée séparément (17,51 %) plutôt qu'intégrée à l'affirmation primaire.
• Validation croisée découpée par participant, jamais par essai — cinq exécutions répétées à cinq plis au niveau des participants ; la propre performance d'un participant mis de côté n'a jamais façonné la difficulté utilisée pour construire ses formes.
• Exclusions préspécifiées — l'analyse primaire conservait les temps de réponse finis et positifs inférieurs ou égaux à 4 secondes (corrects et incorrects, car les deux consomment du temps de sprint) ; l'analyse de sensibilité à temps finis a tout répété sans le seuil de coupure et est citée à côté du résultat primaire.
• Incertitude — bootstrap non paramétrique au niveau des participants avec 10 000 rééchantillonnages, préservant le regroupement par participant, avec des intervalles à 95 % rapportés pour chaque estimation phare.
• Langage conservateur — le terme « amélioration de la fidélité » n'est pas employé, car aucun coefficient de fidélité reconnu n'a été estimé ; l'affirmation porte sur une réduction de variance dans des formes simulées.

8Ce que nous affirmons et n'affirmons pas

Les limites des affirmations ont été fixées avant l'existence des résultats, conformément aux bonnes pratiques en matière de tests.⁶ Avec les chiffres désormais attachés, les affirmations soutenues sont :

• Dans ce jeu de données indépendant et cette simulation, le mélange de questions arithmétiques a modifié de manière substantielle les scores courts de bonnes réponses.
• La procédure d'équilibrage testée a réduit la variance de forme à forme d'environ 10 à 13 % dans les spécifications les plus défendables.
• L'équilibrage a amélioré la comparabilité mais n'a pas rendu les scores courts parfaitement stables.
• Les items arithmétiques plus grands/plus lents et la composition en opération/véracité sont des variables pertinentes pour la conception des formes.

9Ce que cela signifie pour un score Altamens de 30 secondes

La leçon pratique n'est pas qu'un score de 30 secondes n'a aucun sens — c'est qu'il doit être lu comme un instantané informel de performance comportant une composante réelle de forme à forme. Même avec l'équilibrage par difficulté, deux formes simulées différaient de 2 points ou plus plus d'une fois sur deux. Répéter le test dans des conditions similaires, et comparer des tendances plutôt que des tentatives isolées, reste la façon honnête d'utiliser un score court. La tâche source diffère d'Altamens, donc ces estimations numériques ne sont pas transférées comme normes ou marges d'erreur pour Altamens.

10Limites

1. L'échantillon ne contient que 59 étudiants de premier cycle américains âgés de 18 à 23 ans.
2. La tâche source est une vérification vrai/faux en laboratoire avec réponses au clavier ; Altamens utilise quatre choix de réponse sur des appareils différents.
3. Les temps de réponse source n'incluent pas la latence mesurée d'appareil, de rendu, de toucher ou de transition d'Altamens.
4. Les formes de 30 secondes sont des simulations, pas des formes alternatives administrées de manière prospective.
5. Chaque forme simulée réutilise une réponse observée par couple participant-item, elle ne peut donc pas modéliser l'état au jour le jour, l'apprentissage par exposition répétée, un bruit de réponse frais, la latence mobile ou le hasard des tests à quatre choix.
6. Le seuil de coupure de 4 secondes et d'autres choix de prétraitement affectent les estimations — c'est pourquoi la spécification à temps finis (9,98 %) est citée à côté du résultat primaire (13,14 %).
7. La difficulté des items peut varier d'une personne à l'autre ; un item « difficile » selon la calibration de groupe ne l'est pas également pour tout le monde.
8. L'algorithme d'équilibrage est transparent mais pas nécessairement optimal ; de meilleurs algorithmes pourraient faire davantage, ou le plafond peut être bas.
9. Le réservoir d'items est limité au plan addition/soustraction de l'étude source.
10. L'analyse ne peut pas produire de normes nationales, d'âge, d'éducation, cliniques ou de QI, et ne valide pas le test Altamens comme instrument médical, éducatif ou psychométrique.
11. L'étude était guidée par protocole, avec un plan gelé avant l'analyse, mais elle n'a pas été formellement préenregistrée dans un registre public avant son exécution.

Références

1. 1.Bye JK, Harsch RM, Varma S Decoding Fact Fluency and Strategy Flexibility in Solving One-Step Algebra Problems: An Individual Differences Analysis. Journal of Numerical Cognition, 8(2), 281–294, 2022. Source paper for the arithmetic-verification dataset. https://doi.org/10.5964/jnc.7093
2. 2.Bye JK, Harsch RM, Varma S Open Science Framework project: data, codebooks and analysis files. OSF, 2022. CC BY 4.0; raw files at osf.io/j79a6, codebooks at osf.io/kgd4c, analysis/data component at osf.io/zmn8a. https://osf.io/vx2rh/
3. 3.Ashcraft MH, Guillaume MM Mathematical Cognition and the Problem Size Effect. Psychology of Learning and Motivation, Vol. 51, 121–151, 2009. https://doi.org/10.1016/S0079-7421(09)51004-3
4. 4.Faulkenberry TJ A Single-Boundary Accumulator Model of Response Times in an Addition Verification Task. Frontiers in Psychology 8:1225, 2017. https://doi.org/10.3389/fpsyg.2017.01225
5. 5.Liao C-W, Livingston SA Examining an Alternative to Score Equating: A Randomly Equivalent Forms Approach. ETS Research Report RR-08-14, 2008. Stratified random assignment on content and predicted difficulty. https://doi.org/10.1002/j.2333-8504.2008.tb02100.x
6. 6.American Educational Research Association, American Psychological Association, National Council on Measurement in Education Standards for Educational and Psychological Testing. AERA, 2014. https://www.testingstandards.net/