Votre empan de chiffres est-il stable ?

1La question de mesure

L'empan de chiffres semble le test le plus simple de la psychologie cognitive. Une suite de chiffres est présentée, vous la reproduisez dans le même ordre, et les suites s'allongent jusqu'à ce que la tâche devienne trop difficile. Le résultat est généralement rapporté comme un fait : « mon empan de chiffres est de sept ».

Mais ce nombre ne vient pas de la seule personne. Il vient aussi de la règle utilisée pour transformer un ensemble d'essais en score.

Supposons que la séquence cible soit 5 2 9 4 7 1 et que quelqu'un réponde 5 2 9 4 8 1. Cinq positions sur six sont correctes. Une règle stricte réussi/échoué traite cette réponse exactement comme une réponse entièrement fausse. Une règle à crédit partiel conserve l'information que cinq positions étaient justes.

Notre question de recherche était circonscrite et susceptible de réponse : si la même personne réalise deux versions consécutives d'une tâche d'empan de chiffres endroit, quelle règle de cotation produit le résultat le plus répétable ?

Notre hypothèse préspécifiée était que le crédit partiel lisserait les seuils abrupts créés par la cotation en empan maximal et produirait donc une meilleure fiabilité entre les blocs — une attente cohérente avec l'argument général en faveur du crédit partiel dans la littérature sur la mémoire de travail.⁶ Il n'en a rien été. Le score à crédit partiel a été de loin le moins répétable des trois.

2La tâche, et ce que « répétabilité » signifie ici

Les participants ont réalisé une tâche visuelle d'empan de chiffres endroit. Les chiffres étaient affichés un à la fois. La tâche commençait par des séquences courtes et proposait deux essais à chaque longueur de séquence. Si au moins un de ces deux essais était rappelé de façon entièrement correcte, la longueur de la séquence augmentait d'une unité. La tâche s'arrêtait après deux essais incorrects à la même longueur.

Point essentiel : les participants ont réalisé la tâche complète deux fois de suite, avec des ensembles de séquences fixes différents. Cela fournit deux mesures par personne dans des conditions très semblables, ce qui est exactement ce qu'exige une question de répétabilité.

La règle d'arrêt adaptative importe pour l'analyse, car elle crée une absence structurelle de données : les longueurs de séquence les plus difficiles ne sont jamais présentées une fois qu'un participant s'arrête. Une personne qui réussit mieux dans un bloc y rencontre automatiquement des séquences plus difficiles, de sorte que tout score calculé sur « tous les essais que la personne a vus » est en partie un score calculé sur un test plus difficile. Les travaux méthodologiques sur l'empan de chiffres soulignent depuis longtemps que les détails d'administration et d'arrêt façonnent le score obtenu.⁷

3Le jeu de données — et comment le télécharger

Nous avons utilisé le jeu de données public Music Ensemble : une batterie standardisée de laboratoire portant sur la musicalité, la cognition et la personnalité, recueillie auprès de 1 438 adultes de 18 à 30 ans dans 35 unités de recherche de 16 pays.¹ Le projet est publié en accès ouvert sur OSF sous licence CC BY 4.0.

Le nettoyage préspécifié a supprimé le bloc de familiarisation (bloc 0, 2 866 lignes) et 50 essais substantiels dont le champ de réponse contenait un tableau vide. Aucun identifiant de participant, de bloc ou d'essai n'était manquant et aucun enregistrement participant × bloc × essai n'était dupliqué. Les horodatages et les identifiants des expérimentateurs ont été écartés avant l'analyse, et aucun pays, site ou groupe démographique n'est classé dans ce rapport.

Nous n'avons pas pris pour acquis le champ d'exactitude du jeu de données. L'exactitude a été reconstruite de façon indépendante à partir du stimulus brut et de la réponse brute du participant, puis comparée à l'indicateur fourni : divergences entre source et recalcul = 0. Le champ d'exactitude publié correspondait parfaitement à la comparaison exacte stimulus-réponse, ce qui est bon signe pour l'intégrité du fichier et signifie que nos scores reposent sur des résultats d'essai vérifiés.

4Trois façons préspécifiées de coter le même test

Les trois scores ont été dérivés indépendamment au sein de chaque bloc, à partir des mêmes essais nettoyés, selon des définitions consignées avant tout examen des résultats.

1. Empan maximal réussi — la plus grande longueur de séquence pour laquelle au moins un des deux essais a été rappelé parfaitement. C'est le résultat conventionnel et intuitif (« empan = 7 »), mais il comprime tout un test en un seul seuil : un unique essai réussi peut faire monter quelqu'un d'un niveau entier.
2. Séquences entièrement correctes — le décompte total des essais entièrement corrects du bloc. C'est aussi la cotation par bloc utilisée dans l'étude Music Ensemble d'origine ; elle exploite l'ensemble des résultats réussi/échoué tout en restant très simple à expliquer.
3. Crédit partiel par position sérielle — la proportion des positions de chiffre présentées rappelées avec le bon chiffre au bon endroit. Une séquence de six chiffres comportant cinq chiffres correctement placés vaut 5 / 6 = 83,3 %. Dans l'analyse primaire, ce score n'a été calculé que sur les longueurs de séquence tentées par le participant dans les deux blocs, précisément pour éviter que l'arrêt adaptatif ne compare un test plus facile à un test plus difficile.

5Comment la répétabilité a été estimée

La statistique de fiabilité primaire était l'ICC(2,1) : une corrélation intraclasse à effets aléatoires à deux facteurs, en accord absolu et à mesure unique.^3,4

L'accord absolu est le choix déterminant. Une corrélation ordinaire peut rester élevée même lorsque les scores de tout le monde se déplacent systématiquement entre les blocs, car elle ne se soucie que du maintien du classement. L'ICC(2,1) pénalise ce type de désaccord, ce qui est exactement souhaitable lorsque la question pratique est : « cette personne obtiendrait-elle le même nombre à nouveau ? »

Pour chaque règle de cotation, nous avons aussi calculé la stabilité des rangs de Spearman, la différence absolue moyenne entre blocs, l'écart-type intra-individuel, la différence moyenne bloc 2 − bloc 1, ainsi que le biais et les limites d'agrément à 95 % de Bland–Altman.⁵ Les intervalles de confiance proviennent de 5 000 rééchantillonnages bootstrap des participants, et les contrastes entre règles de cotation ont été calculés dans les mêmes tirages bootstrap, de sorte que la différence entre deux ICC porte son propre intervalle. Les participants ayant été recrutés dans 35 unités de recherche, chaque coefficient principal a en outre été réestimé par un bootstrap en grappes au niveau des sites.

6Résultats : le score le plus simple sur tous les essais a gagné

Résultat primaire : le décompte des séquences entièrement correctes a été le score le plus répétable (ICC 0,611 ; IC à 95 % 0,566–0,651), l'empan maximal réussi s'est révélé modérément répétable (0,535 ; 0,478–0,586) et le score préspécifié à crédit partiel sur longueurs communes était pratiquement non répétable (0,050 ; −0,009–0,114).

L'écart entre les deux scores simples était faible mais constant : le décompte des séquences entièrement correctes a dépassé l'empan maximal réussi de +0,076, avec un IC conjoint à 95 % par bootstrap des participants de +0,052 à +0,102. Cela mérite d'être dit clairement, car le meilleur score n'était pas le plus sophistiqué. C'était le décompte ordinaire des séquences correctement rappelées de la tâche d'origine.

Le résultat du crédit partiel est allé dans l'autre sens, et nettement. Crédit partiel moins empan maximal donne −0,485 (IC à 95 % bootstrap −0,556 à −0,407). L'intervalle se situe très en dessous de zéro : l'hypothèse préspécifiée a donc été contredite, et pas seulement non confirmée.

La performance moyenne était légèrement plus élevée dans le second bloc pour les trois scores. L'empan maximal est passé de 6,548 ± 1,373 à 6,747 ± 1,401 (variation moyenne +0,199 ; IC à 95 % +0,130 à +0,267). Les séquences entièrement correctes sont passées de 9,890 ± 2,443 à 10,273 ± 2,442 (+0,382 ; IC à 95 % +0,272 à +0,496). Le crédit partiel est passé de 0,876 ± 0,070 à 0,894 ± 0,074 (+0,0179 ; IC à 95 % +0,0128 à +0,0229).

7Pourquoi une cotation plus détaillée n'a pas aidé

Un score à crédit partiel conserve davantage d'information au niveau de l'essai individuel. Ce n'est pas la même chose que conserver des différences stables entre les personnes, et ce jeu de données sépare nettement ces deux idées.

Restreint aux longueurs tentées dans les deux blocs, le score partiel a concentré la plupart des participants sur une précision positionnelle élevée — moyenne de 0,876 au bloc 1 et 0,894 au bloc 2, avec des écarts-types de seulement 0,070 et 0,074. La dispersion entre les personnes disponible pour être reproduite était donc faible. Dans le même temps, les positions exactes des erreurs variaient considérablement entre les deux ensembles de séquences. L'essentiel de la résolution numérique supplémentaire portait sur la position de l'erreur, et la position de l'erreur ne s'est pas répétée.

Il existe une seconde raison, structurelle, à l'effet néfaste de la restriction aux longueurs communes. Elle écarte délibérément les longueurs qu'un participant n'a atteintes que dans un seul bloc — or c'est précisément là que réside une grande part des différences d'aptitude entre les personnes. C'est pourquoi assouplir la restriction améliore sensiblement le coefficient, comme le montre la section suivante, sans jamais l'approcher des scores simples.

8De combien un empan a réellement bougé

L'empan maximal est le résultat le plus facile à comprendre pour une personne, si bien que son instabilité est le constat le plus pertinent en pratique. Sur 1 433 participants testés deux fois au cours d'une même séance, seul un tiers a reproduit le même nombre.

Cela signifie qu'une variation telle que 7 → 8 est parfaitement compatible avec la variabilité ordinaire d'une reprise immédiate. Elle ne doit pas être lue comme la preuve que la capacité mnésique sous-jacente de la personne s'est améliorée.

Les limites d'agrément de Bland–Altman disent la même chose dans les unités de chaque score.⁵ Pour l'empan maximal, le biais était de +0,199 avec des limites à 95 % de −2,408 à +2,805 niveaux. Pour les séquences entièrement correctes, le biais était de +0,382 avec des limites de −3,802 à +4,567 séquences. Pour le crédit partiel, le biais était de +0,018 avec des limites de −0,177 à +0,212. Les moyennes masquent de larges mouvements individuels : le déplacement moyen est petit, l'étendue individuelle ne l'est pas.

9Analyses de sensibilité et vérifications de validation

Le résultat central ne doit pas dépendre d'une implémentation arbitraire de la cotation partielle ; nous avons donc exécuté les variantes préspécifiées : un crédit fondé sur la distance d'édition plutôt que sur un crédit positionnel strict, et toutes les longueurs tentées plutôt que les seules longueurs communes.

Même dans sa meilleure spécification, le crédit partiel restait très en retrait : crédit partiel sur toutes les longueurs tentées moins empan maximal donne −0,327 (IC à 95 % −0,400 à −0,248). La conclusion ne dépend pas de la définition du crédit partiel retenue.

• Réponses vides — les 50 essais à tableau vide ont été exclus dans l'analyse primaire. Les conserver comme de véritables tentatives à crédit nul a fait passer l'ICC du crédit partiel sur longueurs communes de 0,0498 à 0,0503. La conclusion est inchangée : la règle d'exclusion n'explique donc pas le résultat nul.
• Recalcul indépendant de l'exactitude — l'exactitude reconstruite à partir du stimulus et de la réponse bruts divergeait de l'indicateur fourni par le jeu de données sur 0 essai.
• Bootstrap en grappes au niveau des sites — rééchantillonner des unités de recherche entières plutôt que des individus a donné des intervalles d'ICC à 95 % de 0,479–0,582 pour l'empan maximal, 0,572–0,646 pour les séquences entièrement correctes et −0,019–0,120 pour le crédit partiel. L'ordre subsiste lorsqu'on respecte la structure en grappes du jeu de données.
• Étiquettes de groupe — toutes les cotations ont été calculées indépendamment du statut de musicien ou non-musicien, du site et du pays, et aucune comparaison ni aucun classement de groupes n'a été effectué.

10Ce que devrait signifier un score d'empan de chiffres

La lecture la plus utile de ces résultats est qu'un résultat d'empan de chiffres n'est pas simplement un fait relatif à la mémoire d'une personne. Il est produit conjointement par le participant, les séquences précises présentées, la règle d'arrêt adaptative et le système de cotation. Modifiez seulement le dernier et la répétabilité immédiate va de 0,611 à 0,050 sur exactement les mêmes essais.

L'empan maximal comprime tout un test en un seul seuil. Le crédit partiel a conservé davantage de détail des essais mais, ici, surtout du détail qui n'a pas survécu à un changement d'ensemble de séquences. Le décompte des séquences entièrement correctes a été le meilleur compromis disponible dans ce jeu de données : il exploite l'ensemble des résultats réussi/échoué tout en évitant le comportement à seuil unique de l'empan maximal.

L'implication en matière de communication est tout aussi importante que celle qui concerne la cotation. Un résultat se décrit mieux comme une performance dans les conditions de test actuelles que comme une mesure fixe de la capacité cognitive d'une personne.

11Ce que nous affirmons et ce que nous n'affirmons pas

Les limites des affirmations ont été fixées avant l'existence des résultats, conformément aux bonnes pratiques en matière de tests.⁸ Les chiffres étant désormais disponibles, les affirmations soutenues sont les suivantes :

• Dans ce jeu de données, trois règles de cotation défendables appliquées à des essais identiques ont produit des répétabilités immédiates très différentes.
• Le décompte des séquences entièrement correctes a été le score le plus répétable parmi ceux testés (ICC 0,611), modestement mais constamment devant l'empan maximal réussi (0,535).
• Le score préspécifié à crédit partiel par position sérielle sur longueurs communes n'a pas été plus répétable que l'empan maximal ; il a été nettement moins bon (0,050), et l'hypothèse a été contredite.
• Seul environ un tiers des participants a reproduit le même empan maximal dans deux blocs consécutifs, avec un mouvement absolu moyen proche d'un niveau.

12Limites

1. Les deux blocs se sont déroulés au cours de la même séance de laboratoire : l'étude estime donc la répétabilité immédiate, non la stabilité sur des jours, des semaines ou des mois.
2. Les deux blocs utilisaient des ensembles de séquences fixes différents et ont toujours été administrés dans le même ordre : l'ordre des blocs est donc confondu avec l'ensemble d'items.
3. L'arrêt adaptatif crée une absence structurelle de données : les essais plus difficiles ne sont jamais présentés après qu'un participant a atteint son point d'arrêt, ce que la restriction aux longueurs communes a précisément tenté — imparfaitement — de gérer.
4. La restriction aux longueurs communes écarte les longueurs atteintes dans un seul bloc, et ce choix explique en partie pourquoi le coefficient primaire du crédit partiel est si faible ; la variante sur toutes les longueurs tentées est rapportée à côté.
5. L'échantillon comprend des adultes de 18 à 30 ans recrutés pour un programme de recherche sur musiciens et non-musiciens, et non un échantillon normatif représentatif de la population ; des différences résiduelles entre sites peuvent subsister malgré le bootstrap en grappes.
6. La tâche d'origine est un empan de chiffres endroit visuel démarrant à deux chiffres ; le test de mémoire de travail d'Altamens diffère par l'interface, l'appareil et la longueur initiale, si bien que ces coefficients ne sont pas des estimations de fiabilité d'Altamens.
7. L'empan de chiffres endroit n'est qu'une composante étroite de la mémoire à court terme et ne doit pas être assimilé à la mémoire de travail dans son ensemble ni à l'aptitude cognitive générale.
8. Cinquante essais à réponse vide ont exigé une règle de traitement ; les deux règles ont été appliquées et concordaient, mais le choix nous appartenait.
9. L'étude a été guidée par un protocole, avec des règles de cotation et des estimandes gelés avant tout examen des résultats, mais elle n'a pas été formellement préenregistrée dans un registre public avant son exécution.

Références

1. 1.Talamini F, Grassi M, Altoè G, et al. Music Ensemble: a large dataset on musicianship, cognition, and personality in musicians and nonmusicians. Scientific Data 13, 473, 2026. Dataset descriptor, cited for methods only (article is CC BY-NC-ND). https://doi.org/10.1038/s41597-026-06654-0
2. 2.Music Ensemble consortium Music Ensemble — Open Science Framework project (trial-level data). OSF · DOI 10.17605/OSF.IO/Y97T3, 2026. CC BY 4.0; digit-span trial file at data/raw-after-selection/digit_span.csv. https://osf.io/y97t3/
3. 3.Shrout PE, Fleiss JL Intraclass correlations: uses in assessing rater reliability. Psychological Bulletin 86(2), 420–428, 1979. Definition of the ICC(2,1) form used here. https://doi.org/10.1037/0033-2909.86.2.420
4. 4.Koo TK, Li MY A Guideline of Selecting and Reporting Intraclass Correlation Coefficients for Reliability Research. Journal of Chiropractic Medicine 15(2), 155–163, 2016. https://doi.org/10.1016/j.jcm.2016.02.012
5. 5.Bland JM, Altman DG Statistical methods for assessing agreement between two methods of clinical measurement. The Lancet 327(8476), 307–310, 1986. https://doi.org/10.1016/S0140-6736(86)90837-8
6. 6.Conway ARA, Kane MJ, Bunting MF, Hambrick DZ, Wilhelm O, Engle RW Working memory span tasks: A methodological review and user's guide. Psychonomic Bulletin & Review 12(5), 769–786, 2005. Reviews all-or-nothing versus partial-credit span scoring. https://doi.org/10.3758/BF03196772
7. 7.Woods DL, Kishiyama MM, Yund EW, et al. Improving digit span assessment of short-term verbal memory. Journal of Clinical and Experimental Neuropsychology 33(1), 101–111, 2011. https://doi.org/10.1080/13803390903424355
8. 8.American Educational Research Association, American Psychological Association, National Council on Measurement in Education Standards for Educational and Psychological Testing. AERA, 2014. https://www.testingstandards.net/