Quanto può cambiare un punteggio di calcolo mentale di 30 secondi in base al mix di domande?

1La domanda di misurazione

Un test di 30 secondi non ha spazio per mediare su centinaia di item. Una manciata di domande insolitamente lente può consumare gran parte del tempo disponibile. Ciò significa che un punteggio di risposte corrette può riflettere sia la prestazione di una persona sia le domande specifiche selezionate per quel tentativo.

La domanda centrale è circoscritta e ammette una risposta: in uno sprint aritmetico fisso di 30 secondi, quanto può cambiare il punteggio di risposte corrette di una persona per la sola composizione degli item — e i moduli bilanciati per difficoltà possono ridurre quella variazione tra moduli?

Rispondere onestamente richiede di separare quattro idee che un singolo punteggio riportato comprime insieme:

1. La prestazione della persona — la sua velocità e accuratezza in quell'occasione.
2. Le domande mostrate — operazione, dimensione degli operandi, valore di verità, plausibilità della risposta e difficoltà calibrata dell'item.
3. Le condizioni del test — limite di tempo, ordine, interfaccia, dispositivo, latenza, distrazioni e pratica.
4. Il punteggio riportato — un conteggio di risposte corrette e un'accuratezza generati da tutti e tre i fattori precedenti.

2Perché le domande aritmetiche differiscono in difficoltà

La ragione meglio replicata è l'effetto della dimensione del problema: i problemi aritmetici più grandi richiedono sistematicamente più tempo per rispondere e producono più errori di quelli più piccoli, un risultato studiato e modellato da oltre tre decenni.³ La nostra rianalisi ha riprodotto il risultato dell'articolo di origine esattamente all'arrotondamento: per l'addizione, il tau di Kendall del partecipante mediano tra dimensione del problema e tempo di risposta era 0,288, positivo per tutti i 59 partecipanti (t di gruppo t(58) = 18,80); per la sottrazione, il tau mediano era 0,190, positivo per 58 su 59 (t di gruppo t(58) = 14,51).¹

• Operazione — in questo dataset gli item di sottrazione erano più lenti di quelli di addizione (1,423 s contro 1,237 s nelle prove primarie); le due operazioni non sono intercambiabili per velocità o profilo di errore.
• Richieste della decisione vero/falso — verificare una risposta mostrata coinvolge processi diversi dal produrne una; qui, le equazioni false erano più lente di quelle vere (1,392 s contro 1,267 s) e leggermente meno accurate (96,92% contro 97,48%).⁴
• Compromesso velocità–accuratezza — una persona può convertire l'accuratezza in item tentati e viceversa; il solo conteggio delle risposte corrette nasconde quale strategia abbia usato.
• Ordine, pratica e affaticamento — la posizione di un item in una sessione influenza la risposta che riceve.

Poiché gli item differiscono così tanto, un modulo breve contenente più item di sottrazione o operandi più grandi è misurabilmente più lento di un altro modulo di uguale durata — il che pone la domanda pratica a cui questo studio risponde: è cambiata la prestazione della persona, o è cambiato il modulo?

3Un dataset aperto e indipendente, sottoposto ad audit

Abbiamo usato il compito di verifica aritmetica di Bye, Harsch e Varma (2022), un dataset raccolto in modo indipendente, sottoposto a revisione paritaria e rilasciato apertamente con licenza CC BY 4.0 su OSF.^1,2 I partecipanti giudicavano se equazioni di addizione e sottrazione a una cifra fossero vere o false, rispondendo il più rapidamente e accuratamente possibile. Le risposte false differivano in genere dalla risposta corretta di 2, con eccezioni specifiche per evitare risultati negativi o valori banalmente scartabili.

L'archivio grezzo è stato sottoposto ad audit prima di qualsiasi modellazione. Erano presenti sessanta file per partecipante, ciascuno con 256 righe; gli identificatori dei partecipanti 27 e 39 erano assenti, coerentemente con le due esclusioni per ripetizione pilota già rimosse dall'archivio pubblico dagli autori dello studio di origine.

La gestione della privacy è stata fissata prima dell'importazione: il campo data del partecipante è stato eliminato immediatamente; i campi relativi a sondaggi, ACT/SAT, salute, ammissioni e demografia non sono mai stati usati; e i file grezzi sono rimasti in uno spazio di analisi ad accesso ristretto. Gli output pubblicati sono tabelle aggregate e riepiloghi derivati per partecipante, associati agli identificatori già pubblici dello studio di origine — nessuna riga grezza di prova viene ripubblicata.

4L'ipotesi congelata

Ipotesi primaria (fissata prima dell'analisi): moduli campionati ingenuamente contenenti più item con operandi grandi, sottrazioni o comunque più lenti e più soggetti a errori produrranno meno risposte corrette e una maggiore variazione intra-persona dei punteggi tra moduli rispetto a moduli bilanciati usando la difficoltà degli item stimata solo dai partecipanti di addestramento.

Il protocollo si è impegnato a pubblicare un risultato nullo o contrario, e ha elencato in anticipo i modi in cui il bilanciamento poteva fallire: classifiche individuali di difficoltà instabili, un pool di item troppo piccolo, un'incoerenza a livello di persona dominante rispetto al mix di item, variabili di difficoltà mancanti o una simulazione di 30 secondi insensibile. Come mostra la sezione 6, la parte dell'ipotesi sulla riduzione della varianza è stata supportata a circa il 10–13%; la parte sul punteggio medio non è stata supportata in modo significativo — moduli casuali e bilanciati hanno prodotto punteggi medi quasi identici.

5Simulare migliaia di moduli di 30 secondi

La simulazione riproduce comportamenti reali osservati entro un budget di tempo. In parole semplici:

1. I partecipanti sono stati suddivisi con cinque esecuzioni ripetute di validazione incrociata a cinque parti, e la difficoltà degli item è stata stimata solo dai partecipanti di addestramento — i dati di un partecipante escluso dall'addestramento non hanno mai influenzato la difficoltà usata per costruire i suoi moduli.
2. Il punteggio di difficoltà combinava il logaritmo del tempo di risposta centrato sul partecipante con un tasso di errore dell'item lisciato, e gli item sono stati classificati in quartili di difficoltà entro operazione × valore di verità mostrato.
3. Ogni partecipante escluso dall'addestramento ha ricevuto 1.000 moduli simulati per condizione: completamente casuali, bilanciati per quote di operazione/verità e completamente bilanciati per difficoltà (blocchi bilanciati localmente che coprono operazione, valore di verità e strati di difficoltà — la logica di assegnazione stratificata studiata nella ricerca sui moduli casualmente equivalenti).
4. I tempi di risposta osservati sono stati accumulati fino al limite di 30 secondi: un item conta solo se la sua risposta si conclude in tempo; le risposte corrette e sbagliate consumano entrambe tempo; solo le risposte corrette danno punteggio.
5. Gli intervalli di confidenza hanno ricampionato i partecipanti 10.000 volte (bootstrap non parametrico, preservando il raggruppamento per partecipante).

Il comparatore bilanciato per quote è il test più forte: preserva le proporzioni generali del compito di origine (operazione, valore di verità) senza bilanciare la difficoltà calibrata, così il confronto isola se bilanciare la difficoltà prevista aggiunga valore oltre le semplici quote di contenuto.⁵ Questa resta una simulazione che usa prove di verifica aritmetica vero/falso raccolte in modo indipendente — non uno studio diretto di affidabilità del test mobile Altamens a quattro scelte.

6Risultati: il bilanciamento ha ridotto la varianza tra moduli di circa il 10–13%

Risultato primario: i moduli bilanciati per difficoltà hanno ridotto la varianza media intra-persona dei punteggi simulati (risposte corrette in 30 secondi) del 13,14% rispetto ai moduli completamente casuali (bootstrap sui partecipanti, IC 95% da 11,08% a 15,10%). La deviazione standard intra-persona RMS è scesa da 1,99 a 1,85 risposte corrette. Poiché la varianza è il quadrato della deviazione standard, la riduzione di varianza in evidenza corrisponde a una più piccola riduzione del 6,8% della DS.

Le semplici quote di operazione/verità hanno ottenuto solo una riduzione della varianza del 4,60% (DS RMS 1,94); bilanciare la difficoltà calibrata ha aggiunto 8,95 punti percentuali oltre le quote. I punteggi medi sono rimasti sostanzialmente invariati — 22,76 risposte corrette con moduli casuali, 22,75 con le quote, 22,66 con il bilanciamento per difficoltà — e il piccolo scostamento primario di −0,11 punti si è ridotto a −0,01 quando tutti i tempi di risposta finiti sono stati mantenuti, indicando un artefatto del cutoff piuttosto che una penalità di punteggio.

Cosa noterebbe davvero un partecipante: il bilanciamento ha aiutato, ma una sostanziale variabilità nei test brevi è rimasta. Tra coppie di moduli di 30 secondi simulati indipendentemente, l'ampiezza di punteggio tra il 5° e il 95° percentile del partecipante mediano è rimasta di 6 punti in entrambe le condizioni.

7Le salvaguardie che hanno mantenuto onesta l'analisi

• La difficoltà degli item era bidimensionale — la calibrazione combinava il logaritmo del tempo di risposta centrato sul partecipante e un tasso di errore dell'item lisciato, anziché comprimersi in un unico composito cieco agli errori. Una variante di sensibilità basata solo sui tempi di risposta è riportata separatamente (17,51%) invece di essere inglobata nell'affermazione primaria.
• Validazione incrociata suddivisa per partecipante, mai per prova — cinque esecuzioni ripetute a cinque parti a livello di partecipante; la prestazione di un partecipante escluso dall'addestramento non ha mai influenzato la difficoltà usata per costruire i suoi moduli.
• Esclusioni prespecificate — l'analisi primaria ha mantenuto i tempi di risposta finiti e positivi pari o inferiori a 4 secondi (corretti e sbagliati, perché entrambi consumano tempo di sprint); l'analisi di sensibilità con tutti i tempi finiti ha ripetuto tutto senza il cutoff ed è citata accanto al risultato primario.
• Incertezza — bootstrap non parametrico a livello di partecipante con 10.000 ricampionamenti, preservando il raggruppamento per partecipante, con intervalli al 95% riportati per ogni stima in evidenza.
• Linguaggio conservativo — il termine “miglioramento dell'affidabilità” non viene usato, perché non è stato stimato alcun coefficiente di affidabilità riconosciuto; l'affermazione è una riduzione della varianza in moduli simulati.

8Cosa affermiamo e cosa non affermiamo

I confini delle affermazioni sono stati fissati prima che esistessero i risultati, in linea con le buone pratiche di testing.⁶ Con i numeri ora disponibili, le affermazioni supportate sono:

• In questo dataset indipendente e in questa simulazione, il mix di domande aritmetiche ha cambiato in modo sostanziale i punteggi brevi di risposte corrette.
• La procedura di bilanciamento testata ha ridotto la varianza tra moduli di circa il 10–13% nelle specifiche più difendibili.
• Il bilanciamento ha migliorato la comparabilità ma non ha reso perfettamente stabili i punteggi brevi.
• Gli item aritmetici più grandi/lenti e la composizione per operazione/verità sono variabili rilevanti nella progettazione dei moduli.

9Cosa significa per un punteggio Altamens di 30 secondi

La lezione pratica non è che un punteggio di 30 secondi sia privo di significato — è che va letto come un'istantanea informale della prestazione con una componente reale legata al modulo. Anche con il bilanciamento per difficoltà, due moduli simulati differivano di 2 o più punti in più della metà dei casi. Ripetere il test in condizioni simili, e confrontare tendenze anziché singoli tentativi, resta il modo onesto di usare un punteggio breve. Il compito di origine differisce da Altamens, quindi queste stime numeriche non vengono trasferite come norme o bande di errore di Altamens.

10Limitazioni

1. Il campione contiene solo 59 studenti universitari statunitensi di età compresa tra 18 e 23 anni.
2. Il compito di origine è una verifica vero/falso di laboratorio con risposte da tastiera; Altamens usa quattro opzioni di risposta su dispositivi diversi.
3. I tempi di risposta di origine non includono latenze misurate di dispositivo, rendering, tocco o transizione di Altamens.
4. I moduli di 30 secondi sono simulazioni, non moduli alternativi somministrati prospetticamente.
5. Ogni modulo simulato riutilizza una sola risposta osservata per coppia partecipante-item, quindi non può modellare lo stato quotidiano, l'apprendimento da esposizione ripetuta, nuovo rumore di risposta, la latenza mobile o il tirare a indovinare a quattro scelte.
6. Il cutoff di 4 secondi e altre scelte di preelaborazione influenzano le stime — motivo per cui la specifica con tutti i tempi finiti (9,98%) è citata accanto al risultato primario (13,14%).
7. La difficoltà degli item può variare tra le persone; un item “difficile” calibrato a livello di gruppo non è ugualmente difficile per tutti.
8. L'algoritmo di bilanciamento è trasparente ma non necessariamente ottimale; algoritmi migliori potrebbero fare di più, oppure il tetto potrebbe essere basso.
9. Il pool di item è limitato al disegno di addizioni/sottrazioni dello studio di origine.
10. L'analisi non può produrre norme nazionali, per età, istruzione, cliniche o di QI, e non valida il test Altamens come strumento medico, educativo o psicometrico.
11. Lo studio è stato guidato da protocollo, con il disegno congelato prima dell'analisi, ma non è stato formalmente preregistrato in un registro pubblico prima dell'esecuzione.

Riferimenti

1. 1.Bye JK, Harsch RM, Varma S Decoding Fact Fluency and Strategy Flexibility in Solving One-Step Algebra Problems: An Individual Differences Analysis. Journal of Numerical Cognition, 8(2), 281–294, 2022. Source paper for the arithmetic-verification dataset. https://doi.org/10.5964/jnc.7093
2. 2.Bye JK, Harsch RM, Varma S Open Science Framework project: data, codebooks and analysis files. OSF, 2022. CC BY 4.0; raw files at osf.io/j79a6, codebooks at osf.io/kgd4c, analysis/data component at osf.io/zmn8a. https://osf.io/vx2rh/
3. 3.Ashcraft MH, Guillaume MM Mathematical Cognition and the Problem Size Effect. Psychology of Learning and Motivation, Vol. 51, 121–151, 2009. https://doi.org/10.1016/S0079-7421(09)51004-3
4. 4.Faulkenberry TJ A Single-Boundary Accumulator Model of Response Times in an Addition Verification Task. Frontiers in Psychology 8:1225, 2017. https://doi.org/10.3389/fpsyg.2017.01225
5. 5.Liao C-W, Livingston SA Examining an Alternative to Score Equating: A Randomly Equivalent Forms Approach. ETS Research Report RR-08-14, 2008. Stratified random assignment on content and predicted difficulty. https://doi.org/10.1002/j.2333-8504.2008.tb02100.x
6. 6.American Educational Research Association, American Psychological Association, National Council on Measurement in Education Standards for Educational and Psychological Testing. AERA, 2014. https://www.testingstandards.net/