¿Cuánto puede cambiar la mezcla de preguntas una puntuación de cálculo mental de 30 segundos?

1La pregunta de medición

Una prueba de 30 segundos no tiene margen para promediar sobre cientos de ítems. Un puñado de preguntas inusualmente lentas puede consumir una gran parte del tiempo disponible. Eso significa que una puntuación de aciertos puede reflejar tanto el rendimiento de la persona como las preguntas concretas seleccionadas para ese intento.

La pregunta central es acotada y respondible: en un sprint aritmético fijo de 30 segundos, ¿cuánto puede cambiar la composición de los ítems, por sí sola, la puntuación de aciertos de una persona — y pueden las formas equilibradas por dificultad reducir esa variación entre formas?

Responderla con honestidad exige separar cuatro ideas que una única puntuación notificada mezcla en una sola:

1. El rendimiento de la persona — su velocidad y precisión en esa ocasión.
2. Las preguntas mostradas — operación, tamaño de los operandos, condición de veracidad, plausibilidad de la respuesta y dificultad calibrada del ítem.
3. Las condiciones de la prueba — límite de tiempo, orden, interfaz, dispositivo, latencia, distracciones y práctica.
4. La puntuación notificada — un recuento de aciertos y una precisión generados por los tres factores anteriores.

2Por qué las preguntas aritméticas difieren en dificultad

La razón mejor replicada es el efecto del tamaño del problema: los problemas aritméticos más grandes tardan sistemáticamente más en responderse y producen más errores que los pequeños, un hallazgo estudiado y modelado durante más de tres décadas.³ Nuestro reanálisis reprodujo el resultado del artículo fuente exactamente hasta el redondeo: en suma, la Kendall tau mediana del participante entre el tamaño del problema y el tiempo de respuesta fue de 0,288, positiva para los 59 participantes (grupo t(58) = 18,80); en resta, la tau mediana fue de 0,190, positiva para 58 de 59 (grupo t(58) = 14,51).¹

• Operación — los ítems de resta fueron más lentos que los de suma en este conjunto de datos (1,423 s frente a 1,237 s en los ensayos primarios); las dos operaciones no son intercambiables en velocidad ni en perfil de errores.
• Demandas de la decisión verdadero/falso — verificar una respuesta mostrada implica procesos distintos de producirla; aquí, las ecuaciones falsas fueron más lentas que las verdaderas (1,392 s frente a 1,267 s) y ligeramente menos precisas (96,92 % frente a 97,48 %).⁴
• Compromiso velocidad–precisión — una persona puede convertir precisión en ítems intentados y viceversa; el recuento de aciertos por sí solo oculta qué estrategia usó.
• Orden, práctica y fatiga — el lugar que ocupa un ítem en una sesión afecta a la respuesta que recibe.

Como los ítems difieren tanto, una forma corta que contenga más ítems de resta u operandos más grandes es mediblemente más lenta que otra forma de igual duración — lo que plantea la pregunta práctica que este estudio responde: ¿cambió el rendimiento de la persona, o cambió la forma?

3Un conjunto de datos abierto e independiente, auditado

Usamos la tarea de verificación aritmética de Bye, Harsch y Varma (2022), un conjunto de datos recogido de forma independiente, revisado por pares y publicado abiertamente bajo CC BY 4.0 en OSF.^1,2 Los participantes juzgaban si ecuaciones de suma y resta de un dígito eran verdaderas o falsas, respondiendo con la mayor rapidez y precisión posibles. Las respuestas falsas diferían generalmente de la correcta en 2, con excepciones específicas para evitar resultados negativos o valores trivialmente descartables.

El archivo bruto se auditó antes de cualquier modelado. Estaban presentes sesenta archivos por participante, cada uno con 256 filas; los identificadores de participante 27 y 39 estaban ausentes, en consonancia con las dos exclusiones por repetición del piloto ya eliminadas del archivo público por los autores fuente.

El tratamiento de la privacidad se fijó antes de la ingesta: el campo de fecha del participante se descartó de inmediato; los campos de encuesta, ACT/SAT, salud, admisión y demográficos nunca se usaron; y los archivos brutos permanecieron en un espacio de análisis restringido. Los resultados publicados son tablas agregadas y resúmenes derivados por participante vinculados a los identificadores ya públicos del estudio fuente — no se republica ninguna fila de ensayo bruto.

4La hipótesis congelada

Hipótesis primaria (fijada antes del análisis): las formas muestreadas ingenuamente que contengan más ítems de operandos grandes, de resta o, en general, más lentos y propensos a error producirán menos respuestas correctas y una mayor variación intrapersona de las puntuaciones entre formas que las formas equilibradas mediante una dificultad de ítems estimada únicamente a partir de los participantes de entrenamiento.

El protocolo se comprometió a publicar un resultado nulo o contrario, y enumeró de antemano las maneras en que el equilibrado podía fallar: clasificaciones individuales de dificultad inestables, un banco de ítems demasiado pequeño, una inconsistencia a nivel de persona que dominara sobre la mezcla de ítems, variables de dificultad ausentes o una simulación de 30 segundos insensible. Como muestra la sección 6, la parte de reducción de varianza de la hipótesis se vio respaldada en torno a un 10–13 %; la parte relativa a la puntuación media no recibió un respaldo relevante — las formas aleatorias y equilibradas produjeron puntuaciones medias casi idénticas.

5Simulación de miles de formas de 30 segundos

La simulación reproduce comportamiento real observado dentro de un presupuesto de tiempo. En términos sencillos:

1. Los participantes se dividieron mediante cinco ejecuciones repetidas de validación cruzada de cinco pliegues, y la dificultad de los ítems se estimó únicamente a partir de los participantes de entrenamiento — los propios datos de un participante reservado nunca influyeron en la dificultad usada para construir sus formas.
2. La puntuación de dificultad combinó el logaritmo del tiempo de respuesta centrado por participante con una tasa de error del ítem suavizada, y los ítems se ordenaron en cuartiles de dificultad dentro de operación × condición de veracidad mostrada.
3. Cada participante reservado recibió 1000 formas simuladas por condición: totalmente aleatorias, equilibradas por cuotas de operación/veracidad y totalmente equilibradas por dificultad (bloques equilibrados localmente que abarcan operación, condición de veracidad y estratos de dificultad — la lógica de asignación estratificada estudiada en la investigación sobre formas aleatoriamente equivalentes).
4. Los tiempos de respuesta observados se acumularon hasta el límite de 30 segundos: un ítem solo cuenta si su respuesta termina a tiempo; las respuestas correctas e incorrectas consumen tiempo por igual; solo las correctas puntúan.
5. Los intervalos de confianza remuestrearon a los participantes 10 000 veces (bootstrap no paramétrico, preservando el agrupamiento por participante).

El comparador equilibrado por cuotas es la prueba más exigente: preserva las proporciones generales de la tarea fuente (operación, condición de veracidad) sin equilibrar la dificultad calibrada, de modo que la comparación aísla si equilibrar la dificultad predicha aporta valor más allá de las cuotas simples de contenido.⁵ Esto sigue siendo una simulación que usa ensayos de verificación aritmética verdadero/falso recogidos de forma independiente — no un estudio directo de fiabilidad de la prueba móvil de cuatro opciones de Altamens.

6Resultados: el equilibrado redujo la varianza entre formas en torno a un 10–13 %

Resultado primario: las formas equilibradas por dificultad redujeron la varianza media intrapersona de las puntuaciones simuladas de aciertos en 30 segundos en un 13,14 % en comparación con las formas totalmente aleatorias (IC del 95 % por bootstrap de participantes: 11,08 % a 15,10 %). La desviación estándar intrapersona RMS bajó de 1,99 a 1,85 respuestas correctas. Como la varianza es el cuadrado de la desviación estándar, la reducción de varianza del titular corresponde a una reducción menor, del 6,8 %, en la DE.

Las cuotas simples de operación/veracidad lograron solo una reducción de varianza del 4,60 % (DE RMS 1,94); equilibrar la dificultad calibrada añadió 8,95 puntos porcentuales por encima de las cuotas. Las puntuaciones medias quedaron esencialmente inalteradas — 22,76 aciertos con formas aleatorias, 22,75 con cuotas, 22,66 con equilibrado por dificultad — y el pequeño desplazamiento primario de −0,11 puntos se redujo a −0,01 cuando se retuvieron todos los tiempos de respuesta finitos, lo que indica un artefacto del punto de corte y no una penalización en la puntuación.

Lo que un participante notaría realmente: el equilibrado ayudó, pero persistió una variabilidad sustancial propia de las pruebas cortas. Entre pares de formas de 30 segundos simuladas de forma independiente, la amplitud de puntuación entre los percentiles 5 y 95 del participante mediano se mantuvo en 6 puntos en ambas condiciones.

7Salvaguardas que mantuvieron honesto el análisis

• La dificultad de los ítems fue bidimensional — la calibración combinó el logaritmo del tiempo de respuesta centrado por participante y una tasa de error del ítem suavizada, en lugar de reducirse a un único compuesto ciego a los errores. Una variante de sensibilidad basada solo en el tiempo de respuesta se presenta por separado (17,51 %) en lugar de incorporarse a la afirmación primaria.
• Validación cruzada dividida por participante, nunca por ensayo — cinco ejecuciones repetidas de cinco pliegues a nivel de participante; el propio rendimiento de un participante reservado nunca influyó en la dificultad usada para construir sus formas.
• Exclusiones preespecificadas — el análisis primario conservó los tiempos de respuesta finitos y positivos iguales o inferiores a 4 segundos (correctos e incorrectos, porque ambos consumen tiempo del sprint); el análisis de sensibilidad con todos los tiempos finitos repitió todo sin el punto de corte y se cita junto al resultado primario.
• Incertidumbre — bootstrap no paramétrico a nivel de participante con 10 000 remuestreos, preservando el agrupamiento por participante, con intervalos del 95 % presentados para cada estimación principal.
• Lenguaje conservador — el término «mejora de fiabilidad» no se usa, porque no se estimó ningún coeficiente de fiabilidad reconocido; la afirmación es una reducción de varianza en formas simuladas.

8Qué afirmamos y qué no

Los límites de las afirmaciones se fijaron antes de que existieran resultados, en línea con las buenas prácticas de evaluación.⁶ Con las cifras ya incorporadas, las afirmaciones respaldadas son:

• En este conjunto de datos y esta simulación independientes, la mezcla de preguntas aritméticas cambió de forma sustancial las puntuaciones cortas de aciertos.
• El procedimiento de equilibrado probado redujo la varianza entre formas en torno a un 10–13 % en las especificaciones más defendibles.
• El equilibrado mejoró la comparabilidad pero no hizo que las puntuaciones cortas fueran perfectamente estables.
• Los ítems aritméticos más grandes/lentos y la composición por operación/veracidad son variables relevantes de diseño de formas.

9Qué significa esto para una puntuación de Altamens de 30 segundos

La lección práctica no es que una puntuación de 30 segundos carezca de sentido — es que debe leerse como una instantánea informal de rendimiento con un componente real dependiente de la forma. Incluso con equilibrado por dificultad, dos formas simuladas difirieron en 2 o más puntos más de la mitad de las veces. Repetir la prueba en condiciones similares, y comparar tendencias en lugar de intentos aislados, sigue siendo la manera honesta de usar una puntuación corta. La tarea fuente difiere de Altamens, por lo que estas estimaciones numéricas no se transfieren como normas o bandas de error de Altamens.

10Limitaciones

1. La muestra contiene solo 59 estudiantes universitarios estadounidenses de 18 a 23 años.
2. La tarea fuente es una verificación verdadero/falso de laboratorio con respuestas de teclado; Altamens usa cuatro opciones de respuesta en dispositivos distintos.
3. Los tiempos de respuesta fuente no incluyen la latencia medida de dispositivo, renderizado, entrada táctil o transición de Altamens.
4. Las formas de 30 segundos son simulaciones, no formas alternativas administradas prospectivamente.
5. Cada forma simulada reutiliza una respuesta observada por participante-ítem, por lo que no puede modelar el estado de un día a otro, el aprendizaje por exposición repetida, el ruido de respuestas nuevas, la latencia móvil ni las conjeturas en cuatro opciones.
6. El punto de corte de 4 segundos y otras decisiones de preprocesado afectan a las estimaciones — por eso la especificación con todos los tiempos finitos (9,98 %) se cita junto al resultado primario (13,14 %).
7. La dificultad de un ítem puede variar entre personas; un ítem «difícil» calibrado a nivel de grupo no es igualmente difícil para todos.
8. El algoritmo de equilibrado es transparente pero no necesariamente óptimo; algoritmos mejores podrían lograr más, o el techo podría ser bajo.
9. El banco de ítems se limita al diseño de sumas y restas del estudio fuente.
10. El análisis no puede producir normas nacionales, de edad, de educación, clínicas ni de CI, y no valida la prueba de Altamens como instrumento médico, educativo o psicométrico.
11. El estudio estuvo guiado por protocolo, con el diseño congelado antes del análisis, pero no fue prerregistrado formalmente en un registro público antes de su ejecución.

Referencias

1. 1.Bye JK, Harsch RM, Varma S Decoding Fact Fluency and Strategy Flexibility in Solving One-Step Algebra Problems: An Individual Differences Analysis. Journal of Numerical Cognition, 8(2), 281–294, 2022. Source paper for the arithmetic-verification dataset. https://doi.org/10.5964/jnc.7093
2. 2.Bye JK, Harsch RM, Varma S Open Science Framework project: data, codebooks and analysis files. OSF, 2022. CC BY 4.0; raw files at osf.io/j79a6, codebooks at osf.io/kgd4c, analysis/data component at osf.io/zmn8a. https://osf.io/vx2rh/
3. 3.Ashcraft MH, Guillaume MM Mathematical Cognition and the Problem Size Effect. Psychology of Learning and Motivation, Vol. 51, 121–151, 2009. https://doi.org/10.1016/S0079-7421(09)51004-3
4. 4.Faulkenberry TJ A Single-Boundary Accumulator Model of Response Times in an Addition Verification Task. Frontiers in Psychology 8:1225, 2017. https://doi.org/10.3389/fpsyg.2017.01225
5. 5.Liao C-W, Livingston SA Examining an Alternative to Score Equating: A Randomly Equivalent Forms Approach. ETS Research Report RR-08-14, 2008. Stratified random assignment on content and predicted difficulty. https://doi.org/10.1002/j.2333-8504.2008.tb02100.x
6. 6.American Educational Research Association, American Psychological Association, National Council on Measurement in Education Standards for Educational and Psychological Testing. AERA, 2014. https://www.testingstandards.net/