Quanto pode a combinação de perguntas alterar uma pontuação de cálculo mental de 30 segundos?

1A questão de medição

Um teste de 30 segundos não tem margem para calcular a média de centenas de itens. Um punhado de perguntas invulgarmente lentas pode consumir uma grande parte do tempo disponível. Isso significa que uma pontuação de acertos pode refletir tanto o desempenho da pessoa como as perguntas concretas selecionadas para essa tentativa.

A questão central é restrita e respondível: num sprint aritmético fixo de 30 segundos, quanto pode a composição dos itens, por si só, alterar a pontuação de acertos de uma pessoa — e podem formas equilibradas por dificuldade reduzir essa variação de forma para forma?

Responder-lhe com honestidade exige separar quatro ideias que uma única pontuação reportada funde:

1. O desempenho da pessoa — a sua velocidade e precisão nessa ocasião.
2. As perguntas apresentadas — operação, tamanho dos operandos, estatuto de veracidade, plausibilidade da resposta e dificuldade calibrada dos itens.
3. As condições do teste — limite de tempo, ordem, interface, dispositivo, latência, distrações e prática.
4. A pontuação reportada — uma contagem de acertos e uma precisão geradas pelos três fatores acima.

2Porque diferem as perguntas de aritmética em dificuldade

A razão mais bem replicada é o efeito de tamanho do problema: problemas aritméticos maiores demoram fiavelmente mais tempo a responder e produzem mais erros do que os mais pequenos, um achado estudado e modelado ao longo de mais de três décadas.³ A nossa reanálise reproduziu o resultado do artigo de origem exatamente até ao arredondamento: na adição, o Kendall tau do participante mediano entre o tamanho do problema e o tempo de resposta foi de 0,288, positivo para todos os 59 participantes (grupo t(58) = 18,80); na subtração, o tau mediano foi de 0,190, positivo para 58 de 59 (grupo t(58) = 14,51).¹

• Operação — os itens de subtração foram mais lentos do que os de adição neste conjunto de dados (1,423 s vs 1,237 s nos ensaios primários); as duas operações não são intercambiáveis em velocidade nem em perfil de erro.
• Exigências da decisão verdadeiro/falso — verificar uma resposta apresentada mobiliza processos diferentes de produzir uma; aqui, as equações falsas foram mais lentas do que as verdadeiras (1,392 s vs 1,267 s) e ligeiramente menos precisas (96,92% vs 97,48%).⁴
• Compromisso velocidade–precisão — uma pessoa pode converter precisão em itens tentados e vice-versa; a contagem de acertos, por si só, esconde a estratégia usada.
• Ordem, prática e fadiga — o ponto da sessão em que um item aparece afeta a resposta que recebe.

Como os itens diferem tanto, uma forma curta com mais itens de subtração ou operandos maiores é mensuravelmente mais lenta do que outra forma de igual duração — o que coloca a questão prática a que este estudo responde: o desempenho da pessoa mudou, ou mudou a forma?

3Um conjunto de dados aberto e independente, auditado

Usámos a tarefa de verificação aritmética de Bye, Harsch e Varma (2022), um conjunto de dados recolhido de forma independente, revisto por pares e publicado abertamente sob CC BY 4.0 no OSF.^1,2 Os participantes julgavam se equações de adição e subtração de um dígito eram verdadeiras ou falsas, respondendo tão rápida e precisamente quanto possível. As respostas falsas diferiam, em geral, da resposta correta em 2, com exceções específicas para evitar resultados negativos ou valores trivialmente rejeitáveis.

O arquivo bruto foi auditado antes de qualquer modelação. Estavam presentes sessenta ficheiros por participante, cada um com 256 linhas; os identificadores de participante 27 e 39 estavam ausentes, o que é consistente com as duas exclusões por repetição de piloto já removidas do arquivo público pelos autores de origem.

O tratamento da privacidade foi fixado antes da ingestão: o campo de data do participante foi eliminado imediatamente; os campos de inquérito, ACT/SAT, saúde, admissões e demográficos nunca foram usados; e os ficheiros brutos permaneceram num espaço de análise restrito. Os outputs publicados são tabelas agregadas e resumos derivados por participante, indexados aos identificadores já públicos do estudo de origem — nenhuma linha de ensaio bruta é republicada.

4A hipótese congelada

Hipótese primária (fixada antes da análise): formas amostradas ingenuamente, contendo mais itens de operandos grandes, de subtração ou de outro modo mais lentos e mais propensos a erro, produzirão menos respostas corretas e maior variação intraindividual de pontuação de forma para forma do que formas equilibradas usando a dificuldade dos itens estimada apenas a partir dos participantes de treino.

O protocolo comprometeu-se a publicar um resultado nulo ou contrário, e enumerou antecipadamente as formas pelas quais o equilíbrio podia falhar: ordenações individuais de dificuldade instáveis, um conjunto de itens demasiado pequeno, inconsistência ao nível da pessoa a dominar a combinação de itens, variáveis de dificuldade em falta, ou uma simulação de 30 segundos insensível. Como mostra a secção 6, a parte da hipótese sobre a redução da variância foi apoiada em cerca de 10–13%; a parte sobre a pontuação média não foi apoiada de forma significativa — as formas aleatórias e equilibradas produziram pontuações médias quase idênticas.

5Simular milhares de formas de 30 segundos

A simulação reproduz comportamento real observado dentro de um orçamento de tempo. Em linguagem simples:

1. Os participantes foram divididos usando cinco execuções repetidas de validação cruzada de cinco dobras, e a dificuldade dos itens foi estimada apenas a partir dos participantes de treino — os dados de um participante retido nunca moldaram a dificuldade usada para construir as suas formas.
2. A pontuação de dificuldade combinou o logaritmo do tempo de resposta centrado no participante com uma taxa de erro do item suavizada, e os itens foram ordenados em quartis de dificuldade dentro de operação × estatuto de veracidade apresentado.
3. Cada participante retido recebeu 1.000 formas simuladas por condição: totalmente aleatórias, equilibradas por quotas de operação/veracidade e totalmente equilibradas por dificuldade (blocos localmente equilibrados abrangendo operação, estatuto de veracidade e estratos de dificuldade — a lógica de atribuição estratificada estudada na investigação sobre formas aleatoriamente equivalentes).
4. Os tempos de resposta observados foram acumulados até ao limite de 30 segundos: um item só conta se a sua resposta terminar a tempo; respostas corretas e incorretas consomem ambas tempo; apenas as respostas corretas pontuam.
5. Os intervalos de confiança reamostraram os participantes 10.000 vezes (bootstrap não paramétrico, preservando o agrupamento por participante).

O comparador equilibrado por quotas é o teste mais forte: preserva as proporções gerais da tarefa de origem (operação, estatuto de veracidade) sem equilibrar a dificuldade calibrada, pelo que a comparação isola se equilibrar a dificuldade prevista acrescenta valor para além de quotas simples de conteúdo.⁵ Isto continua a ser uma simulação usando ensaios de verificação aritmética verdadeiro/falso recolhidos de forma independente — não um estudo direto de fiabilidade do teste móvel de quatro opções da Altamens.

6Resultados: o equilíbrio reduziu a variância de forma para forma em cerca de 10–13%

Resultado primário: as formas equilibradas por dificuldade reduziram a variância média intraindividual das pontuações simuladas de acertos em 30 segundos em 13,14% em comparação com formas totalmente aleatórias (IC 95% por bootstrap de participantes: 11,08% a 15,10%). O desvio-padrão intraindividual RMS caiu de 1,99 para 1,85 respostas corretas. Como a variância é o quadrado do desvio-padrão, a redução de variância do título corresponde a uma redução menor, de 6,8%, no desvio-padrão.

As quotas simples de operação/veracidade alcançaram apenas uma redução de variância de 4,60% (desvio-padrão RMS de 1,94); equilibrar a dificuldade calibrada acrescentou 8,95 pontos percentuais além das quotas. As pontuações médias mantiveram-se essencialmente inalteradas — 22,76 acertos com formas aleatórias, 22,75 com quotas, 22,66 com equilíbrio por dificuldade — e o pequeno desvio primário de −0,11 pontos encolheu para −0,01 quando todos os tempos de resposta finitos foram retidos, indicando um artefacto do corte e não uma penalização de pontuação.

O que um participante notaria de facto: o equilíbrio ajudou, mas manteve-se uma variabilidade substancial nos testes curtos. Em pares de formas de 30 segundos simuladas de forma independente, a amplitude de pontuação entre os percentis 5 e 95 do participante mediano manteve-se em 6 pontos em ambas as condições.

7Salvaguardas que mantiveram a análise honesta

• A dificuldade dos itens era bidimensional — a calibração combinou o logaritmo do tempo de resposta centrado no participante e uma taxa de erro do item suavizada, em vez de colapsar num único compósito cego aos erros. Uma variante de sensibilidade apenas com tempos de resposta é reportada separadamente (17,51%) em vez de ser incorporada na afirmação primária.
• Validação cruzada dividida por participante, nunca por ensaio — cinco execuções repetidas de cinco dobras ao nível do participante; o desempenho de um participante retido nunca moldou a dificuldade usada para construir as suas formas.
• Exclusões pré-especificadas — a análise primária manteve tempos de resposta positivos e finitos iguais ou inferiores a 4 segundos (corretos e incorretos, porque ambos consomem tempo de sprint); a análise de sensibilidade com todos os tempos finitos repetiu tudo sem o corte e é citada ao lado do resultado primário.
• Incerteza — bootstrap não paramétrico ao nível do participante com 10.000 reamostragens, preservando o agrupamento por participante, com intervalos de 95% reportados para todas as estimativas principais.
• Linguagem conservadora — o termo “melhoria da fiabilidade” não é usado, porque nenhum coeficiente de fiabilidade reconhecido foi estimado; a afirmação é uma redução de variância em formas simuladas.

8O que afirmamos e não afirmamos

Os limites das afirmações foram fixados antes de existirem resultados, em linha com as boas práticas de testagem.⁶ Com os números agora incluídos, as afirmações apoiadas são:

• Neste conjunto de dados e simulação independentes, a combinação de perguntas de aritmética alterou materialmente as pontuações curtas de acertos.
• O procedimento de equilíbrio testado reduziu a variância de forma para forma em cerca de 10–13% nas especificações mais defensáveis.
• O equilíbrio melhorou a comparabilidade, mas não tornou as pontuações curtas perfeitamente estáveis.
• Itens aritméticos maiores/mais lentos e a composição de operação/veracidade são variáveis relevantes no desenho de formas.

9O que isto significa para uma pontuação Altamens de 30 segundos

A lição prática não é que uma pontuação de 30 segundos careça de significado — é que deve ser lida como um retrato informal de desempenho com uma componente real de forma para forma. Mesmo com equilíbrio por dificuldade, duas formas simuladas diferiram em 2 ou mais pontos mais de metade das vezes. Repetir o teste em condições semelhantes, e comparar tendências em vez de tentativas isoladas, continua a ser a forma honesta de usar uma pontuação curta. A tarefa de origem difere da Altamens, pelo que estas estimativas numéricas não são transferidas como normas ou margens de erro da Altamens.

10Limitações

1. A amostra contém apenas 59 estudantes universitários dos EUA com idades entre 18 e 23 anos.
2. A tarefa de origem é uma verificação verdadeiro/falso laboratorial com respostas por teclado; a Altamens usa quatro opções de resposta em dispositivos diferentes.
3. Os tempos de resposta de origem não incluem latência medida de dispositivo, renderização, toque ou transição da Altamens.
4. As formas de 30 segundos são simulações, não formas alternativas administradas prospetivamente.
5. Cada forma simulada reutiliza uma resposta observada por participante-item, pelo que não pode modelar o estado de dia para dia, a aprendizagem por exposição repetida, ruído de resposta novo, latência móvel ou adivinhação em quatro opções.
6. O corte de 4 segundos e outras escolhas de pré-processamento afetam as estimativas — razão pela qual a especificação com todos os tempos finitos (9,98%) é citada ao lado do resultado primário (13,14%).
7. A dificuldade dos itens pode variar entre pessoas; um item “difícil” calibrado ao nível do grupo não é igualmente difícil para toda a gente.
8. O algoritmo de equilíbrio é transparente, mas não necessariamente ótimo; algoritmos melhores poderiam fazer mais, ou o teto pode ser baixo.
9. O conjunto de itens está limitado ao desenho de adição/subtração do estudo de origem.
10. A análise não pode produzir normas nacionais, de idade, de educação, clínicas ou de QI, e não valida o teste Altamens como instrumento médico, educativo ou psicométrico.
11. O estudo foi guiado por protocolo, com o desenho congelado antes da análise, mas não foi formalmente pré-registado num registo público antes da execução.

Referências

1. 1.Bye JK, Harsch RM, Varma S Decoding Fact Fluency and Strategy Flexibility in Solving One-Step Algebra Problems: An Individual Differences Analysis. Journal of Numerical Cognition, 8(2), 281–294, 2022. Source paper for the arithmetic-verification dataset. https://doi.org/10.5964/jnc.7093
2. 2.Bye JK, Harsch RM, Varma S Open Science Framework project: data, codebooks and analysis files. OSF, 2022. CC BY 4.0; raw files at osf.io/j79a6, codebooks at osf.io/kgd4c, analysis/data component at osf.io/zmn8a. https://osf.io/vx2rh/
3. 3.Ashcraft MH, Guillaume MM Mathematical Cognition and the Problem Size Effect. Psychology of Learning and Motivation, Vol. 51, 121–151, 2009. https://doi.org/10.1016/S0079-7421(09)51004-3
4. 4.Faulkenberry TJ A Single-Boundary Accumulator Model of Response Times in an Addition Verification Task. Frontiers in Psychology 8:1225, 2017. https://doi.org/10.3389/fpsyg.2017.01225
5. 5.Liao C-W, Livingston SA Examining an Alternative to Score Equating: A Randomly Equivalent Forms Approach. ETS Research Report RR-08-14, 2008. Stratified random assignment on content and predicted difficulty. https://doi.org/10.1002/j.2333-8504.2008.tb02100.x
6. 6.American Educational Research Association, American Psychological Association, National Council on Measurement in Education Standards for Educational and Psychological Testing. AERA, 2014. https://www.testingstandards.net/