Wie stark kann die Aufgabenmischung einen 30-Sekunden-Kopfrechenwert verändern?

1Die Messfrage

Ein 30-Sekunden-Test bietet keinen Raum, über Hunderte von Aufgaben zu mitteln. Eine Handvoll ungewöhnlich langsamer Aufgaben kann einen großen Teil der verfügbaren Zeit verbrauchen. Das bedeutet, dass ein Trefferwert sowohl die Leistung einer Person als auch die für diesen Versuch ausgewählten Aufgaben widerspiegeln kann.

Die zentrale Frage ist eng und beantwortbar: Wie stark kann in einem festen 30-Sekunden-Arithmetik-Sprint allein die Aufgabenzusammensetzung den Trefferwert einer Person verändern — und können schwierigkeitsbalancierte Formen diese Streuung von Form zu Form reduzieren?

Eine ehrliche Antwort erfordert die Trennung von vier Aspekten, die ein einzelner berichteter Wert vermischt:

1. Die Leistung der Person — ihre Geschwindigkeit und Genauigkeit bei diesem Anlass.
2. Die gezeigten Aufgaben — Operation, Operandengröße, Wahrheitsstatus, Plausibilität der Antwort und kalibrierte Aufgabenschwierigkeit.
3. Die Testbedingungen — Zeitlimit, Reihenfolge, Oberfläche, Gerät, Latenz, Ablenkungen und Übung.
4. Der berichtete Wert — eine Trefferzahl und Genauigkeit, die von allen drei obigen Faktoren erzeugt werden.

2Warum sich Rechenaufgaben in der Schwierigkeit unterscheiden

Der am besten replizierte Grund ist der Problemgrößeneffekt: Größere Rechenaufgaben brauchen zuverlässig länger und erzeugen mehr Fehler als kleinere — ein Befund, der seit über drei Jahrzehnten untersucht und modelliert wird.³ Unsere Reanalyse reproduzierte das Ergebnis der Quellstudie exakt bis zur Rundung: Bei der Addition betrug das Kendall tau des Median-Teilnehmenden zwischen Problemgröße und Reaktionszeit 0,288, positiv für alle 59 Teilnehmenden (Gruppen-t(58) = 18,80); bei der Subtraktion lag das mediane tau bei 0,190, positiv für 58 von 59 (Gruppen-t(58) = 14,51).¹

• Operation — Subtraktionsaufgaben waren in diesem Datensatz langsamer als Additionsaufgaben (1,423 s vs. 1,237 s in den primären Durchgängen); die beiden sind in Geschwindigkeit und Fehlerprofil nicht austauschbar.
• Anforderungen der Wahr/Falsch-Entscheidung — das Prüfen einer angezeigten Antwort beansprucht andere Prozesse als das Erzeugen einer Antwort; hier waren falsche Gleichungen langsamer als wahre (1,392 s vs. 1,267 s) und etwas weniger genau (96,92 % vs. 97,48 %).⁴
• Geschwindigkeits-Genauigkeits-Abwägung — eine Person kann Genauigkeit in bearbeitete Aufgaben umwandeln und umgekehrt; die Trefferzahl allein verbirgt, welche Strategie sie verwendet hat.
• Reihenfolge, Übung und Ermüdung — wo eine Aufgabe in einer Sitzung landet, beeinflusst die Antwort, die sie erhält.

Weil sich Aufgaben so stark unterscheiden, ist eine kurze Form mit mehr Subtraktionsaufgaben oder größeren Operanden messbar langsamer als eine andere Form gleicher Dauer — was die praktische Frage aufwirft, die diese Studie beantwortet: Hat sich die Leistung der Person verändert oder die Form?

3Ein unabhängiger offener Datensatz, geprüft

Wir verwendeten die Arithmetik-Verifikationsaufgabe von Bye, Harsch und Varma (2022), einen unabhängig erhobenen, begutachteten Datensatz, der unter CC BY 4.0 offen auf OSF veröffentlicht wurde.^1,2 Die Teilnehmenden beurteilten, ob einstellige Additions- und Subtraktionsgleichungen wahr oder falsch waren, und antworteten so schnell und genau wie möglich. Falsche Antworten wichen in der Regel um 2 von der richtigen Antwort ab, mit spezifischen Ausnahmen, um negative Ergebnisse oder trivial ablehnbare Werte zu vermeiden.

Das Rohdatenarchiv wurde vor jeder Modellierung geprüft. Sechzig Dateien pro Teilnehmenden waren vorhanden, jede mit 256 Zeilen; die Teilnehmerkennungen 27 und 39 fehlten, konsistent mit den beiden Pilot-Wiederholungs-Ausschlüssen, die von den Quellautoren bereits aus dem öffentlichen Archiv entfernt worden waren.

Der Datenschutzumgang wurde vor der Aufnahme festgelegt: Das Datumsfeld der Teilnehmenden wurde sofort entfernt; Umfrage-, ACT/SAT-, Gesundheits-, Zulassungs- und demografische Felder wurden nie verwendet; und die Rohdateien verblieben in einem zugriffsbeschränkten Analysebereich. Veröffentlichte Outputs sind aggregierte Tabellen und abgeleitete Zusammenfassungen pro Teilnehmenden, verknüpft mit den bereits öffentlichen Kennungen der Quellstudie — keine rohen Durchgangszeilen werden erneut veröffentlicht.

4Die eingefrorene Hypothese

Primäre Hypothese (vor der Analyse festgelegt): Naiv gezogene Formen mit mehr großen Operanden, mehr Subtraktion oder anderweitig langsameren und fehleranfälligeren Aufgaben werden weniger richtige Antworten und eine größere personeninterne Streuung der Werte von Form zu Form erzeugen als Formen, die anhand einer nur aus Trainingsteilnehmenden geschätzten Aufgabenschwierigkeit ausbalanciert wurden.

Das Protokoll verpflichtete sich zur Veröffentlichung eines Null- oder gegenteiligen Ergebnisses und listete vorab die Wege auf, auf denen das Ausbalancieren scheitern könnte: instabile individuelle Schwierigkeitsrangfolgen, ein zu kleiner Aufgabenpool, eine von der Aufgabenmischung dominierte Inkonsistenz auf Personenebene, fehlende Schwierigkeitsvariablen oder eine unempfindliche 30-Sekunden-Simulation. Wie Abschnitt 6 zeigt, wurde der Varianzreduktionsteil der Hypothese mit etwa 10–13 % gestützt; der Mittelwertteil wurde nicht bedeutsam gestützt — zufällige und balancierte Formen erzeugten nahezu identische Durchschnittswerte.

5Tausende 30-Sekunden-Formen simulieren

Die Simulation spielt real beobachtetes Verhalten in ein Zeitbudget ein. In einfachen Worten:

1. Die Teilnehmenden wurden über fünf wiederholte fünffache Kreuzvalidierungsläufe aufgeteilt, und die Aufgabenschwierigkeit wurde ausschließlich aus Trainingsteilnehmenden geschätzt — die eigenen Daten eines zurückgehaltenen Teilnehmenden haben nie die Schwierigkeit geprägt, mit der ihre Formen gebaut wurden.
2. Der Schwierigkeitswert kombinierte die teilnehmerzentrierte logarithmierte Reaktionszeit mit einer geglätteten Aufgabenfehlerrate, und die Aufgaben wurden innerhalb von Operation × angezeigtem Wahrheitsstatus in Schwierigkeitsquartile eingeordnet.
3. Jeder zurückgehaltene Teilnehmende erhielt 1.000 simulierte Formen pro Bedingung: vollständig zufällig, nach Operation/Wahrheitsstatus quotenbalanciert und vollständig schwierigkeitsbalanciert (lokal balancierte Blöcke über Operation, Wahrheitsstatus und Schwierigkeitsschichten — die Logik der stratifizierten Zuweisung, die in der Forschung zu zufällig äquivalenten Formen untersucht wird).
4. Beobachtete Reaktionszeiten wurden bis zum 30-Sekunden-Limit aufsummiert: Eine Aufgabe zählt nur, wenn ihre Antwort rechtzeitig abgeschlossen ist; richtige und falsche Antworten verbrauchen beide Zeit; nur richtige Antworten zählen für den Wert.
5. Die Konfidenzintervalle beruhen auf 10.000-fachem Resampling der Teilnehmenden (nichtparametrischer Bootstrap unter Erhalt der Teilnehmer-Clusterung).

Der quotenbalancierte Vergleichsmaßstab ist der strengere Test: Er bewahrt die groben Proportionen der Quellaufgabe (Operation, Wahrheitsstatus), ohne die kalibrierte Schwierigkeit auszubalancieren, sodass der Vergleich isoliert, ob das Ausbalancieren der vorhergesagten Schwierigkeit über einfache Inhaltsquoten hinaus einen Mehrwert bietet.⁵ Dies bleibt eine Simulation mit unabhängig erhobenen Wahr/Falsch-Arithmetik-Verifikationsdurchgängen — keine direkte Reliabilitätsstudie des Altamens-Mobiltests mit vier Antwortmöglichkeiten.

6Ergebnisse: Ausbalancieren senkte die Varianz von Form zu Form um etwa 10–13 %

Primäres Ergebnis: Schwierigkeitsbalancierte Formen reduzierten die mittlere personeninterne Varianz der simulierten 30-Sekunden-Trefferwerte gegenüber vollständig zufälligen Formen um 13,14 % (Teilnehmer-Bootstrap, 95-%-KI 11,08 % bis 15,10 %). Die RMS-Standardabweichung innerhalb der Personen fiel von 1,99 auf 1,85 richtige Antworten. Weil die Varianz das Quadrat der Standardabweichung ist, entspricht die zentrale Varianzreduktion einer kleineren Reduktion der Standardabweichung um 6,8 %.

Einfache Operation/Wahrheits-Quoten erreichten nur eine Varianzreduktion von 4,60 % (RMS-Standardabweichung 1,94); das Ausbalancieren der kalibrierten Schwierigkeit brachte 8,95 Prozentpunkte über die Quoten hinaus. Die Mittelwerte blieben im Wesentlichen unverändert — 22,76 richtige Antworten bei zufälligen Formen, 22,75 bei Quoten, 22,66 beim Schwierigkeitsausbalancieren — und die kleine primäre Verschiebung von −0,11 Punkten schrumpfte auf −0,01, wenn alle endlichen Reaktionszeiten behalten wurden, was auf ein Grenzwert-Artefakt statt auf eine Bewertungsstrafe hindeutet.

Was ein Teilnehmender tatsächlich bemerken würde: Das Ausbalancieren half, aber eine erhebliche Kurztest-Variabilität blieb bestehen. Über Paare unabhängig simulierter 30-Sekunden-Formen hinweg blieb die 5.–95.-Perzentil-Spannweite der Werte beim Median-Teilnehmenden in beiden Bedingungen bei 6 Punkten.

7Schutzmaßnahmen, die die Analyse ehrlich hielten

• Die Aufgabenschwierigkeit war zweidimensional — die Kalibrierung kombinierte die teilnehmerzentrierte logarithmierte Reaktionszeit mit einer geglätteten Aufgabenfehlerrate, statt auf einen einzigen, für Fehler blinden Kompositwert zusammenzufallen. Eine Sensitivitätsvariante nur mit Reaktionszeit wird separat berichtet (17,51 %), statt in die primäre Aussage eingerechnet zu werden.
• Kreuzvalidierung nach Teilnehmenden, nie nach Durchgängen — fünf wiederholte fünffache Läufe auf Teilnehmerebene; die eigene Leistung eines zurückgehaltenen Teilnehmenden hat nie die Schwierigkeit geprägt, mit der ihre Formen gebaut wurden.
• Vorab festgelegte Ausschlüsse — die primäre Analyse behielt endliche positive Reaktionszeiten von höchstens 4 Sekunden (richtige und falsche, weil beide Sprintzeit verbrauchen); die Sensitivitätsanalyse mit allen endlichen Zeiten wiederholte alles ohne den Grenzwert und wird neben dem primären Ergebnis zitiert.
• Unsicherheit — nichtparametrischer Bootstrap auf Teilnehmerebene mit 10.000 Resamples unter Erhalt der Teilnehmer-Clusterung, mit 95-%-Intervallen für jede zentrale Schätzung.
• Konservative Sprache — der Begriff „Reliabilitätsverbesserung“ wird nicht verwendet, weil kein anerkannter Reliabilitätskoeffizient geschätzt wurde; die Aussage ist eine Varianzreduktion in simulierten Formen.

8Was wir behaupten und was nicht

Die Aussagegrenzen wurden festgelegt, bevor Ergebnisse existierten, im Einklang mit guter Testpraxis.⁶ Mit den nun vorliegenden Zahlen sind die gestützten Aussagen:

• In diesem unabhängigen Datensatz und dieser Simulation veränderte die Mischung der Rechenaufgaben kurze Trefferwerte wesentlich.
• Das getestete Ausbalancierungsverfahren reduzierte die Varianz von Form zu Form in den vertretbarsten Spezifikationen um etwa 10–13 %.
• Das Ausbalancieren verbesserte die Vergleichbarkeit, machte kurze Werte aber nicht perfekt stabil.
• Größere/langsamere Rechenaufgaben sowie die Operation/Wahrheits-Zusammensetzung sind relevante Variablen für das Formdesign.

9Was das für einen 30-Sekunden-Altamens-Wert bedeutet

Die praktische Lehre ist nicht, dass ein 30-Sekunden-Wert bedeutungslos ist — sondern dass er als informelle Momentaufnahme der Leistung mit einer realen Form-zu-Form-Komponente gelesen werden sollte. Selbst unter Schwierigkeitsausbalancierung unterschieden sich zwei simulierte Formen in mehr als der Hälfte der Fälle um 2 oder mehr Punkte. Den Test unter ähnlichen Bedingungen zu wiederholen und Trends statt einzelner Versuche zu vergleichen, bleibt der ehrliche Umgang mit einem kurzen Wert. Die Quellaufgabe unterscheidet sich von Altamens, daher werden diese numerischen Schätzungen nicht als Altamens-Normen oder -Fehlerbänder übertragen.

10Limitationen

1. Die Stichprobe umfasst nur 59 US-Studierende im Alter von 18–23 Jahren.
2. Die Quellaufgabe ist eine laborbasierte Wahr/Falsch-Verifikation mit Tastatureingaben; Altamens verwendet vier Antwortmöglichkeiten auf anderen Geräten.
3. Die Reaktionszeiten der Quelle enthalten keine gemessene Altamens-Geräte-, Rendering-, Touch- oder Übergangslatenz.
4. Die 30-Sekunden-Formen sind Simulationen, keine prospektiv durchgeführten Alternativformen.
5. Jede simulierte Form verwendet eine beobachtete Antwort pro Teilnehmer-Aufgabe wieder und kann daher Tagesform, Lerneffekte durch wiederholte Exposition, frisches Antwortrauschen, mobile Latenz oder Raten bei vier Antwortmöglichkeiten nicht modellieren.
6. Der 4-Sekunden-Grenzwert und andere Vorverarbeitungsentscheidungen beeinflussen die Schätzungen — weshalb die Spezifikation mit allen endlichen Zeiten (9,98 %) neben dem primären Ergebnis (13,14 %) zitiert wird.
7. Die Aufgabenschwierigkeit kann zwischen Personen variieren; eine gruppenkalibriert „schwere“ Aufgabe ist nicht für alle gleich schwer.
8. Der Ausbalancierungsalgorithmus ist transparent, aber nicht notwendigerweise optimal; bessere Algorithmen könnten mehr erreichen, oder die Obergrenze könnte niedrig liegen.
9. Der Aufgabenpool ist auf das Additions-/Subtraktionsdesign der Quellstudie begrenzt.
10. Die Analyse kann keine nationalen, Alters-, Bildungs-, klinischen oder IQ-Normen erzeugen und validiert den Altamens-Test nicht als medizinisches, pädagogisches oder psychometrisches Instrument.
11. Die Studie war protokollgeleitet, mit einem vor der Analyse eingefrorenen Design, wurde aber vor der Durchführung nicht formal in einem öffentlichen Register präregistriert.

Quellen

1. 1.Bye JK, Harsch RM, Varma S Decoding Fact Fluency and Strategy Flexibility in Solving One-Step Algebra Problems: An Individual Differences Analysis. Journal of Numerical Cognition, 8(2), 281–294, 2022. Source paper for the arithmetic-verification dataset. https://doi.org/10.5964/jnc.7093
2. 2.Bye JK, Harsch RM, Varma S Open Science Framework project: data, codebooks and analysis files. OSF, 2022. CC BY 4.0; raw files at osf.io/j79a6, codebooks at osf.io/kgd4c, analysis/data component at osf.io/zmn8a. https://osf.io/vx2rh/
3. 3.Ashcraft MH, Guillaume MM Mathematical Cognition and the Problem Size Effect. Psychology of Learning and Motivation, Vol. 51, 121–151, 2009. https://doi.org/10.1016/S0079-7421(09)51004-3
4. 4.Faulkenberry TJ A Single-Boundary Accumulator Model of Response Times in an Addition Verification Task. Frontiers in Psychology 8:1225, 2017. https://doi.org/10.3389/fpsyg.2017.01225
5. 5.Liao C-W, Livingston SA Examining an Alternative to Score Equating: A Randomly Equivalent Forms Approach. ETS Research Report RR-08-14, 2008. Stratified random assignment on content and predicted difficulty. https://doi.org/10.1002/j.2333-8504.2008.tb02100.x
6. 6.American Educational Research Association, American Psychological Association, National Council on Measurement in Education Standards for Educational and Psychological Testing. AERA, 2014. https://www.testingstandards.net/