Warum ist die ISO 29992 als Rahmendokument für die Entwicklung, Durchführung und Bewertung von Sprachkompetenzen gemäß dem Gemeinsamen Europäischen Referenzrahmen für Sprachen geeignet?

Der Nachweis, dass die ISO 29992 als Rahmendokument zur Bewertung von Sprachkompetenzen gemäß dem Gemeinsamen Europäischen Referenzrahmen für Sprachen geeignet ist, kann durch einen Abgleich mit einem etablierten, modernen Framework der argumentationsbasierten Validierung erbracht werden.

Das modernste theoretisches Rahmenwerk ist das von Carol A. Chapelle entwickelte Validierungsargument. Das Modell von Chapelle baut auf Toulmins Argumentationstheorie auf und unterteilt die Validierung eines Sprachtests in eine Reihe von Inferenzebenen, die logisch miteinander verbunden sind und zusammen eine logische Begründung für die Gültigkeit eines Tests liefern.

Laut Wisniewski umfassen Validierungsargumente alle “klassischen” Gütekriterien und betten diese in einen Gesamtzusammenhang ein. Ein Validierungsargument basiert auf der Annahme, dass die Interpretation und die Nutzung von Testergebnissen durch eine Reihe von Argumenten gestützt werden müssen, die sich auf verschiedene Aspekte der Testentwicklung, Durchführung und Bewertung beziehen. Eine solche Validierung wird häufig als „validity argument“ bezeichnet.

Chapelle versteht Validierung als einen evidenzbasierten Prozess zur Entwicklung und Bewertung von Argumenten über die Interpretation und Nutzung von Testergebnissen. „Entscheidungen darüber, welche Arten von Evidenz für das Validitätsargument in einem bestimmten Fall wichtig sind, können durch die Entwicklung eines Sets von Behauptungen oder Annahmen geklärt werden, die die vorgeschlagene Interpretation für den jeweiligen Testzweck stützen. Bei der Überprüfung und Bestätigung, dass ein Test oder ein Bewertungsverfahren tatsächlich das misst, was es zu messen vorgibt muss basierend auf empirischer und theoretischer Evidenz dafür argumentiert werden, dass die Art und Weise, wie Assessmentergebnisse interpretiert werden gerechtfertigt werden können.

Eine Inferenz ist eine logische Verbindung zwischen Daten und Schlussfolgerung, die durch einen so genannten Warrant legitimiert oder durch ein Rebuttal als unzulässig dargestellt wird (vgl. Chapelle & Voss, 2021, S. 35). Die Validierungsargumente bei Chapelle sind jedoch nicht direkt eine einzelne Komponente des Toulmin-Argumentationsschemas, sondern das gesamte argumentationsbasierte Konstrukt, das aus einer Kette von Claims (Schlussfolgerung) – ein allgemeiner Fachbegriff für die einzelnen Schritte des logischen Denkens bzw. der Argumentation – Grounds (Unterstützung), Assumptions (Annahmen) und Warrants (Rechtfertigung) besteht. Warrants und Assumptions haben dabei die Funktion, den Claim zu stützen.

Schlüsselkomponenten

Eine Ground [G] ist eine unterstützende Begründung, die den Claim stützt, wie theoretische Grundlagen oder empirische Nachweise.

Assumptions [A] sind grundlegende Aussagen, die für eine Argumentation erforderlich sind. Sie werden jedoch nicht direkt überprüft. Sie bilden die Grundlage für Warrants und unterstützen die Identifikation von empirisch prüfbaren Hypothesen, die für die Validierung einer Schlussfolgerung nötig sind. Aufgrund der komplexen Interpretationen in der Validierung ist ein systematischer Ansatz zur Formulierung von Annahmen erforderlich.

Das Backing [B] kann verschiedene Elemente umfassen, wie z. B. Beispiele, Statistiken oder Appelle an Logik, Emotionen und Ethik. Es kann sich dabei sowohl um Texte, Tabellen als auch um Abbildungen und ausführliche Beschreibungen von Ergebnissen handeln. Das Backing bezieht sich auf aktuelle, relevante Erkenntnisse, die „eine Absicherung bieten, ohne die die Warrants selbst weder Autorität noch Aktualität besäßen

Der Warrant [W] (Rechtfertigung) ist eine allgemeine Regel oder ein Prinzip, das erklärt, warum die Begründung (Ground) den Claim plausibel unterstützt. Er stellt die logische und rationale Verbindung zwischen den Grounds und dem Claim her, legitimiert diese Verbindung und fungiert als eine Art Brücke. Dabei handelt es sich um allgemeine, oft hypothetische Aussagen, die aufzeigen, wie und warum ein Claim in einem bestimmten Kontext gerechtfertigt werden kann.

Inferenzebenen:

Domänenbeschreibung: Hier geht es darum, dass die Prüfungsaufgaben die Zieldomäne angemessen repräsentieren.

Eine Bedarfsanalyse hilft dabei, die relevanten Merkmale der Zieldomäne zu erfassen.

Bewertungsinferenz: Diese Ebene prüft, ob die Bewertungssysteme und -kriterien angemessen sind, um eine faire und valide Beurteilung der Sprachkompetenz zu ermöglichen.

Generalisierungsinferenz: Diese Ebene bezieht sich darauf, ob die Testergebnisse unter verschiedenen Bedingungen stabil und verlässlich sind und sich auf andere ähnliche Testsituationen übertragen lassen.

Erklärungssinferenz: Hier wird argumentiert, dass der Test tatsächlich das vorgesehene Konstrukt misst, also die sprachlichen Fähigkeiten der Testteilnehmer in einer präzisen und definierten Weise erfasst.

Extrapolationsinferenz: Diese Ebene betrifft die Frage, ob die Testergebnisse auf reale Sprachverwendungen in der Zieldomäne übertragbar sind und in tatsächlichen sozialen oder beruflichen Kontexten anwendbar sind.

Entscheidungsinferenz und Konsequenzen: Auf dieser letzten Ebene wird geprüft, ob die Testergebnisse zu fundierten Entscheidungen in der realen Welt führen und ob die Auswirkungen dieser Entscheidungen gerechtfertigt sind.

Durch die Umsetzung der Normanforderungen der ISO 29992 im Kontext der „GER-Sprachtestentwicklung“ kann ein vollständiges „Validitätsargument“ aufgebaut werden.