TABTRAINER® FACHWISSEN · HYPOTHESENTESTS
Hypothesentests helfen dabei, Unterschiede und Zusammenhänge in
Stichprobendaten statistisch zu beurteilen. Entscheidend ist nicht nur
die Berechnung eines p-Wertes, sondern die fachlich richtige Auswahl
des Tests, die Prüfung seiner Voraussetzungen und eine sachgerechte
Interpretation des Ergebnisses.
Ein Hypothesentest ist ein statistisches Entscheidungsverfahren. Auf
Basis einer Stichprobe wird untersucht, ob die beobachteten Daten mit
einer festgelegten Nullhypothese vereinbar sind oder ob die Daten
ausreichend starke Hinweise gegen diese Annahme liefern.
Hypothesentests ermöglichen damit einen statistisch indirekten Schluss
von einer Stichprobe auf die zugehörige Grundgesamtheit. Das Ergebnis
ist jedoch kein mathematischer Beweis. Es bleibt immer mit einer
kontrollierten Irrtumswahrscheinlichkeit verbunden.
GRUNDLAGEN
Eine korrekte Testentscheidung setzt voraus, dass Nullhypothese,
Alternativhypothese, Signifikanzniveau und p-Wert klar voneinander
unterschieden werden.
Die Nullhypothese beschreibt den Ausgangszustand des Tests. Sie
nimmt häufig an, dass kein Unterschied, kein Zusammenhang oder
keine relevante Veränderung vorliegt.
Ausgangsannahme des Tests
Die Alternativhypothese beschreibt die fachlich interessierende
Abweichung von der Nullhypothese. Sie kann zweiseitig oder
einseitig formuliert werden.
Gegenhypothese formulieren
Das Signifikanzniveau legt fest, welches Risiko akzeptiert wird,
die Nullhypothese irrtümlich zu verwerfen. Häufig wird α gleich
0,05 verwendet.
Fehler 1. Art begrenzen
Die Teststatistik fasst die beobachtete Abweichung und ihre
Streuung in einer Kennzahl zusammen. Je nach Verfahren handelt es
sich beispielsweise um einen t-, F- oder Chi-Quadrat-Wert.
Abweichung standardisieren
Der p-Wert beschreibt, wie ungewöhnlich die beobachteten oder noch
extremeren Daten unter der Annahme der Nullhypothese wären.
Daten unter H₀ beurteilen
Ein Konfidenzintervall zeigt einen Bereich plausibler Werte für
einen unbekannten Parameter. Es ergänzt den p-Wert um eine
Information über Richtung und Größenordnung des Effekts.
Unsicherheit quantifizieren
KERNINTERPRETATION
Der p-Wert ist nicht die Wahrscheinlichkeit, dass die Nullhypothese wahr
ist. Er ist auch nicht die Wahrscheinlichkeit, dass das Ergebnis nur
durch Zufall entstanden ist. Er beschreibt vielmehr, wie gut die
beobachteten Daten mit der Nullhypothese vereinbar sind. Ein kleiner
p-Wert liefert starke Hinweise gegen H0, beweist jedoch nicht
automatisch die Alternativhypothese.
TESTENTSCHEIDUNG
Die Testentscheidung erfolgt durch den Vergleich des p-Wertes mit dem
vorher festgelegten Signifikanzniveau.
Ist der p-Wert kleiner oder gleich dem Signifikanzniveau, wird die
Nullhypothese verworfen. Das Ergebnis wird als statistisch
signifikant bezeichnet.
Hinweise gegen H₀
Ist der p-Wert größer als das Signifikanzniveau, wird die
Nullhypothese nicht verworfen. Ein relevanter Effekt ist damit
jedoch nicht automatisch ausgeschlossen.
H₀ nicht verwerfen
Ein nicht signifikantes Ergebnis bedeutet nicht, dass die
Nullhypothese bewiesen wurde. Die Daten liefern lediglich keine
ausreichenden Hinweise, sie zu verwerfen.
Aussagegrenze beachten
Ein statistisch signifikanter Unterschied kann technisch oder
wirtschaftlich unbedeutend sein. Bei großen Stichproben können selbst
sehr kleine Abweichungen einen niedrigen p-Wert erzeugen.
Umgekehrt kann ein praktisch wichtiger Unterschied bei einer zu kleinen
Stichprobe statistisch nicht signifikant werden. Deshalb sollten neben
dem p-Wert immer Effektgröße, Konfidenzintervall, Messunsicherheit,
Kundenvorgaben und Prozesswissen berücksichtigt werden.
FEHLERARTEN
Jede Testentscheidung kann falsch sein. Die statistische Planung
steuert deshalb zwei unterschiedliche Fehlerrisiken.
Die Nullhypothese wird verworfen, obwohl sie tatsächlich zutrifft.
Das maximale Risiko für diesen Fehler wird durch das
Signifikanzniveau α festgelegt.
Falscher Alarm
Die Nullhypothese wird nicht verworfen, obwohl ein tatsächlich
relevanter Unterschied oder Effekt vorhanden ist. Dieses Risiko
wird mit β bezeichnet.
Effekt wird übersehen
Die Trennschärfe beziehungsweise Power entspricht 1 minus β. Sie
beschreibt die Wahrscheinlichkeit, einen tatsächlich vorhandenen
Effekt einer festgelegten Größe zu erkennen.
Entdeckungswahrscheinlichkeit
Die Effektgröße beschreibt, wie groß ein fachlich relevanter
Unterschied mindestens sein soll. Kleinere Effekte benötigen
üblicherweise größere Stichproben.
Relevante Differenz definieren
Größere Stichproben erhöhen in der Regel die Trennschärfe. Der
erforderliche Umfang hängt zusätzlich von Streuung, Effektgröße,
Signifikanzniveau und Testart ab.
Test vorab planen
Eine hohe Messstreuung verdeckt tatsächliche Unterschiede und
reduziert die Trennschärfe. Vor dem Hypothesentest sollte deshalb
ein geeignetes Messsystem sichergestellt sein.
Messdaten absichern
EIN- ODER ZWEISEITIG
Ein zweiseitiger Test untersucht Abweichungen in beide Richtungen. Ein
einseitiger Test fokussiert ausschließlich auf eine fachlich relevante
Richtung, beispielsweise eine Überschreitung der maximal zulässigen
Fehlerquote. Die Richtung darf nicht erst nach Betrachtung der Daten
gewählt werden, weil dadurch das Fehlerrisiko verzerrt wird.
VERFAHRENSAUSWAHL
Die Auswahl richtet sich nach Datentyp, Anzahl der Stichproben,
Abhängigkeit der Beobachtungen und der zu untersuchenden Kennzahl.
Vergleicht den Mittelwert einer quantitativen Stichprobe mit einem
vorgegebenen Soll- oder Referenzwert.
Mittelwert gegen Sollwert
Vergleicht die Mittelwerte zweier voneinander unabhängiger Gruppen,
beispielsweise zwei unabhängig hergestellter Werkstoffvarianten.
Unabhängige Gruppen vergleichen
Vergleicht gepaarte Messwerte, beispielsweise Vorher-Nachher-Daten
oder zwei Werkstoffe, die jeweils unter identischen
Anlagenbedingungen hergestellt wurden.
Paardifferenzen untersuchen
Prüft, ob ein Anteil binomialer Ereignisse, beispielsweise der
Schlechtteileanteil, von einem vorgegebenen Referenzanteil
abweicht.
Gut- und Schlechtteile bewerten
Untersucht Häufigkeiten kategorialer Variablen und prüft
beispielsweise, ob Fehlerart und Produktionsschicht voneinander
unabhängig sind.
Kategorien und Abhängigkeiten
Prüft Ereignisraten, wenn pro Beobachtungseinheit mehrere Fehler
auftreten können, beispielsweise die Anzahl von Fehlern je
Liefercharge.
Fehleranzahl je Einheit prüfen
MEHR ALS ZWEI GRUPPEN
Sollen mehr als zwei Mittelwerte oder mehrere Einflussfaktoren
gleichzeitig untersucht werden, wird eine Varianzanalyse verwendet.
Untersucht, ob sich die Mittelwerte von mindestens drei Stufen eines
kategorialen Faktors unterscheiden. Ein signifikantes Ergebnis
zeigt zunächst nur, dass nicht alle Mittelwerte gleich sind.
Mehrere Gruppenmittelwerte
Nach einer signifikanten ANOVA zeigen geeignete
Mehrfachvergleichsverfahren, zwischen welchen Faktorstufen
statistisch belastbare Unterschiede bestehen.
Unterschiedliche Gruppen finden
Untersucht zwei kategoriale Einflussfaktoren gleichzeitig und
bewertet sowohl deren Haupteffekte als auch mögliche
Wechselwirkungen.
Zwei Faktoren analysieren
Eine Wechselwirkung liegt vor, wenn die Wirkung eines Faktors von
der eingestellten Stufe eines anderen Faktors abhängt.
Kombinationseffekte erkennen
Blockfaktoren erfassen bekannte äußere Streuquellen, die nicht im
Mittelpunkt der Untersuchung stehen, deren Einfluss aber
statistisch berücksichtigt werden soll.
Störstreuung kontrollieren
Die ANOVA vergleicht die modellbedingte Streuung mit der
Reststreuung. Aus diesem Verhältnis entsteht die F-Statistik und
der zugehörige p-Wert.
Streuanteile vergleichen
WICHTIGE VORAUSSETZUNG
Viele Standardtests setzen unabhängige Beobachtungen voraus. Werden
verbundene Messwerte fälschlicherweise wie unabhängige Stichproben
analysiert, kann relevante Paardynamik verloren gehen und die
Testentscheidung falsch ausfallen. Versuchsaufbau und Datenentstehung
müssen deshalb vor der Testauswahl verstanden werden.
VORAUSSETZUNGEN
Ein statistisches Ergebnis ist nur belastbar, wenn der Test zur
Datenstruktur passt und seine wesentlichen Voraussetzungen erfüllt
sind.
Stetige Messwerte, binäre Anteile, kategoriale Häufigkeiten und
Ereignisraten erfordern unterschiedliche Testverfahren und
Verteilungsmodelle.
Skalenniveau bestimmen
Es muss geklärt werden, ob die Beobachtungen unabhängig oder
paarweise verbunden sind. Diese Entscheidung beeinflusst die
Berechnung der Streuung und des Standardfehlers.
Datenstruktur verstehen
Parametrische Verfahren setzen je nach Anwendung annähernd
normalverteilte Daten oder Residuen voraus. Besonders bei kleinen
Stichproben sollte diese Annahme geprüft werden.
Verteilung beurteilen
Einige Mittelwertvergleiche setzen vergleichbare Varianzen voraus.
Bei ungleichen Varianzen sind geeignete robuste Varianten des Tests
zu verwenden.
Streuungen vergleichen
Einzelne extreme Werte können Mittelwert, Standardabweichung und
p-Wert stark beeinflussen. Ausreißer müssen fachlich untersucht und
dürfen nicht ohne Begründung entfernt werden.
Auffällige Werte prüfen
Stichprobenumfang und Trennschärfe sollten vor der Datenerhebung
anhand der kleinsten praktisch relevanten Effektgröße geplant
werden.
Analyse vorab absichern
Parametrische Tests untersuchen bestimmte Parameter einer Verteilung,
beispielsweise Mittelwerte, und sind bei erfüllten Voraussetzungen
häufig besonders trennscharf.
Sind die Verteilungsannahmen nicht plausibel, liegen starke Ausreißer
vor oder werden ordinale Daten untersucht, können nichtparametrische
Verfahren eine geeignete Alternative darstellen. Sie beantworten
allerdings nicht immer exakt dieselbe Fragestellung wie der
entsprechende parametrische Test.
PRAXISBEISPIELE
Eine Stichprobe von Bauteilen wird geprüft, um zu beurteilen, ob
der mittlere Festigkeitswert vom festgelegten Prozesssollwert
abweicht.
t-Test für eine Stichprobe
Zwei Werkstoffe werden auf denselben Produktionsanlagen gefertigt.
Die paarweise Verbindung wird berücksichtigt, indem die
Differenzen innerhalb jeder Anlage analysiert werden.
Verbundener t-Test
Eine Stichprobe aus Gut- und Schlechtteilen wird genutzt, um zu
beurteilen, ob eine maximal zulässige Fehlerquote überschritten
wird.
Test eines Anteils
Eine Kreuztabelle zeigt, wie sich unterschiedliche Fehlerarten auf
Produktionsschichten verteilen. Der Test prüft, ob die Variablen
statistisch unabhängig sind.
Chi-Quadrat-Test
Pro Liefercharge können mehrere Einzeldefekte auftreten. Die
mittlere Ereignisrate wird mit einer maximal zulässigen Rate
verglichen.
Poisson-Test
Mehrere Lieferanten oder Prozessparameter werden gleichzeitig
untersucht, um Unterschiede zwischen Faktorstufen und mögliche
Wechselwirkungen zu erkennen.
Varianzanalyse
VORGEHENSWEISE
Es wird eindeutig festgelegt, welcher Parameter, Unterschied,
Anteil, Zusammenhang oder welche Ereignisrate untersucht werden
soll.
Analyseziel formulieren
Null- und Alternativhypothese werden vor Betrachtung des
Testergebnisses fachlich eindeutig und gegebenenfalls gerichtet
formuliert.
Hypothesen vorab festlegen
Das tolerierte Risiko eines Fehlers 1. Art wird anhand der
praktischen Konsequenzen einer Fehlentscheidung festgelegt.
Entscheidungsrisiko steuern
Datentyp, Gruppenstruktur, relevante Effektgröße, Streuung,
Trennschärfe und erforderlicher Stichprobenumfang werden geprüft.
Verfahren auswählen
p-Wert, Effektgröße, Konfidenzintervall, grafische Darstellung und
Testvoraussetzungen werden gemeinsam interpretiert.
Nicht nur p-Wert betrachten
Die statistische Aussage wird mit Prozesswissen, Kundenvorgaben,
wirtschaftlichen Auswirkungen und dem Risiko einer Fehlentscheidung
verbunden.
Handlungsempfehlung formulieren
MEHRFACHES TESTEN
Werden zahlreiche Hypothesentests parallel durchgeführt, steigt die
Wahrscheinlichkeit mindestens eines zufällig signifikanten Ergebnisses.
Mehrere Gruppen sollten deshalb nicht unkontrolliert mit vielen
einzelnen t-Tests verglichen werden. Geeignete Gesamtverfahren und
korrigierte Mehrfachvergleiche begrenzen dieses kumulierte Fehlerrisiko.
Zu den häufigsten Fehlern gehören die Interpretation des p-Wertes als
Wahrscheinlichkeit für H0 oder H1, die Gleichsetzung
von statistischer Signifikanz und praktischer Bedeutung sowie die
Aussage, eine nicht verworfene Nullhypothese sei bewiesen.
Ebenfalls problematisch sind eine nachträgliche Änderung der
Alternativhypothese, zu kleine Stichproben, ungeprüfte
Verteilungsannahmen, die Missachtung verbundener Beobachtungen und
zahlreiche unkontrollierte Einzeltests.
Im TABTRAINER®-Training werden t-Tests, Tests von Anteilen,
Chi-Quadrat-Verfahren, Poisson-Ereignisraten, ein- und mehrfaktorielle
Varianzanalysen, Wechselwirkungen, Blockfaktoren, Trennschärfe,
Stichprobenplanung und die fachgerechte Interpretation von p-Werten
anhand technischer Praxisbeispiele behandelt.
Weiterführende methodische Grundlagen bietet das
NIST/SEMATECH e-Handbook of Statistical Methods
.
Regression und Korrelation richtig interpretieren
Statistische Versuchsplanung: DOE richtig anwenden
Qualitätsregelkarten: Prozessstabilität richtig beurteilen
Cp und Cpk: Prozessfähigkeit richtig interpretieren