Statistikfrage: Multiples Testen

[Joachim]

Hallo, liebe Statistikfachleute des Forums,

in einer klinischen Studie finde ich folgende Darstellung:
Bei 10 Variablen (V1 bis V10) wird untersucht, ob sie miteinander
korreliert sind (Korrelationskoeffizient nach Pearson) und ob eine
gefundene Korrelation "signifikant" auf dem 5%-Niveau ist (nach Angabe
unter SPSS gerechnet).
Der Autor bildet eine Matrix und rechnet jede Variable gegen jede
andere, in der Diagonale (beide Variablen sind gleich) steht also eine
1.
Seine Behauptung: die gefundenen signifikanten Korrelationen seien
jetzt alle auf dem 5%-Niveau signifikant.
Daran habe ich Zweifel.
Liegt bei dieser Vorgehensweise nicht "multiples Testen" vor, so dass
das Signifikanz-Niveau über 5% ansteigt, meine Aussage also wesentlich
unsicherer wird?
In den mir zur Verfügung stehenden Lehrbüchern wird zwar multiples
Testen ausführlich behandelt, aber nicht im Zusammenhang mit
Korrelationsrechnung.
Meine Frage: Ist die Behauptung, die gefundenen signifikanten
Korrelationen seien auf dem 5%-Niveau signifikant nicht falsch?
Die Frage ist für mich sehr wichtig.

Feundliche Grüße
J. Zink

[Ralf Goertz]

Post by Joachim
Hallo, liebe Statistikfachleute des Forums,
Bei 10 Variablen (V1 bis V10) wird untersucht, ob sie miteinander
korreliert sind (Korrelationskoeffizient nach Pearson) und ob eine
gefundene Korrelation "signifikant" auf dem 5%-Niveau ist (nach Angabe
unter SPSS gerechnet).
Der Autor bildet eine Matrix und rechnet jede Variable gegen jede
andere, in der Diagonale (beide Variablen sind gleich) steht also eine
1.
Seine Behauptung: die gefundenen signifikanten Korrelationen seien
jetzt alle auf dem 5%-Niveau signifikant.
Daran habe ich Zweifel.
Liegt bei dieser Vorgehensweise nicht "multiples Testen" vor, so dass
das Signifikanz-Niveau über 5% ansteigt, meine Aussage also wesentlich
unsicherer wird?
In den mir zur Verfügung stehenden Lehrbüchern wird zwar multiples
Testen ausführlich behandelt, aber nicht im Zusammenhang mit
Korrelationsrechnung.
Meine Frage: Ist die Behauptung, die gefundenen signifikanten
Korrelationen seien auf dem 5%-Niveau signifikant nicht falsch? Die
Frage ist für mich sehr wichtig.

Ja sie ist falsch, wenn er das normale 5% Niveau zugrunde legt. Stell
Dir vor Du hättest 100 Variablen auf diese Weise getestet. Selbst wenn
die Variablen in Wirklichkeit unkorreliert sind, würdest Du etwa 5
"signifikante" Korrelationen finden. Wie viele der Korrelationen waren
denn signifikant? Alle? Es gibt, wie Du ja wohl schon weißt,
Möglichkeiten, den Einfluss de multiplen Testung zu korrigieren, ein
Stichwort wäre Bonferroni-Korrektur.

Ralf

[Joachim]

Hallo Ralf,
vielen Dank für Deine rasche Antwort. Ich fühle meine Zweifel
bestätigt.
Der Autor legt tatsächlich für jede Variablenkombination das
5%-Niveau zu Grunde. Von den 45 möglichen Variablen-Kombinationspaaren
waren nach Angaben des Autors immerhin 35 signifikant korreliert. Aber
eben nicht mehr auf dem ursprünglichen 5%-Niveau, was Du ebenfalls so
siehst. Danke.
Grüße
Joachim

[Ralf Goertz]

Post by Joachim
Hallo Ralf,
vielen Dank für Deine rasche Antwort. Ich fühle meine Zweifel
bestätigt.
Der Autor legt tatsächlich für jede Variablenkombination das
5%-Niveau zu Grunde. Von den 45 möglichen Variablen-Kombinationspaaren
waren nach Angaben des Autors immerhin 35 signifikant korreliert. Aber
eben nicht mehr auf dem ursprünglichen 5%-Niveau, was Du ebenfalls so
siehst. Danke.

ja und ich habe natürlich insofern Mist erzählt, als dass es bei 100
Variablen natürlich nicht nur 100 sondern 4950 mögliche Korrelationen
sind und die zufällig auf dem Einzel-5%-Niveau signifikanten
Korrelationen auch nicht 5% sind, da selbst bei Unabhängigkeit die
Korrelationen abhängig sind, denn wenn v1 mit v2 (zufällig) korreliert
und v1 mit v3 genauso, dann ist die Wahrscheinlichkeit, dass v2 mit v3
"signifikant" korreliert natürlich größer als das benutzte
Signifikanzniveau. Aber ansonsten war es hoffentlich richtig, was ich
gesagt habe.

Ralf