Discussion:
Hauptkomponenten Analyse einer Multivarianten Normalverteilung
Add Reply
k***@googlemail.com
2018-09-10 18:45:44 UTC
Antworten
Permalink
Raw Message
Hallo, erstmal.
Ich bin in einer vergangenen Vorlesung von mir auf folgenden Satz gestoßen:

... Die Hauptkomponenten sind somit immer unkorreliert, aber im Allgemeinen nicht unabhängig.

Mir fällt es sehr schwer das nachzuvollziehen. Ein Beispiel konnte ich auch nicht finden.
Sei D eine Diagonal Matrix (d1,...,dn), dann ist die Die Dichte der MVNormalvert (phi)_(0,D) = (phi)_(0,d1) * ... * (phi)_(o,dn).
Was sich leicht nachweisen lässt durch nachrechnen.

Wenn ich nun Wahrscheinlichkeiten ausrechnen will, sollte dies leicht gehen, da sich die Integrale alle nach Variablen trennen lassen.

P( x1 <= c1 ; ... ; xn <= cn ) = P(x1<=c1) *...* P(xn<=cn).

konnte ich somit leicht nachweisen für alle C.

Habe ich einen Fehler gemacht oder haben sie ihn gemacht?
Jens Kallup
2018-09-10 19:22:52 UTC
Antworten
Permalink
Raw Message
Post by k***@googlemail.com
Hallo, erstmal.
Hallo,

erstmal Begriffsbestimmung, für die hier noch mitlesen:

korreliert = einander bedingen, Wechselbeziehung miteinander
unkorreliert = Gegenteil von korreliert, also: nicht miteinander bedingt

Diagonal Matrix:

Als Diagonalmatrix bezeichnet man eine quadratische Matrix, bei der alle
Elemente außerhalb der Hauptdiagonalen Null sind. Diagonalmatrizen sind
deshalb allein durch die Angabe ihrer Hauptdiagonale bestimmt.

Sind dabei alle Zahlen auf der Hauptdiagonalen identisch, so spricht man
auch von Skalarmatrizen.
Skalarmatrizen sind also skalare Vielfache der Einheitsmatrix.

/ 1 0 0 \
E = | 0 1 0 | Einheitsmatrix
\ 0 0 1 /

/ 2 0 0 \
A = | 0 2 0 | Skalarmatrix = vielfache von E A = 2 \dot E
\ 0 0 2 /

/ 3 0 0 \
A = | 0 2 0 | Diagonalmatrix
\ 0 0 4 /

Matrizen - Addition bei Diagonalmatrixen

/ 3 0 0 \ / 4 0 0 \
A = | 0 2 0 | B = | 0 1 0 |
\ 0 0 4 / \ 0 0 2 /

A + B =
3 + 4,
2 + 1,
4 + 2
=
7, 3, 6

/ 7 0 0 \
A + B = | 0 3 0 |
\ 0 0 6 /

Bei der Addition einer Matrix A und einer Diagonalmatrix D,
ändern sich auch nur die diagonalen Werte.

Rest hier:
http://www.math.uni-magdeburg.de/~gaffke/ss10/w-theorie/Kapitel-2.pdf

Gruß, Jens
pirx42
2018-09-11 07:21:13 UTC
Antworten
Permalink
Raw Message
Post by k***@googlemail.com
Hallo, erstmal.
... Die Hauptkomponenten sind somit immer unkorreliert, aber im Allgemeinen nicht unabhängig.
Mir fällt es sehr schwer das nachzuvollziehen. Ein Beispiel konnte ich auch nicht finden.
Sei D eine Diagonal Matrix (d1,...,dn), dann ist die Die Dichte der MVNormalvert (phi)_(0,D) = (phi)_(0,d1) * ... * (phi)_(o,dn).
Was sich leicht nachweisen lässt durch nachrechnen.
Wenn ich nun Wahrscheinlichkeiten ausrechnen will, sollte dies leicht gehen, da sich die Integrale alle nach Variablen trennen lassen.
P( x1 <= c1 ; ... ; xn <= cn ) = P(x1<=c1) *...* P(xn<=cn).
konnte ich somit leicht nachweisen für alle C.
Habe ich einen Fehler gemacht oder haben sie ihn gemacht?
Ich bin mir nicht sicher, ob du da nicht was überlesen hast.

Es gilt: Wenn die Komponenten eines n-dimensionalen Zufallsvektors mit einer Normalverteilung, die eine gemeinsame
Dichte hat, unkorreliert sind, dann sind sie auch unabhängig.

Für andere Verteilungen gilt das nicht immer.
Beispiel: X hat eine Standardnormalverteilung, dann
sind X und Y=X^2 unkorreliert, aber offensichtlich nicht unabhängig.
Stephan Gerlach
2018-09-12 23:15:08 UTC
Antworten
Permalink
Raw Message
Post by k***@googlemail.com
Hallo, erstmal.
... Die Hauptkomponenten sind somit immer unkorreliert, aber im Allgemeinen nicht unabhängig.
Das ist kein richtiger Satz, da die Voraussetzungen nicht dastehen. Ich
nehme an, die Voraussetzungen stehen vor den Punkten ... (?).
Mit "Hauptkomponenten" sind vermutlich die n Komponenten x1, ..., xn
eines n-dimensionalen Zufallsvektors gemeint?!

Heißt der Satz wirklich:

"Die n Komponenten x1, ..., xn eines Zufallsvektors x = (x1,...,xn),
welcher n-dimensional normalverteilt ist mit Parametern µ
(Erwartungswert-Vektor) und Sigma (Kovarianz-Matrix), sind jeweils
paarweise unkorreliert,
aber im Allgemeinen nicht unabhängig"?
Post by k***@googlemail.com
Mir fällt es sehr schwer das nachzuvollziehen.
Es wäre so auch falsch, da die Unkorreliertheit äquivalent dazu ist, daß
die Kovarianz-Matrik Sigma eine Diagonalmatrix ist. [1]

Oder anders gesagt: Die x1, ..., xn sind überhaupt nicht immer
unkorreliert, sondern nur dann, wenn die Kovarianz-Matrix eine
Diagonalmatrix ist.
Post by k***@googlemail.com
Ein Beispiel konnte ich auch nicht finden.
Sei D eine Diagonal Matrix (d1,...,dn), dann ist die Die Dichte der MVNormalvert (phi)_(0,D) = (phi)_(0,d1) * ... * (phi)_(o,dn).
Was sich leicht nachweisen lässt durch nachrechnen.
Wenn ich nun Wahrscheinlichkeiten ausrechnen will, sollte dies leicht gehen, da sich die Integrale alle nach Variablen trennen lassen.
P( x1 <= c1 ; ... ; xn <= cn ) = P(x1<=c1) *...* P(xn<=cn).
konnte ich somit leicht nachweisen für alle C.
Es gilt - bei Normalverteilungen - tatsächlich der Satz, daß die
stochastische Unabhängigkeit äquivalent zur Diagonalgestalt der
Kovarianz-Matrix und damit zur paarweisen Unkorreliertheit der einzelnen
x1, ..., xn ist (siehe mein Satz [1] oben).
Post by k***@googlemail.com
Habe ich einen Fehler gemacht oder haben sie ihn gemacht?
Der Fehler, wenn überhaupt, besteht darin, daß die Voraussetzungen nicht
ganz klar waren.
Wenn du grundsätzlich davon ausgehst, daß die Kovarianz-Matrix eine
Diagonalmatrix ist, dann erscheint mir deine darauffolgende
Argumentation i.W. korrekt.

Bei mehrdimensionalen Normalverteilungen ist (für die Komponenten x1,
..., xn) somit "(paarweise) unkorreliert" dasselbe wie "stochastisch
unabhängig".
Das heißt aber nicht, daß die Komponenten *immer* unkorreliert bzw.
damit stochastisch unabhängig sind.

Bei anderen mehrdimensionalen Verteilungen (nicht-normal) folgt aus
"stochastisch unabhängig" immer "unkorreliert", aber i.a. nicht umgekehrt.
--
Post by k***@googlemail.com
Eigentlich sollte Brain 1.0 laufen.
gut, dann werde ich mir das morgen mal besorgen...
(...Dialog aus m.p.d.g.w.a.)
k***@googlemail.com
2018-09-13 09:29:33 UTC
Antworten
Permalink
Raw Message
Post by Stephan Gerlach
Post by k***@googlemail.com
Hallo, erstmal.
... Die Hauptkomponenten sind somit immer unkorreliert, aber im Allgemeinen nicht unabhängig.
Das ist kein richtiger Satz, da die Voraussetzungen nicht dastehen. Ich
nehme an, die Voraussetzungen stehen vor den Punkten ... (?).
Mit "Hauptkomponenten" sind vermutlich die n Komponenten x1, ..., xn
eines n-dimensionalen Zufallsvektors gemeint?!
"Die n Komponenten x1, ..., xn eines Zufallsvektors x = (x1,...,xn),
welcher n-dimensional normalverteilt ist mit Parametern µ
(Erwartungswert-Vektor) und Sigma (Kovarianz-Matrix), sind jeweils
paarweise unkorreliert,
aber im Allgemeinen nicht unabhängig"?
Post by k***@googlemail.com
Mir fällt es sehr schwer das nachzuvollziehen.
Es wäre so auch falsch, da die Unkorreliertheit äquivalent dazu ist, daß
die Kovarianz-Matrik Sigma eine Diagonalmatrix ist. [1]
Oder anders gesagt: Die x1, ..., xn sind überhaupt nicht immer
unkorreliert, sondern nur dann, wenn die Kovarianz-Matrix eine
Diagonalmatrix ist.
Post by k***@googlemail.com
Ein Beispiel konnte ich auch nicht finden.
Sei D eine Diagonal Matrix (d1,...,dn), dann ist die Die Dichte der MVNormalvert (phi)_(0,D) = (phi)_(0,d1) * ... * (phi)_(o,dn).
Was sich leicht nachweisen lässt durch nachrechnen.
Wenn ich nun Wahrscheinlichkeiten ausrechnen will, sollte dies leicht gehen, da sich die Integrale alle nach Variablen trennen lassen.
P( x1 <= c1 ; ... ; xn <= cn ) = P(x1<=c1) *...* P(xn<=cn).
konnte ich somit leicht nachweisen für alle C.
Es gilt - bei Normalverteilungen - tatsächlich der Satz, daß die
stochastische Unabhängigkeit äquivalent zur Diagonalgestalt der
Kovarianz-Matrix und damit zur paarweisen Unkorreliertheit der einzelnen
x1, ..., xn ist (siehe mein Satz [1] oben).
Post by k***@googlemail.com
Habe ich einen Fehler gemacht oder haben sie ihn gemacht?
Der Fehler, wenn überhaupt, besteht darin, daß die Voraussetzungen nicht
ganz klar waren.
Wenn du grundsätzlich davon ausgehst, daß die Kovarianz-Matrix eine
Diagonalmatrix ist, dann erscheint mir deine darauffolgende
Argumentation i.W. korrekt.
Bei mehrdimensionalen Normalverteilungen ist (für die Komponenten x1,
..., xn) somit "(paarweise) unkorreliert" dasselbe wie "stochastisch
unabhängig".
Das heißt aber nicht, daß die Komponenten *immer* unkorreliert bzw.
damit stochastisch unabhängig sind.
Bei anderen mehrdimensionalen Verteilungen (nicht-normal) folgt aus
"stochastisch unabhängig" immer "unkorreliert", aber i.a. nicht umgekehrt.
--
Post by k***@googlemail.com
Eigentlich sollte Brain 1.0 laufen.
gut, dann werde ich mir das morgen mal besorgen...
(...Dialog aus m.p.d.g.w.a.)
Hier hat wohl ein kleines Missverständniss statt gefunden:
die Hauptkomponenten sind definiert als der Resultierende Vektor einer Hauptkomponentenanalyse. Siehe dafür Wikipedia:
https://de.wikipedia.org/wiki/Hauptkomponentenanalyse
Da die Kovarianzmatrix von Hauptkomponenten immer diagonalisiert ist folgt immer unkorreliert.
k***@googlemail.com
2018-09-13 15:19:38 UTC
Antworten
Permalink
Raw Message
Post by k***@googlemail.com
Hallo, erstmal.
... Die Hauptkomponenten sind somit immer unkorreliert, aber im Allgemeinen nicht unabhängig.
Mir fällt es sehr schwer das nachzuvollziehen. Ein Beispiel konnte ich auch nicht finden.
Sei D eine Diagonal Matrix (d1,...,dn), dann ist die Die Dichte der MVNormalvert (phi)_(0,D) = (phi)_(0,d1) * ... * (phi)_(o,dn).
Was sich leicht nachweisen lässt durch nachrechnen.
Wenn ich nun Wahrscheinlichkeiten ausrechnen will, sollte dies leicht gehen, da sich die Integrale alle nach Variablen trennen lassen.
P( x1 <= c1 ; ... ; xn <= cn ) = P(x1<=c1) *...* P(xn<=cn).
konnte ich somit leicht nachweisen für alle C.
Habe ich einen Fehler gemacht oder haben sie ihn gemacht?
Für alle, die noch dieses Thread verfolgen,

ich Denke ich schließe mich dann pirx42 an, und vermute, dass der Professor an dieser stelle nur generell Informieren wollte, dass nur ( unabhängig => unkorelliert.)
Den einzigen Verdacht den ich noch habe ist, wenn die Kovarianzmatrix nicht vollen Rang hat. Dann wäre die Verteilung zwar abhängig, aber Ich weiß nicht, ob das dann überhaupt eine Verteilung ist.( Die Kovarianzmatrix ist nämlich nicht mehr positiv definit). Und der letzte Hauptkomponenten hätte eine Varianz von 0????( also konstant um den Erwartungswert).
Stephan Gerlach
2018-09-17 19:00:19 UTC
Antworten
Permalink
Raw Message
Post by k***@googlemail.com
Post by k***@googlemail.com
Hallo, erstmal.
... Die Hauptkomponenten sind somit immer unkorreliert, aber im Allgemeinen nicht unabhängig.
Mir fällt es sehr schwer das nachzuvollziehen. Ein Beispiel konnte ich auch nicht finden.
Sei D eine Diagonal Matrix (d1,...,dn), dann ist die Die Dichte der MVNormalvert (phi)_(0,D) = (phi)_(0,d1) * ... * (phi)_(o,dn).
Was sich leicht nachweisen lässt durch nachrechnen.
Wenn ich nun Wahrscheinlichkeiten ausrechnen will, sollte dies leicht gehen, da sich die Integrale alle nach Variablen trennen lassen.
P( x1 <= c1 ; ... ; xn <= cn ) = P(x1<=c1) *...* P(xn<=cn).
konnte ich somit leicht nachweisen für alle C.
Habe ich einen Fehler gemacht oder haben sie ihn gemacht?
Für alle, die noch dieses Thread verfolgen,
ich Denke ich schließe mich dann pirx42 an, und vermute, dass der Professor an dieser stelle nur generell Informieren wollte, dass nur ( unabhängig => unkorelliert.)
Kann sein. Wie der Text vor "... Die Hauptkomponenten" aussieht, hast du
ja nicht geschrieben.
Post by k***@googlemail.com
Den einzigen Verdacht den ich noch habe ist, wenn die Kovarianzmatrix nicht vollen Rang hat.
Bei einer mehrdimensionalen Normalverteilung - ich sag' mal - "nicht
vorgesehen".
Post by k***@googlemail.com
Dann wäre die Verteilung zwar abhängig, aber Ich weiß nicht, ob das dann überhaupt eine Verteilung ist.
Natürlich gibt es Verteilungen, bei denen die Kovarianzmatrix nicht
vollen Rang hat. Allerdings sind das definitionsgemäß keine
Normalverteilungen.
Post by k***@googlemail.com
( Die Kovarianzmatrix ist nämlich nicht mehr positiv definit).
Stimmt.
Post by k***@googlemail.com
Und der letzte Hauptkomponenten hätte eine Varianz von 0????( also konstant um den Erwartungswert).
Ja. Sowas nennt man wohl eine Dirac-Verteilung.

Sollte ganz einfach so zu erzeugen sein:
X = irgendeine (skalare) standard-normalverteilte Zufallsvariable
Y = irgendeine (skalare) dirac-verteilte Zufallsvariable im Punkt 0,
wobei X und Y stochastisch unabhängig seien.
Dann ist (X, Y)^T ein Zufallsvektor mit singulärer Kovarianzmatrix, von
dem eine Koordinate (standard-)normalverteilt ist, die andere aber nicht.
--
Post by k***@googlemail.com
Eigentlich sollte Brain 1.0 laufen.
gut, dann werde ich mir das morgen mal besorgen...
(...Dialog aus m.p.d.g.w.a.)
Loading...