Begriffsklärung bzgl. Regularisierung (Tikhonov)

[i***@cs.tu-berlin.de]

Hallo geneigter Leser,

ich schreibe momentan an einer Arbeit, die Regularisierung (Tikhonov)
einsetzt. Bei Recherchen dazu bin ich auf mehrere Begriffe dafür
gestoßen, was mich teilweise verwirrt. Meine primäre Frage ist:

Worin besteht der Zusammenhang von Regularisierung (REG) und Lagrange-
Multiplikator-Methode (LMM) ?

|y - Ax|^2 + \alpha |z|^2 = minimal

A -> Matrix mit bekannten Informationen
y -> Messwerte
z -> Nebenbedingung allgemein
x -> gesucht

Häufig wird der Regularisierungsparameter \alpha als Lagrange-
Multiplikator bezeichnet. Ist es ein und dasselbe oder bezeichnet die
LMM das allgemeine Verfahren und die REG ist ein Spezialfall (was ich
vermute) ?

Es geht hier also auch ein wenig um den historischen Zusammenhang.
Denn 1977 haben doch Tikhonov und Arsenin erst gezeigt, dass man
Regularisierung auf 'ill-posed problems' anwenden kann. Warum wird das
dann auch LMM genannt (was sich vom Namen her für mich viel älter
anhört).

Regularisierung soll in der Statistik auch als 'ridge regression'
firmieren, welche Bezeichnungen gibt es noch ?

Wenn da jemand Licht in die Sache bringen könnte, würde ich mich sehr
freuen. Und natürlich auch über Literaturhinweise zum Nachlesen und
Zitieren ;-)

Bin übrigens Informatiker.
Vielen Dank schon mal fürs Lesen,
Ingo.

[Christian Gollwitzer]

Hallo Ingo,

kennst Du das Regularisation Tutorial von Arnold Neumaier?

http://citeseer.comp.nus.edu.sg/137211.html

Post by i***@cs.tu-berlin.de
Worin besteht der Zusammenhang von Regularisierung (REG) und Lagrange-
Multiplikator-Methode (LMM) ?
|y - Ax|^2 + \alpha |z|^2 = minimal
A -> Matrix mit bekannten Informationen
y -> Messwerte
z -> Nebenbedingung allgemein
x -> gesucht
Häufig wird der Regularisierungsparameter \alpha als Lagrange-
Multiplikator bezeichnet. Ist es ein und dasselbe oder bezeichnet die
LMM das allgemeine Verfahren und die REG ist ein Spezialfall (was ich
vermute) ?

Ich persönlich würde das gar nicht als Lagrange-Multiplikator
bezeichnen. Darunter versteht man eigentlich Folgendes: Gesucht sei das
Optimum einer Funktion f(x) unter der Nebenbedingung g(x)=0 (x aus R^n).
Dann löse man

grad f + lambda*grad g = 0

ohne Nebenbedingung (das ist der Witz daran), mit einer *zusätzlichen
Unbekannten* lambda. Die kann man dann aus der Lösung durch Einsetzen
der Nebenbedingung eliminieren.

Nun sieht das regularisierte Least-Squares-Problem tatsächlich genau so
aus - allerdings ist der Regularisierungsparameter alpha *keine
Unbekannte* sondern muss a priori festgelegt werden. Natürlich kann man
ihn mittels Cross-Validation, L-Plot und Ähnlichem auch a posteriori
bestimmen. Das ist jetzt vielleicht Ansichtssache.

Hilft das?

Christian