Herleitung der Normalengleichung
- Sei A eine mxn-Matrix (m > n) von maximalem Rang n, b ein
m-Vektor. Dann gibt es genau einen n-Vektor x, der den quadratischen Fehler
r2 des linearen Gleichungssystem
- minimiert. Er ist gegeben als Lösung der Normalengleichung
- Beweis:
- Statt r2 kann man auch r22
minimieren. Es gilt
- in Komponenten
- Notwendige Bedingung für ein Minimum ist, dass die
Ableitung verschwindet, also
- wobei der letzte Schritt aus der Symmetrie von AT
A folgt:
- Man erhält also
- bzw. in Matrix-Schreibweise
- Hinreichende Bedingung für ein Minimum ist die positive
Definitheit der 2. Ableitung. Nun ist
- Die Matrix AT A ist aber positiv definit, da
sie positiv ist und maximalen Rang n hat.