Parameterschätzung

• Induktive Statistik:
  • nutzt Daten, um auf eine größere Grundgesamtheit zu schließen
  • fasst Daten als Realisierungen von Zufallsvariablen auf
  • verwendet Wahrscheinlichkeitsrechnung, um auf deren Verteilungen zu schließen
  • wichtige Fragestellungen
    • Parameterwerte erschließen ("schätzen")
    • Genauigkeit einer Schätzung quantifizieren (→ Konfidenz-Intervalle)
    • Ja-/Nein-Fragen über Daten beantworten (→ Testtheorie)
• Statistisches Modell:
  • Ausgangslage
    • Grundgesamtheit mit N Elementen (N sehr groß oder unendlich)
    • Stichprobe mit n Elementen, zufällig und unabhängig voneinander gewählt
    • beobachtetes Merkmal X
  • Annahmen
    • Ergebnisse X_i (i=1,..,n) der i-ten Stichprobe sind Zufallsvariablen
    • X_i sind unabhängig und gleichverteilt (i.i.d.)
  • Verteilung der X_i
    • unbekannt oder aufgrund von Modellannahmen gegeben mit unbekannten Parametern
    • Messwerte mit statistischen Messfehlern häufig ~ N(μ, σ²)
    • Zahl (seltener) Ereignisse pro Zeitintervall oft ~ Po(λ)
  • gesuchte Information (Parameter) θ
    • hat festen Wert, der aber unbekannt ist und gesucht wird
    • ist ein Vektor, falls mehrere Größen interessieren
• Beispiele:
  1. Grundgesamtheit: alle von einer Maschine bearbeiteten Werkstücke
     • Merkmal: 1, falls Werkstück defekt, sonst 0
     • X_i Bernoulli-Experiment mit unbekannter Wahrscheinlichkeit p
     • gesuchter Parameter θ = p
  2. Grundgesamtheit: alle an einem Objekt durchführbaren Messungen einer Messgröße
     • Merkmal: Ergebnis der Messung
     • X_i ~ N(μ, σ²)
     • gesuchte Parameter θ = (μ, σ²)
  3. Grundgesamtheit: alle produzierten Festplatten eines Typs
     • Merkmal: Lebensdauer
     • Verteilung X der X_i unbekannt
     • gesuchte Parameter θ = (E(X), Var(X))
• Mathematische Version: statistisches Modell (𝓧, 𝓐, (P_θ)_{θ ∈ Θ}):
  • Stichprobenraum 𝓧: Menge aller möglichen Stichproben (meistens ℝⁿ)
  • Ereignismenge 𝓐 von Teilmengen von 𝓧: σ-Algebra der messbare Teilmengen
  • Parameterraum Θ: Menge aller möglichen Werte des Parameters θ
  • P_θ (für jedes θ ∈ Θ): Wahrscheinlichkeitsmaß auf (𝓧, 𝓐)
• Schätzer für θ (auch Schätzfunktion, Schätzstatistik):
  • Idee
    • berechne Größe aus den Ausprägungen x_i der Stichprobe
    • verwende dies als Schätzung für θ
  • Schätzer ist Abbildung T = t(X₁, ..., X_n)
    • ist selbst Zufallsgröße
    • Einsetzen von Ausprägungen x_i liefert Schätzung
  • in Beispiel 1 etwa
    • 
• Eigenschaften von Schätzern:
  • Schätzer T heißt erwartungstreu (unbiased) :⇔
    • E(T) = θ
    • anschaulich: im Mittel liefert der Schätzer den gesuchten Parameter
  • mittlerer quadratischer Fehler MSE von T
    • MSE(T) = E([T - θ]²)
    • für erwartungstreuen Schätzer folgt
    • MSE(T) = Var(T)
  • T heißt konsistent :⇔
    • 
    • anschaulich: mit wachsendem n wird die Schätzung immer genauer
• Mittelwert-Schätzer :
  • gesucht ist Schätzfunktion für Erwartungswert μ der Grundgesamtheit
  • naheliegender Schätzer
    • 
  • Erwartungswert von
    • 
    • → ist erwartungstreu
  • Varianz von
    • da X_i i.i.d, erhält man
    • 
    •  → ist konsistent
• Maximum-Likelihood-Schätzer:
  • Problem: Wie findet man guten Schätzer?
  • Voraussetzung: X_i hat Wahrscheinlichkeits- oder Dichtefunktion p_θ(x)
  • Idee: wähle θ mit größter Wahrscheinlichkeit, die Stichprobe zu erhalten
  • definiere Likelihood-Funktion L für feste Ausprägung x = (x₁, ..., x_n)
    • L(θ) := p_θ(x)
    • Schätzer ist das θ, das L maximiert
  • Eigenschaften eines Maximum-Likelihood-Schätzers
    • annähernd normalverteilt für großes n
    • optimal für großes n (in gewissem Sinn)
    • nicht notwendig erwartungstreu, erst für große n
  • praktische Berechnung
    • maximiere l := log(L) statt L durch Nullsetzen der Ableitung
• ML-Schätzer für θ = (μ, σ) bei Normalverteilung:
  • bei gegebenen Messwerten x_i ist die Dichtefunktion
    • 
    • ihr Logarithmus also
    • 
    • mit der Ableitung
    • 
  • Nullsetzen und Auflösen liefert die ML-Schätzer
    • 
    • zur Kontrolle: 2. Ableitungen sind negativ → Maximum
  • Schätzer für μ ist das bekannte
  • Schätzer für σ heißt auch
• Erwartungstreuer Schätzer für die Varianz:
  • X_i sei beliebig verteilt mit Erwartungswert μ und Varianz σ²
  • Berechnung des Erwartungswerts von liefert
    • 
    • also nicht erwartungstreu (erst für große n)
    • Rechnung einfach, aber länglich, s. Anhang
  • erwartungstreu ist dagegen
    • 
    • S² ist wichtigster Schätzer für die Varianz
    • erklärt Definition der empirischen Varianz
• Chi-Quadrat-Verteilung mit n Freiheitsgraden χ_n²:
  • zur Erinnerung (s.o.): Spezialfall der Gammaverteilung, χ_n² = γ(n/2, 1/2)
  • Dichtefunktion
    • 
    • graphisch
    • 
  • Eigenschaften
    • E(χ_n²) = n
    • Var(χ_n²) = 2 n
  • χ_n² ist die Verteilung der Quadratsumme von n unabhängigen Standard-Normalverteilungen
    • 
    • mit Z_i ~ N(0,1) i.i.d
• und S² für Normalverteilungen:
  • sei X_i ~ N(μ, σ²)
  • Verteilung von
    • Summe von normalverteilten unabhängigen Zustandsgrößen ist normalverteilt (s.o.)
    • X_i i.i.d, daher
    • 
  • Verteilung von S²
    • 
    • insbesondere folgt
    •  E(S²) = σ² (gilt schon für allgemeine Verteilungen, s.o.)
    • 
    • → S² ist erwartungstreu und konsistent
  • und S² sind unabhängig
  • Beweise über Berechnungen mit Dichtefunktionen [Kabluchko]
• Aufgaben:
  • Aufgabe 30