Universität Regensburg

Einführung in die Wahrscheinlichkeitsrechnung und

Statistik

Vorlesung von Dr. Martin Kreuzer im SS 1998

geTEXt von Alexander Zellner Inhaltsverzeichnis

1 Kombinatorik 3 2 Laplace-Wahrscheinlichkeiten 7 3 Bedingte Wahrscheinlichkeiten 12 4 Klassische Wahrscheinlichkeitsverteilungen 18 5 Diskrete Wahrscheinlichkeitsräume 24 6 Diskrete Zufallsvariable 29 7 Erwartungswerte 33 8 Standardabweichung 38 9 Erzeugende Funktionen 45 10 Allgemeine Wahrscheinlichkeitsräume 49 11 Stetige Wahrscheinlichkeitsverteilungen 54 12 Stetige Zufallsvariable 65 13 Grenzwertsätze 77 14 Schätztheorie 88 15 Testtheorie 96

Übungsaufgaben

Blatt 1: Kombinatorik 105 Blatt 2: Bedingte Wahrscheinlichkeiten 107 Blatt 3: Klassische Wahrscheinlichkeitsverteilungen 109 Blatt 4: Diskrete Wahrscheinlichkeitsräume 112 Blatt 5: Erwartungswerte und Standardabweichungen 114 Blatt 6: Erzeugende Funktionen 116 Blatt 7: Stetige Wahrscheinlichkeitsverteilungen 119 Blatt 8: Stetige Zufallsvariable 122 Blatt 9: Erwartungswerte stetiger Zufallsvariablen 124 Blatt 10: Grenzwertsätze 126 Blatt 11: Schätztheorie 128 Blatt 12: Testtheorie 130

1 Kombinatorik

Definition 1.1

1. Für n ∈ ℕ_{+} schreiben wir n! := 1 · 2 · 3 · . . . · n und nennen es n Fakultät.

Wir setzen 0! := 1.

2. Sei n ∈ ℕ_{+} und M eine Menge mit n Elementen.

Eine bijektive Abbildung ψ : M → M heißt eine Permutation von M.

Im Fall M = \{1, …, n\} schreiben wir auch ψ = ( \begin{matrix}1 & 2 & … & n \\ ψ(1) & ψ(2) & … & ψ(n) \end{matrix} ).

Satz 1.2 Ist n ∈ ℕ und M eine Menge mit n Elementen, so gibt es genau n!

Permutationen von M.

Beweis: Sei p(n) die Anzahl der Permutationen von M. Zuerst zeigen wir, dass p(n) auch die Anzahl der Permutationen von {1, 2, …, n} ist. Da M genau n Elemente hat, können wir eine bijektive Abbildung φ : M → {1, 2, …, n} wählen. Für jede Permutation von ψ von M ist die Abbildung φ ∘ ψ ∘ φ^{−1}:

{1, …, n} ⟶^{φ^{−1}} M ⟶^{ψ} M ⟶^{φ} {1, …, n} eine Permutation von {1, …, n}. Bei

der Zuordnung ψ ↦ φ ∘ ψ ∘ φ^{−1} entsprechen sich die Permutationen von M und {1, …, n} eineindeutig. Also ist p(n) auch die Zahl der Permutationen von {1, …, n}. Mit vollständiger Induktion nach n zeigen wir nun p(n) = n!. Induktionsbeginn n=0: Die Menge M = ∅ besitzt genau eine Permutation, nämlich ψ = id_{M} : ∅ → ∅. Induktionsschluss von n − 1 auf n für n > 0: Für den Wert ψ(n) gibt es n Möglichkeiten. Für ein festes m = ψ(n) können wir eine bijektive Abbildung φ : {1, …, n} \ {ψ(n)} → {1, …, n − 1} wählen. Bei der Zuordnung ψ ↦ φ∘ψ|_{{1,... ,n−1}} entsprechen sich die Permutationen ψ von M mit ψ(n) = m und die Permutationen von {1, …, n − 1} eineindeutig. Also gibt es p(n − 1) = (n − 1)! solcher Permutationen und insgesamt gilt p(n) = n · p(n − 1) = n · (n − 1)! = n!. □

Beispiel 1.3 Sei n ∈ ℕ_{+}.

1. Hat man n verschiedene Objekte, so gibt es n! Möglichkeiten, diese (in einer

Reihe) anzuordnen.

2. Enthält eine Urne n verschiedene Kugeln und zieht man diese nacheinander

ohne Zurücklegen, so gibt es genau n! mögliche Versuchsergebnisse.

Definition 1.4 Seien m, n ∈ ℕ. Dann heißt die Zahl

\binom{m}{n} = \{ \begin{matrix}\frac{m!}{(m−n)!n!} & falls & m ≥ n \\ 0 & falls & m < n \end{matrix} der Binomialkoeffizient ”m über n“ oder

”n aus m“.

Satz 1.5 Seien m, n ∈ ℕ und sei M eine Menge mit m Elementen.

Dann gibt es genau \binom{m}{n} Teilmengen von M, die n Elemente besitzen.

Beweis: Da die Behauptung im Fall m ≤ n klar ist, können wir o.E. m > n annehmen. Auch für n = 0 ist die Behauptung offensichtlich richtig. Sei also 1 ≤ n ≤ m. Sei Σ die Menge aller Tupel (x_{1}, …, x_{n}) ∈ M^{n} = \underbrace{M × … × M}_{n-mal} mit x_{i} ≠ x_{j} für

i ≠ j. Für die Wahl von x_{1} gibt es m Möglichkeiten. Für die Wahl von x_{2} in M \ {x_{1}} gibt es dann n − 1 Möglichkeiten, etc. . Induktiv ergibt sich, dass Σ genau m · (m − 1) · . . . · (m − n + 1) Elemente besitzt. Jedes Tupel (x_{1}, …, x_{n}) ∈ Σ liefert eine Teilmenge N = {x_{1}, …, x_{n}}. Zwei Tupel liefern genau dann die gleiche Teilmenge N = {x_{1}, …, x_{n}} = = {y_{1}, …, y_{n}}, wenn sich (x_{1}, …, x_{n}), (y_{1}, …, y_{n}) ∈ Σ nur durch eine Permutation unterscheiden. Also liefern je n! Tupel dieselbe Menge N und es gibt \frac{m(m−1)·...·(m−n+1)}{n!} = \frac{m!}{n!(m−n)!} = \binom{m}{n} verschiedene Teilmengen N ⊂ M mit n Elementen. □

Korollar 1.6 Seien m, n ∈ ℕ_{+} und sei (M, <) eine vollständig geordnete Menge

(d.h. je zwei Elemente sind vergleichbar), die aus m Elementen besteht.

1. Es gibt genau \binom{m}{n} streng monoton steigende Folgen x_{1} < x_{2} < … < x_{n} in M.

2. Es gibt genau \binom{m+n−1}{n} monoton steigende Folgen x_{1} ≤ x_{2} ≤ … ≤ x_{n} in M.

Beweis:

1. Jede n-elementige Teilmenge N = {x_{1}, …, x_{n}} ⊂ M kann auf genau eine Art so geordnet werden, dass x_{1} < x_{2} < … < x_{n} gilt. Umgekehrt liefert jede Folge x_{1} < … < x_{n} in M eine n-elementige Teilmenge N = {x_{1}, …, x_{n}}. Also gibt es genau soviele Folgen x_{1} < … < x_{n} in M, wie es n-elementige Teilmengen von M gibt.

2. Wir ordnen die Elemente von M = {x_{1}, …, x_{m}} so dass x_{1} < … < x_{m} gilt. Dann ist jede bijektive Abbildung M → {1, …, m} mit der Relation ”<“ verträglich und wir brauchen die Behauptung nur im Fall M = {1, …, n} zu zeigen. Jetzt entspricht jede monotone Folge y_{1} ≤ … ≤ y_{n} in M eineindeutig einer streng monotonen Folge y_{1} < y_{2} + 1 < y_{3} + 2 < … < y_{n} + (n − 1) in {1, …, m + n − 1}. Die Behauptung folgt nun aus 1. .

□

Definition 1.7 Sei r ≥ 1 und seien m, n_{1}, …, n_{r} ∈ ℕ mit n_{1} + … + n_{r} = m. Dann heißt die Zahl \binom{m}{n_{1},... ,n_{r}} := \frac{m!}{n_{1}!·...·n_{r}!} der Multinomialkoeffizient ”m über n_{1}, …, n_{r}“. Offenbar gilt: \binom{m}{n_{1}} = \binom{m}{n_{1},m−n_{1}}.

Satz 1.8 Sei r ≥ 1 und seien m, n_{1}, …, n_{r} ∈ ℕ mit n_{1} + … + n_{r} = m. Eine Menge M besitze m Elemente.

1. Es gibt genau \binom{m}{n_{1},... ,n_{r}} Möglichkeiten, die Menge M so in paarweise disjunkte Teilmengen N_{1}, …, N_{r} zu unterteilen, dass N_{i} für jedes i ∈ {1, …, r} genau n_{i} Elemente besitzt.

2. Unterteilt man M = N_{1} ∪…. ∪. N_{r} wie in 1., und betrachtet man die Elemente jeder Teilmenge N_{i} als gleich, so kann man die Elemente von M auf genau \binom{m}{n_{1},... ,n_{r}} viele verschiedene Arten anordnen.

Beweis:

1. Für die Auswahl der Teilmenge N_{1} gibt es \binom{m}{n_{1}} Möglichkeiten.

Für die Auswahl N_{2} ⊂ M \ N_{1} gibt es dann \binom{m−n_{1}}{n_{2}} Möglichkeiten, etc.

Schließlich gibt es \binom{m−n_{1}−...−n_{r−1}}{n_{r}} = \binom{n_{r}}{n_{r}} = 1 Möglichkeit für die Auswahl von N_{r} ⊂ M \ (N_{1} ∪ … ∪ N_{r−1}). Insgesamt erhalten wir \binom{m}{n_{1}} · \binom{m−n_{1}}{n_{2}} · . . . · \binom{m−n_{1}−...−n_{r−1}}{n_{r}} = = \frac{m!}{n_{1}!(m−n_{1})!} · \frac{(m−n_{1})!}{n_{2}!(m−n_{1}−n_{2})!} · . . . · \frac{(m−n_{1}−...−n_{r})}{n_{r}!0!} = = \frac{m!}{n_{1}!·...·n_{r}!} = \binom{m}{n_{1},... ,n_{r}} Möglichkeiten für die gewünschte Unterteilung.

2. Von den m! Anordnungen der Menge M sind n_{1}! · . . . · n_{r}! als gleich zu betrachten, da sie sich nur um Permutationen von N_{1}, …, N_{r} unterscheiden. Also gibt es \frac{m!}{n_{1}!·...·n_{r}!} = \binom{m}{n_{1},... ,n_{r}} viele verschiedene Anordnungen.

□

Beispiel 1.9 Befinden sich in einer Urne m Kugeln, und zwar n_{1} von der Farbe 1, n_{2} von der Farbe 2, …, n_{r} von der Farbe r (mit m = n_{1} + … + n_{r}) und zieht man diese nacheinander ohne Zurücklegen, so gibt es \binom{m}{n_{1},... ,n_{r}} viele mögliche Versuchsergebnisse.

Notation: M Menge, 𝔓(M) =Potenzmenge von M=Menge aller Teilmengen von M

Satz 1.10 (Siebformel) Seien M eine Menge, r, n ∈ ℕ_{+} und N_{1}, …, N_{r} ⊂ M Teilmengen. Ferner sei eine Funktion f : 𝔓(M) → ℝ gegeben mit f(A ∪. B) = f(A) + f(B) für disjunkte Teilmengen A, B ⊂ M. Schließlich sei S_{i} = {x ∈ M | x ∈ N_{i} für genau n Indizes 1 ≤ i ≤ r}. Dann gilt:

f(S_{n}) = ∑_{i=n}^{r}(−1)^{i−n}\binom{i}{n} ∑_{\{j_{1},... ,j_{i}\}⊂\{1,... ,r\} i-elementige Teilmenge} f(N_{j_{1}} ∩ … ∩ N_{j_{i}})

Beweis: Beh. 1: B, A_{1}, …, A_{n} ⊂ M, \overline{A}_{i} := M \ A_{i} für i = 1, …, n. Dann ist

f(B ∩ \overline{A}_{1} ∩ … ∩ \overline{A}_{n}) = ∑_{i=0}^{n}(−1)^{i} ∑_{\{j_{1},... ,j_{i}\}⊂\{1,... ,n\} i-elementige Teilmenge} f(B ∩ A_{j_{1}} ∩ … ∩ A_{j_{i}})

Beweis durch Induktion nach n. n = 1: f(B ∩ \overline{A}_{1}) = f(B) − f(B ∩ A_{1}) n − 1 → n:

f(B ∩ \overline{A}_{1} ∩ … ∩ \overline{A}_{n}) =^{Fall n=1}

f(B ∩ \overline{A}_{1} ∩ … ∩ \overline{A}_{n−1}) − f(B ∩ A_{n} ∩ \overline{A}_{1} ∩ … ∩ \overline{A}_{n−1}) =^{I.V.}

∑_{i=0}^{n−1}(−1)^{i} ∑_{{j_{1},... ,j_{i}}⊂{1,... ,n−1} i-elementige Teilmenge} f(B ∩ A_{j_{1}} ∩ … ∩ A_{j_{i}})−

∑_{i=0}^{n−1}(−1)^{i} ∑_{{j_{1},... ,j_{i}}⊂{1,... ,n} i-elementige Teilmenge} f(B ∩ A_{j_{1}} ∩ … ∩ A_{j_{i}} ∩ A_{n}) =

∑_{i=0}^{n−1}(−1)^{i} ∑_{{j_{1},... ,j_{i}}⊂{1,... ,n−1} i-elementige Teilmenge} f(B ∩ A_{j_{1}} ∩ … ∩ A_{j_{i}})−

∑_{i=1}^{n}(−1)^{i+1} ∑_{{j_{1},... ,j_{i−1}}⊂{1,... ,n} (i−1)-elementige Teilmenge} f(B ∩ A_{j_{1}} ∩ … ∩ A_{j_{i−1}} ∩ A_{n}) =

∑_{i=0}^{n−1}(−1)^{i} ∑_{{j_{1},... ,j_{i}}⊂{1,... ,n} i-elem. Teilm., die n nicht enthält} f(B ∩ A_{j_{1}} ∩ … ∩ A_{j_{i}})+

∑_{i=1}^{n}(−1)^{i} ∑_{{j_{1},... ,j_{i}}⊂{1,... ,n} i-elem. Teilm., die n enthält} f(B ∩ A_{j_{1}} ∩ … ∩ A_{j_{i}}) =

∑_{i=0}^{n}(−1)^{i} ∑_{{j_{1},... ,j_{i}}⊂{1,... ,n} i-elem. Teilm., die n nicht enthält} f(B ∩ A_{j_{1}} ∩ … ∩ A_{j_{i}})+

∑_{i=0}^{n}(−1)^{i} ∑_{{j_{1},... ,j_{i}}⊂{1,... ,n} i-elem. Teilm., die n enthält} f(B ∩ A_{j_{1}} ∩ … ∩ A_{j_{i}}) =

∑_{i=0}^{n}(−1)^{i} ∑_{{j_{1},... ,j_{i}}⊂{1,... ,n} i-elementige Teilmenge} f(B ∩ A_{j_{1}} ∩ … ∩ A_{j_{i}})

Beh. 2: S_{n} = ⋃ ._{\{j_{1},... ,j_{n}\}⊂\{1,... ,r\} n-elementige Teilmenge} N_{j_{1}} ∩ … ∩ N_{j_{n}} ∩ \overline{N}_{j_{n+1}} ∩ … ∩ \overline{N}_{j_{r}} mit \{j_{n+1}, …, j_{r}\} :=

{1, …, r} \ {j_{1}, …, j_{n}}

Beh. 3: f(S_{n}) = ∑_{i=n}^{r}(−1)^{i−n}\binom{i}{n} ∑_{j_{1},... ,j_{i}⊂\{1,... ,r\} i-elementige Teilmenge} f(N_{j_{1}} ∩ … ∩ N_{j_{i}})

Beweis:

f(S_{n}) =^{Beh.2} ∑_{\{j_{1},... ,j_{n}\}⊂\{1,... ,r\} n-elementige Teilmenge} f(N_{j_{1}} ∩ … ∩ N_{j_{n}} ∩ \overline{N}_{j_{n+1}} ∩ … ∩ \overline{N}_{j_{r}}) =^{Beh.1}

∑_{{j_{1},... ,j_{n}}⊂{1,... ,r} n-elementige Teilm.} ∑_{i=n}^{r}(−1)^{i−n} ∑_{{k_{1},... ,k_{i−n}}⊂{j_{n+1},... ,j_{r}} (i−n)-elem. Teilm.} f(N_{j_{1}} ∩ … ∩ N_{j_{n}} ∩ N_{k_{1}} ∩ … ∩ N_{k_{i−n}}) =

∑_{i=n}^{r}(−1)^{i−n} ∑_{{j_{1},... ,j_{n}}⊂{1,... ,r} n-elementige Teilm.} ∑_{{k_{1},... ,k_{i−n}}⊂{j_{n+1},... ,j_{r}} (i−n)-elem. Teilm.} f(N_{j_{1}} ∩ … ∩ N_{j_{n}} ∩ N_{k_{1}} ∩ … ∩ N_{k_{i−n}}) =
∑_{i=n}^{r}(−1)^{i−n}\binom{i}{n} ∑_{\{l_{1},... ,l_{i}\}⊂\{1,... ,r\} i-elem. Teilm.} f(N_{l_{1}} ∩ … ∩ N_{l_{i}})  □

Beispiel 1.11 Sei M eine endliche Menge und seien N_{1}, N_{2}, N_{3} ⊂ M. Dann gilt: #S_{1} = #N_{1} +#N_{2} +#N_{3} −2#(N_{1} ∩N_{2})−2#(N_{1} ∩N_{3})−2#(N_{2} ∩N_{3})+3#(N_{1} ∩ N_{2} ∩ N_{3})

2 Laplace-Wahrscheinlichkeiten

Definition 2.1

1. Ein endlicher Wahrscheinlichkeitsraum (Ω, P) besteht aus einer endlichen Menge Ω und einer Abbildung P : 𝔓(Ω) → [0, 1] von der Potenzmenge 𝔓(Ω) in die Menge [0, 1] := {x ∈ ℝ | 0 ≤ x ≤ 1}, so dass die folgenden Rechenregeln gelten:

1. P (Ω) = 1 (Normiertheit)

2. P (A ∪. B) = P (A) + P (B) für disjunkte Teilmengen A, B ∈ 𝔓(Ω) (Additi-

vität)

2. Ist (Ω, P) ein endlicher Wahrscheinlichkeitsraum, so verwenden wir die folgenden Sprechweisen: Ω = Ergebnisraum / Stichprobenraum=Menge aller möglichen Versuchsergebnisse A ⊂ Ω heißt ein Ereignis. 𝔓(Ω) = Menge aller Ereignisse P = Wahrscheinlichkeitsverteilung oder Wahrscheinlichkeitsmaß

3. Ein endlicher Wahrscheinlichkeitsraum heißt Laplace-Wahrscheinlichkeitsraum, wenn P gegeben ist durch P ({ω}) = \frac{1}{#Ω} für alle ω ∈ Ω. In diesem Fall heißt P die Gleichverteilung auf Ω. Für A ⊂ Ω heißt P (A) = \frac{#A}{#Ω} die Laplace-Wahrscheinlichkeit des Ereignisses A.

Beispiel 2.2 (Das Würfeln)

1. Das Werfen eines Würfels wird beschrieben durch den folgenden Laplace-Wahrscheinlichkeitsraum: Ω = {1, 2, 3, 4, 5, 6} P : 𝔓(Ω) → [0, 1] Gleichverteilung A =”es wurde eine gerade Zahl gewürfelt“= {2, 4, 6} P (A) = \frac{#A}{#Ω} = \frac{3}{6} = 0, 5

2. Das gleichzeitige Werfen zweier Würfel wird beschrieben durch Ω = {(i, j) | 1 ≤ i, j ≤ 6} = {1, …, 6}^{2} und P : 𝔓(Ω) → [0, 1] Gleichverteilung. Für i = 2, …, 12 sei A_{i}, das Ereignis ”die Augensumme ist i“. Dann gilt:

\begin{matrix}i & 2 & 3 & 4 & 5 & 6 & 7 & 8 & 9 & 10 & 11 & 12 \\ P (A_{i}) & \frac{1}{36} & \frac{2}{36} & \frac{3}{36} & \frac{4}{36} & \frac{5}{36} & \frac{6}{36} & \frac{5}{36} & \frac{4}{36} & \frac{3}{36} & \frac{2}{36} & \frac{1}{36} \end{matrix}

Beispiel 2.3 (Die Glücksspirale 1971) Jeder Teilnehmer (Los) erhält eine 7-stellige Losnummer. Es wurden 70 Kugeln (je 7 mit den Ziffern 0, …, 9) in eine Urne gegeben, und dann werden gleichzeitig 7 Kugeln gezogen. Dies ergibt die Losnummer des Gewinners.

Mathematische Beschreibung als Laplace-Experiment: Mache alle Kugeln unterscheidbar (70 Farben f_{1}, …, f_{70}) Ω =geordnete 7-er Stichproben aus {f_{1}, …, f_{70}} ohne Zurücklegen= = {(f_{i_{1}}, …, f_{i_{7}}) | i_{1}, …, i_{7} ∈ {1, …, 70} paarweise verschieden} #Ω = 70 · 69 · 68 · 67 · 66 · 65 · 64

1. A_{1} =”Losnummer 1111111 gewinnt“ #A_{1} = 7!, P (A_{1}) = \frac{7!}{70·...·64} ≈ 0, 83 · 10^{−9}

2. A_{2} =”Losnummer 1234567 gewinnt“ #A_{2} = 7^{7}, P (A_{2}) = \frac{7^{7}}{70·...·64} ≈ 0, 136 · 10^{−6} Es gilt \frac{P (A_{2})}{P (A_{1})} ≈ 163, 4.

Beispiel 2.4 In einem Raum befinden sich 45 Personen. Mit welcher Wahrscheinlichkeit haben mindestens 2 davon am selben Tag Geburtstag ? Annahmen: Es gebe 365 Geburtstage und alle seien gleich wahrscheinlich. Ω = {1, …, 365}^{n}, #Ω = 365^{n} A_{n} :=”mind. 2 Komponenenten eines Tupels (x_{1}, …, x_{n}) ∈ Ω sind gleich.“ Ω \ A_{n} =”alle Tupel mit paarweise verschiedenen Komponenten“ #(Ω \ A_{n}) = 365 · . . . · (365 − n + 1) P (A_{n}) = 1 − P (Ω \ A_{n}) = 1 − \frac{365·...·(365−n+1)}{365^{n}} z.B. P (A_{45}) = 0, 94097590

Beispiel 2.5 (Lotto 6 aus 49) Versuchsablauf: vgl. jeden Samstag Abend im Fernsehen. \underline{Modell I:} geordnete 6-er Stichproben aus {1, …, 49} ohne Rücklegen. Ω = {(x_{1}, …, x_{6}) ∈ {1, …, 49}^{6} | x_{i} ≠ x_{j} für i ≠ j} #Ω = 49 · 48 · . . . · 44 \underline{Modell II:} ungeordnete 6-er Stichproben aus {1, …, 49} ohne Rücklegen Ω =Menge aller 6-elementigen Teilmengen von {1, …, 49} #Ω = \binom{49}{6} Sei A das Ereignis ”es wurde {1, 2, 3, 4, 5, 6} gezogen“ Modell I: P (A) = \frac{6!}{49·...·44} Modell II: P (A) = \frac{1}{\binom{49}{6}} Wahrscheinlichkeiten bestimmter Ereignisse: A_{6} :=”6 Richtige“ P (A_{6}) = \frac{1}{\binom{49}{6}} ≈ 7, 1511 · 10^{−8} A_{5}^{∗} :=”5 Richtige mit ZZ“ #(A_{5}^{∗}) = \binom{6}{5} P (A_{5}^{∗}) ≈ 0, 429 · 10^{−6} A_{5} =”5 Richtige ohne ZZ“ #(A_{5}) = \binom{6}{5} · 42 P (A_{5}) ≈ 0, 180 · 10^{−4} A_{4} :=”4 Richtige“ #(A_{4}) = \binom{6}{4}\binom{42}{2} P (A_{4}) ≈ 0, 924 · 10^{−3} A_{5} :=”3 Richtige“ #(A_{3}) = \binom{6}{3}\binom{43}{3} P (A_{3}) ≈ 0, 01765

Satz 2.6 (Die hypergeometrische Verteilung) Eine Urne enthalte n ∈ ℕ_{+} Kugeln, von denen m schwarz und n − m weiß sind. Wir ziehen l Kugeln ohne Zurücklegen, wobei 1 ≤ l ≤ n gelte. Für 0 ≤ k ≤ min{m, l} ist die Wahrscheinlichkeit des Ereignisses A_{k} =”es wurden genau k schwarze Kugeln gezogen“ gegeben durch P (A_{k}) = \begin{matrix}\binom{m}{k} & \binom{n−m}{l−k} \\ ( & {n \atop l} & ) \end{matrix}.

Beweis: Wir betrachten die Kugeln als unterscheidbar: {1, …, n} Der Ergebnisraum ist Ω = \{A ∈ 𝔓(\{1, …, n\}) | #A = l\} und es gilt #Ω = \binom{n}{l}. Für ein Ergebnis in A_{k} müssen wir k schwarze Kugeln aus den m schwarzen Kugeln und genau l − k weiße Kugeln aus den n − m weißen auswählen. ⇒ #(A_{k}) = \binom{m}{k}\binom{n−m}{l−k}

⇒ P (A_{k}) = \begin{matrix}\binom{m}{k} & \binom{n−m}{l−k} \\ ( & {n \atop l} & ) \end{matrix} □

Beispiel 2.7 (3 Asse beim Skat) Beim Skat erhält jeder der 3 Spieler 10 Karten und 2 bleiben verdeckt (Skat). Mit welcher Wahrscheinlichkeit hat ein Spieler genau 3 Asse ? Es genügt, die Wahrscheinlichkeit zu bestimmen, dass Spieler i 3 Asse hat (Ereignis A_{i}) Ω =10-elementige Teilmengen von {1, …, 32} Es gibt 4 Asse und 28 Nicht-Asse. Nach 2.6 gilt: P (A_{i}) = \binom{4}{3}\binom{28}{7} \binom{32}{10} = \frac{66}{899} ≈ 0, 0734 P (A_{1} ∪ A_{2} ∪ A_{3}) = 3P (A_{1}) = \frac{198}{899} ≈ 0, 220

Satz 2.8 (Die Binomialverteilung) In der Situation von 2.6 ziehen wir l Kugeln mit Zurücklegen, wobei l ∈ ℕ_{+} sei. Für k = 0, …, l ist die Wahrscheinlichkeit des Ereignisses A_{k} =”es wurden genau k schwarze Kugeln gezogen“ gegeben durch

P (A_{k}) = \binom{l}{k} (\frac{m}{n})^{k} (\frac{n−m}{n})^{l−k}

Beweis: Wir betrachten die Kugeln wieder als unterscheidbar: {1, …, n} Der Ergebnisraum ist Ω = {1, …, n}^{l} und #Ω = n^{l}. Für ein Ergebnis in A_{k} müssen wir aus den l Ziehungen diejenigen k auswählen, bei denen eine schwarze Kugeln gezogen wird (\binom{l}{k} Möglichkeiten). Bei den k Ziehungen schwarzer Kugeln müssen wir je eine der m schwarzen Kugeln auswählen (m^{k} Möglichkeiten) und bei den l−k Ziehungen weißer Kuglen, je eine der n − m weißen Kugeln ((n − m)^{l−k} Möglichkeiten). Insgesamt folgt: #(A_{k}) = \binom{l}{k}m^{k}(n − m)^{l−k} und P (A_{k}) = \binom{l}{k} \frac{m^{k}(n−m)^{l−k}}{n^{l}} = \binom{l}{k} (\frac{m}{n})^{k} (\frac{n−m}{n})^{l−k} □

Satz 2.9 Sei (Ω, P) ein endlicher Wahrscheinlichkeitsraum und

seien A_{1}, …, A_{m} ∈ 𝔓(Ω).

Dann gilt: P (A_{1} ∪ … ∪ A_{m}) = T_{1} − T_{2} + T_{3} − … + ⋯ + (−1)^{m+1}T_{m}, wobei

T_{k} = ∑_{{j_{1},... ,j_{k}}⊂{1,... ,m} k-elementige Teilmenge} P (A_{j_{1}} ∩ … ∩ A_{j_{k}}).

Beweis:

Vorbemerkung: Für i ∈ ℕ_{+} beliebig gilt ∑_{j=0}^{i}(−1)^{j}\binom{i}{j} = 0.

Beweis durch Induktion nach i. i = 1: klar! Induktionsschluss i − 1 → i.

∑_{j=0}^{i}(−1)^{j}\binom{i}{j} = (−1)^{i} + 1 + ∑_{j=1}^{i−1}(−1)^{j}\binom{i}{j} =^{Pascalsches Dreieck}

(−1)^{i}+1+ ∑_{j=1}^{i−1}(−1)^{j} (\binom{i−1}{j} + \binom{i−1}{j−1}) = (−1)^{i}+1+ ∑_{j=1}^{i−1}(−1)^{j}\binom{i−1}{j−1}+ ∑_{j=1}^{i−1}(−1)^{j}\binom{i−1}{j} =

(−1)^{i} − ∑_{j=0}^{i−2}(−1)^{j}\binom{i−1}{j} + ∑_{j=0}^{i−1}(−1)^{j}\binom{i−1}{j} =^{I.V} (−1)^{i} − ∑_{j=0}^{i−2}(−1)^{j}\binom{i−1}{j} =

− ∑_{j=0}^{i−1}(−1)^{j}\binom{i−1}{j} =^{I.V} 0

Wende die Siebformel 1.10 mit f := P an:

P (A_{1} ∪ … ∪ A_{m}) = ∑_{j=1}^{m} P (S_{j}) = ∑_{j=1}^{m} ∑_{i=j}^{m}(−1)^{i−j}\binom{i}{j}T_{i} = ∑_{1≤j≤i≤m}(−1)^{i−j}\binom{i}{j}T_{i} =

∑_{i=1}^{m} ∑_{j=1}^{i}(−1)^{i−j}\binom{i}{j}T_{i} = ∑_{i=1}^{m} (∑_{j=1}^{i}(−1)^{j}\binom{i}{j}) T_{i}(−1)^{i} =

∑_{i=1}^{m} ( − 1 + \underbrace{∑_{j=0}^{i}(−1)^{j}\binom{i}{j}}_{=0 nach Vorbemerkung} )T_{i}(−1)^{i} = ∑_{i=1}^{m}(−1)^{i+1}T_{i} □

Beispiel 2.10 (2 Asse beim Skat) Mit welcher Wahrscheinlichkeit hat mindestens einer der 3 Spieler beim Skat genau 2 Asse ? Ω =”alle Anordnungen der 32 Karten (Platz 1-10=Spieler 1, 11-20=Spieler 2, 21-30=Spieler 3, 31-32=Skat)“ A_{i} =”Spieler i hat genau 2 Asse (vgl. Beispiel 2.7)“ P (A_{i}) = \binom{4}{2}\binom{28}{8} \binom{32}{10} = \frac{2079}{7192} ≈ 0, 289 Bestimmung von P (A_{i} ∩ A_{j}) (für i ≠ j) Für die Plätze der Asse gibt es \binom{10}{2}^{2} Möglichkeiten. Für die Anordnung der Asse gibt es 4! Möglichkeiten. Für die Anordnung der restlichen Karten gibt es 28! Möglichkeiten. P (A_{i} ∩ A_{j}) = ^{\frac{\binom{10}{2}^{2}4!28!}{32!}} = \frac{405}{7192} ≈ 0, 056 Es folgt:

P (A_{1} ∪ A_{2} ∪ A_{3}) = ∑_{i} P (A_{i}) − ∑_{i≠j} P (A_{i} ∩ A_{j}) = \frac{5022}{7192} ≈ 0, 698

3 Bedingte Wahrscheinlichkeiten

Beispiel 3.1 (Schafkopfen) Beim Schafkopfen (”mit der Kurzen“≅bayer. Tarockkarten ohne 7er und 8er) (4 Spieler à 6 Karten) Hat ein Spieler 2 Unter (”Wenzen“), was ist dann die Wahrscheinlichkeit dafür, dass die anderen beiden Unter ”zusammenstehen“ (d.h. dass ein anderer Spieler die restlichen beiden Unter besitzt) ? Ω =”18! Anordnungen der Karten von Spieler 2-4 (Spieler 2≅Nr. 1-6 usw.)“ A_{i} = ”Spieler i hat die restlichen 2 Unter“ (i = 2, 3, 4) #A_{i} = \binom{6}{2}2!16! P (A_{2} ∪ A_{3} ∪ A_{4}) = 3P (A_{i}) = 3 · \frac{30}{17·18} ≈ 0, 294

Definition 3.2 Sei (Ω, P) ein Wahrscheinlichkeitsraum. Seien A, B ⊂ Ω Ereignisse und es gelte P (B) ≠ 0. Dann heißt P (A|B) := \frac{P (A∩B)}{P (B)} die bedingte Wahrscheinlichkeit von A bei gegebenem B (oder die Wahrscheinlichkeit von A unter der Bedingung B).

Beispiel 3.3 (Fortsetzung von 3.1) Ω =”24! Anordnungen aller Karten“, A_{i} =”Spieler i hat genau 2 Unter.“ (i = 2, 3, 4) B =”Spieler 1 hat genau 2 Unter.“ #B = \binom{6}{2}\binom{18}{2}4!20! P (B) = \frac{15·9·17·24}{24·23·22·21} ≈ 0, 216 #(A_{i} ∩ B) = \binom{6}{2}\binom{6}{2}4!20! A := A_{2} ∪. A_{3} ∪. A_{4} #(A ∩ B) = #(A_{2} ∩ B) + #(A_{3} ∩ B) + #(A_{4} ∩ B) P (A ∩ B) = 3^{\frac{\binom{6}{2}^{2}4!20!}{24!}} ≈ 0, 0635 P (A|B) = \frac{P (A∩B)}{P (B)} = \frac{45}{153} ≈ 0, 294

Bemerkung 3.4 Sei (Ω, P) ein Wahrscheinlichkeitsraum.

1. Sind A, B ⊂ Ω Ereignisse und P (B) ≠ 0, so gilt P (A ∩ B) = P (B) · P (A|B). Ist z.B. das Ereignis B zeitlich vor A beobachtbar, so ist P (A|B) oft leichter zu bestimmen als P (A ∩ B).

2. Sind A_{1}, …, A_{n} ⊂ Ω Ereignisse mit P (A_{1} ∩ … ∩ A_{n−1}) ≠ 0, so folgt mit vollständiger Induktion: P (A_{1} ∩…∩A_{n}) = P (A_{1})·P (A_{2}|A_{1})·P (A_{3}|A_{1} ∩A_{2})·. . .·P (A_{n}|A_{1} ∩…∩A_{n−1})

Beispiel 3.5 Was ist die Wahrscheinlichkeit dafür, dass beim Schafkopf jeder Spieler genau ein Ober (”Dame“) besitzt ? Ω =”24! Anordnungen der Karten“ A_{i} :=”Spieler i hat genau einen Ober.“ P (A_{1}) = \binom{4}{1}\binom{20}{5} \binom{24}{6}

P (A_{2}|A_{1}) = \binom{3}{1}\binom{15}{5} \binom{18}{6} Es sind genau 3 Ober unter den restlichen 18 Karten.

P (A_{3}|A_{1} ∩ A_{2}) = \binom{2}{1}\binom{10}{5} \binom{12}{6} P (A_{4}|A_{1} ∩ A_{2} ∩ A_{3}) = 1 P (A_{1} ∩ A_{2} ∩ A_{3} ∩ A_{4}) = P (A_{1}) · P (A_{2}|A_{1}) · P (A_{3}|A_{1} ∩ A_{2}) = \frac{36·36}{23·22·21} ≈ 0, 122

Satz 3.6 Sei (Ω, P) ein Wahrscheinlichkeitsraum.

1. Ist B ⊂ Ω ein Ereignis mit P (B) ≠ 0, so ist P̃ : 𝔓(Ω) → [0, 1], def. durch A ↦ P (A|B), wieder ein Wahrscheinlichkeitsmaß auf Ω.

2. Sind B_{1}, …, B_{n} ⊂ Ω Ereignisse mit Ω = B_{1} ∪…. ∪. B_{n}, so gilt für jedes Ereignis A ⊂ Ω die Gleichung P (A) = ∑_{{i|P (B_{i})≠0}} P (B_{i}) · P (A|B_{i}).

3. (Formel von Bayes 1713)

Unter den Voraussetzungen von 2. gilt für jedes Ereignis A ⊂ Ω mit P (A) ≠ 0 und für jeden Index i ∈ {1, …, n} mit P (B_{i}) ≠ 0 die Formel:

P (B_{i}|A) = \frac{P (B_{i}) · P (A|B_{i})}{∑_{\{j|P (B_{j})≠0\}} P (B_{j}) · P (A|B_{j})}

4. Sind B_{1}, …, B_{n} ⊂ Ω paarweise disjunkte Ereignisse mit P (B_{i}) ≠ 0 für i = 1, …, n und ist A ⊂ Ω ein Ereignis mit P (A|B_{1}) = P (A|B_{2}) = … = P (A|B_{n}), so gilt P (A|B_{1} ∪ … ∪ B_{n}) = P (A|B_{i}).

Beweis:

1. Es gilt P̃(Ω) = P (Ω|B) = \frac{P (Ω∩B)}{P (B)} = 1 Sind A_{1}, A_{2} ⊂ Ω disjunkt, so gilt P̃(A_{1} ∪ A_{2}) = \frac{P ((A_{1}∪A_{2})∩B)}{P (B)} = \frac{P (A_{1}∩B)+P (A_{2}∩B)}{P (B)} = P̃(A_{1}) + P̃(A_{2}).

2. Aus A = (A ∩ B_{1}) ∪…. ∪. (A ∩ B_{n}) folgt:

P (A) = ∑_{i=1}^{n} P (A ∩ B_{i}) = ∑_{{i|P (B_{i})≠0}} P (B_{i}) · P (A|B_{i})

3. folgt aus 2. und P (B_{i} ∩ A) = P (B_{i}) · P (A|B_{i})

4. Das folgt aus P (A|B_{i}) · P (B_{1} ∪ … ∪ B_{n}) = P (A|B_{i}) · ∑_{j=1}^{n} P (B_{j}) =

∑_{j=1}^{n} P (A|B_{j}) · P (B_{j}) = ∑_{j=1}^{n} P (A ∩ B_{j}) =

P (A ∩ (B_{1} ∪ … ∪ B_{n})) = P (A|B_{1} ∪ … ∪ B_{n}) · P (B_{1} ∪ … ∪ B_{n})

□

Beispiel 3.7 (Test für eine seltene Krankheit) Eine Krankheit komme bei 0,5% der Bevölkerung vor. Ein Test liefere bei 99% der Kranken eine Reaktion, aber auch bei 2% der Gesunden. Mit welcher Wahrscheinlichkeit ist jemand, bei dem die Reaktion auftritt wirklich krank ?

Ω =”Patient ist gesund oder krank“ B_{1} =”Patient ist krank“ B_{2} =”Patient ist gesund“ Ω = B_{1} ∪. B_{2} A =”Test liefert Reaktion.“ P (B_{1}) = 0, 005, P (B_{2}) = 0, 995, P (A|B_{1}) = 0, 99, P (A|B_{2}) = 0, 02 P (B_{1}|A) = \frac{P (B_{1})·P (A|B_{1})}{P (B_{1})·P (A|B_{1})+P (B_{2})·P (A|B_{2})} = \frac{0,005·0,99}{0,005·0,99+0,995·0,02} = \frac{495}{2485} ≈ 0, 2 Von den Personen, bei denen eine Reaktion auftritt, sind nur 20% wirklich krank.

Definition 3.8 Sei (Ω, P) ein Wahrscheinlichkeitsraum. Zwei Ereignisse A, B ⊂ Ω heißen unabhängig, wenn gilt P (A ∩ B) = P (A) · P (B).

Beispiel 3.9 Die 21 Schüler einer Klasse machen einen Rechentest. Es ergibt sich folgende Tabelle:

bestanden nicht bestanden
Jungen  6  3
Mädchen  8  4

Sind die Ereignisse A =”Testperson ist ein Mädchen“ und B =”Test wurde bestanden“ unabhängig ? P (A) = \frac{12}{21} = \frac{4}{7}, P (B) = \frac{14}{21} = \frac{2}{3} P (A ∩ B) = \frac{8}{21} = P (A) · P (B) d.h. A und B sind unabhängig.

Satz 3.10 (Charakterisierung unabhängiger Ereignisse) Sei (Ω, P) ein Wahrscheinlichkeitsraum und seien A, B ⊂ Ω Ereignisse. Es gelte 0 < P (B) < 1. Dann sind die folgenden Bedingungen äquivalent:

1. Die Ereignisse A und B sind unabhängig.

2. Es gilt P (A|B) = P (A).

3. Es gilt P (A|B) = P (A|\overline{B}), wobei \overline{B} = Ω \ B.

Beweis: 1.⇒2. P (A|B) = \frac{P (A∩B)}{P (B)} = \frac{P (A)·P (B)}{P (B)} = P (A)

2.⇒3. P (A|\overline{B}) = \frac{P (A∩\overline{B})}{P (\overline{B})} = \frac{P (A)−P (A∩B)}{1−P (B)} = \frac{P (A)−P (B)P (A|B)}{1−P (B)} = \frac{P (A|B)−P (B)P (A|B)}{1−P (B)} = \frac{P (A|B)(1−P (B))}{1−P (B)} = P (A|B) 3.⇒1. P (A ∩ B) = P (A) − P (A ∩ \overline{B}) = P (A) − P (\overline{B})P (A|\overline{B}) = P (A)−(1−P (B))P (A|B) = P (A)−(1−P (B))\frac{P (A∩B)}{P (B)} = P (A)+P (A∩B)−\frac{P (A∩B)}{P (B)} Also folgt: P (B)P (A ∩ B) = P (A)P (B) + P (B)P (A ∩ B) − P (A ∩ B) ⇒ P (A ∩ B) = P (A)P (B) □ Bemerkung: Man beachte, dass A und B unabhängig sein können, selbst wenn das Eintreten von A davon abhängt, ob B vorliegt.

Beispiel 3.11 Ein idealer Würfel wird zweimal nacheinander geworfen. Ω = {1, …, 6}^{2} A =”Die Summe der Augenzahlen ist gerade.“ B =”Der zweite Wurf liefert eine gerade Augenzahl.“ #Ω = 36, #A = 18, #B = 18, #(A ∩ B) = 9 P (A) = P (B) = \frac{1}{2}, P (A ∩ B) = \frac{1}{4} = P (A)P (B) ⇒ A, B unabhängig

Definition 3.12 Sei (Ω, P) ein Wahrscheinlichkeitsraum, sei I eine Menge und für jedes i ∈ I sei A_{i} ⊂ Ω ein Ereignis. Die Ereignisse {A_{i}}_{i∈I} heißen unabhängig, wenn für alle endlichen Teilmengen J ⊂ I gilt: P ( ⋃_{j∈J} A_{j}) = ∏_{j∈J} P (A_{j}) (Produktformel)

Beispiel 3.13 Eine ideale Münze werde dreimal hintereinander geworfen. Ω = {Kopf,Zahl}^{3} A :=”Es wurde mindestens zweimal Kopf geworfen.“ B :=”Der erste Wurf liefert Kopf.“ C :=”Der zweite und der dritte Wurf liefern das gleiche Ergebnis.“ #Ω = 8, #A = 4, #B = 4, #(A ∩ B) = 3, #(A ∩ C) = 2, #(B ∩ C) = 2, #(A ∩ B ∩ C) = 1 P (A ∩ B ∩ C) = P (A)P (B)P (C), aber P (A ∩ B) = \frac{3}{8} ≠ \frac{1}{4} = P (A)P (B), d.h. A, B, C sind nicht unabhängig.

Satz 3.14 (Eigenschaften von Familien unabhängiger Ereignisse) Sei (Ω, P) ein Wahrscheinlichkeitsraum, I eine Menge und {A_{i}}_{i∈I} ⊂ 𝔓(Ω) eine Familie von Ereignissen. Dann gilt:

1. Genau dann ist {A_{i}}_{i∈I} unabhängig, wenn {A_{j}}_{j∈J} unabhängig ist für jede endliche Teilmenge J ⊂ I.

2. Ist {A_{i}}_{i∈I} unabhängig und B ⊂ Ω mit P (B) ∈ {0, 1}, so ist {A_{i}}_{i∈I} ∪ {B} unabhängig.

3. Ist {A_{i}}_{i∈I} unabhängig und B_{i} ∈ {A_{i}, Ω\A_{i}, ∅, Ω} für jedes i ∈ I, so ist {B_{i}}_{i∈I} unabhängig.

4. Ist I endlich, so ist {A_{i}}_{i∈I} genau dann unabhängig, wenn für jede Menge

{B_{i}}_{i∈I} mit B_{i} ∈ {A_{i}, Ω \ A_{i}} die Produktformel P (⋃_{i∈I} B_{i}) = ∏_{i∈I} P (B_{i}) gilt.

Beweis:

1. klar!

2. Ist P (B) = 0, so gilt P ( ⋂_{j∈J} A_{j} ∩ B) = 0 für J ⊂ I endlich.

Dann gilt (*): P ( ⋂_{j∈J} A_{j} ∩ B) = ( ∏_{j∈J} P (A_{j})) P (B), da auf beiden Seiten null steht. Sei P (B) = 1. Es genügt Gleichung (*) für J ⊂ I endlich zu beweisen.

Aus ⋂_{j∈J} A_{j} = ( ⋂_{j∈J} A_{j} ∩ B) ∪. ( ⋂_{j∈J} A_{j} \ B) und ⋂_{j∈J} A_{j} \ B ⊂ Ω \ B folgt

P ( ⋂_{j∈J} A_{j} ∩ B) = P ( ⋂_{j∈J} A_{j}) = ∏_{j∈J} P (A_{j}) = ( ∏_{j∈J} P (A_{j})) P (B)

3. Für endliche Teilmengen J ⊂ I müssen wir die Produktformel P ( ⋂_{j∈J} B_{j}) =

∏_{j∈J} P (B_{j}) beweisen.

o.E. sei J = {1, …, n}

Wir schließen mit vollständiger Induktion nach m = #{j | B_{j} = Ω \ A_{j}}. m = 0: klar nach 2. und der Voraussetzung m > 0: o.E. sei B_{n} = Ω \ A_{n}.

Es gilt: P ( ⋂_{j=1}^{n} B_{j}) = P ( ⋂_{j=1}^{n−1} B_{j} ∩ (Ω \ A_{n})) =

P ( ⋂_{j=1}^{n−1} B_{j}) − P ( ⋂_{j=1}^{n−1} B_{j} ∩ A_{n}) =^{I.V.} ( ∏_{j=1}^{n−1} P (B_{j})) \underbrace{(1 − P (A_{n}))}_{P (B_{n})} = ∏_{j=1}^{n} P (B_{j})

4. Ist {A_{i}}_{i∈I} unabhängig, so gilt P (⋂_{i∈I} B_{i}) = ∏_{i∈I} P (B_{i}) nach 3.

Wir zeigen P ( ⋂_{j∈J} B_{j}) = ∏_{j∈J} P (B_{j}) für J ⊂ I mit absteigender Induktion

nach #J =: m.

o.E. sei I = {1, …, n}

m = n: gilt nach Voraussetzung

m < n: o.E. sei J = {1, …, m}.

Nach Induktionsvoraussetzung gilt:

P ( ⋂_{j=1}^{m} B_{j} ∩ B_{m+1}) = ( ∏_{j=1}^{m} P (B_{j})) P (B_{m+1}), sowie

P ( ⋂_{j=1}^{m} B_{j} ∩ (Ω \ B_{m+1})) = ( ∏_{j=1}^{m} P (B_{j})) (1 − P (B_{m+1}))

Addieren der Gleichungen liefert P ( ⋂_{j=1}^{m} B_{j}) = ∏_{j=1}^{m} P (B_{j})

□

4 Klassische Wahrscheinlichkeitsverteilungen

Notation: Ist (Ω, P) ein Wahrscheinlichkeitsraum und ω ∈ Ω, so ist P (ω) := P ({ω}).

Satz 4.1

Sei n ∈ ℕ_{+} und seien (Ω_{1}, P_{1}), …, (Ω_{n}, P_{n}) Wahrscheinlichkeitsräume.

Dann ist die Abbildung P : 𝔓(Ω_{1} × … × Ω_{n}) → [0, 1], def. durch

ω := (ω_{1}, …, ω_{n}) ↦ P_{1}(ω_{1}) · . . . · P_{n}(ω_{n}) und A ↦ ∑_{(ω_{1},... ,ω_{n})∈A} P (ω), eine Wahr-

scheinlichkeitsverteilung auf Ω_{1} × … × Ω_{n}.

Beweis: Es gilt

P (Ω_{1} × … × Ω_{n}) = ∑_{(ω_{1},... ,ω_{n})∈Ω_{1}×...×Ω_{n}} P (ω) = ∑_{ω_{1}∈Ω_{1}} … ∑_{ω_{n}∈Ω_{n}} P_{1}(ω_{1}) · . . . · P_{n}(ω_{n}) =

( ∑_{ω_{1}∈Ω_{1}} P_{1}(ω_{1})) · . . . · ( ∑_{ω_{n}∈Ω_{n}} P_{n}(ω_{n})) = 1 · . . . · 1 = 1

Additivität gilt nach Definition. □

Definition 4.2 Sei n ∈ ℕ_{+},seien (Ω_{1}, P_{1}), …, (Ω_{n}, P_{n}) Wahrscheinlichkeitsräume und seien Ω := Ω_{1} × … × Ω_{1}, sowie P : 𝔓(Ω) → [0, 1], die in Satz 4.1 definierte Abbildung.

1. Der Wahrscheinlichkeitsraum (Ω, P) heißt das Produkt der Wahrscheinlichkeitsräume (Ω_{1}, P_{1}), …, (Ω_{n}, P_{n}). Man sagt auch (Ω, P) sei ein Produktraum und P heißt die Produktverteilung.

2. Ist i ∈ {1, …, n} und A_{i} ⊂ Ω_{i}, so schreiben wir {X_{i} ∈ A_{i}} := Ω_{1} × … × Ω_{i−1} × A_{i} × Ω_{i+1} × … × Ω_{n}. Im Fall A_{i} = {ω_{i}} schreiben wir auch {X_{i} = ω_{i}} := Ω_{1} × … × Ω_{i−1} × {ω_{i}} × Ω_{i+1} × … × Ω_{n}.

3. Ein Ereignis A ⊂ Ω hängt nur von den Koordinaten in I = {i_{1}, …, i_{d}} ⊂ {1, …, n} ab, wenn es ein Ereignis B ⊂ Ω_{i_{1}} ×…×Ω_{i_{d}} gibt, so dass A = {(ω_{1}, …, ω_{n}) ∈ Ω | (ω_{i_{1}}, …, ω_{i_{d}}) ∈ B}.

Satz 4.3 (Eigenschaften von Produkträumen) Sei n ∈ ℕ_{+}, seien (Ω_{1}, P_{1}), …, (Ω_{n}, P_{n}) Wahrscheinlichkeitsräume und sei (Ω, P) ihr Produkt.

1. Ist i ∈ {1, …, n} und A_{i} ⊂ Ω_{i}, so gilt P ({X_{i} ∈ A_{i}}) = P_{i}(A_{i}).

2. Sind A_{i} ⊂ Ω_{i} Ereignisse für i = 1, …, n, so gilt

P ( ⋂_{i=1}^{n}{X_{i} ∈ A_{i}}) = P (A_{1} × … × A_{n}) = ∏_{i=1}^{n} P_{i}(A_{i}) = ∏_{i=1}^{n} P ({X_{i} ∈ A_{i}}).

3. Ist {1, …, n} = I_{1} ∪…. ∪. I_{m} und ist A_{j} ⊂ Ω für jedes j ∈ {1, …, m} ein Ereignis, das nur von den Koordinaten in I_{j} abhängt, so sind die Ereignisse A_{1}, …, A_{m} unabhängig.

Beweis:

1. P ({X_{i} ∈ A_{i}}) = ∑_{ω_{1}∈Ω_{1}} … ∑_{ω_{i−1}∈Ω_{i−1}} ∑_{ω_{i}∈A_{i}} ∑_{ω_{i+1}∈Ω_{i+1}} … ∑_{ω_{n}∈Ω_{n}} P_{1}(ω_{1}) · . . . · P_{n}(ω_{n}) =

( ∑_{ω_{i}∈A_{i}} P_{i}(ω_{i})) ∏_{j≠i} ( ∑_{ω_{j}∈Ω_{J}} P_{j}(ω_{j})) = P_{i}(A_{i})

2. ⋂_{i=1}^{n}{X_{i} ∈ A_{i}} = A_{1} × … × A_{n} und P (A_{1} × … × A_{n}) = ∑_{ω_{1}∈A_{1}} … ∑_{ω_{n}∈A_{n}} P_{1}(ω_{1}) ·

. . . · P_{n}(ω_{n}) = ( ∑_{ω_{1}∈A_{1}} P_{1}(ω_{1})) · . . . · ( ∑_{ω_{n}∈A_{n}} P_{n}(ω_{n})) = P_{1}(A_{1}) · . . . · P_{n}(A_{n})

Zusammen mit 1. ergibt sich die Behauptung.

3. Sei o.E. I_{1} = {1, …, d_{1}}, I_{2} = {d_{1} + 1, …, d_{2}} usw. (kann man durch Umnummerieren der Koordinaten erreichen)

Dann ist A_{i} = ∏_{k=1}^{d_{i−1}} Ω_{k} × B_{i} × ∏_{k=d_{i}+1}^{n} Ω_{k} mit geeigneten B_{i} ∈ ∏_{k∈I_{i}} Ω_{k} und es gilt

A_{1} ∩ … ∩ A_{n} = B_{1} × … × B_{m}.

P (A_{1} ∩ … ∩ A_{n}) = P (B_{1} × … × B_{m}) =^{2.} ∏_{j=1}^{m} P_{I_{j}}(B_{j}) =^{2.} ∏_{j=1}^{m} P (A_{j}), wobei P_{I_{j}} die

Produktverteilung der Wahrscheinlichkeitsräume (Ω_{l}, P_{l}) mit l ∈ I_{j} ist.

Haben wir nur eine Teilmenge {A_{j}}_{j∈J} mit J ⊊ {1, …, m}, so setzen wir A_{j} := Ω für j ∈ {1, …, m} \ J und es gilt

P ( ⋂_{j∈J} A_{j}) = P ( ⋂_{j∈J} A_{j} ∩ ⋂_{j∈{1,... ,m}\J} A_{j}) = ∏_{j∈J} P (A_{j}) ∏_{j∈{1,... ,m}\J} P (A_{j}) =

∏_{j∈J} P (A_{j})

d.h. {A_{i}}_{i∈{1,... ,m}} ist unabhängig.

□

Beispiel 4.4 Gegeben sie eine Zahl p ∈ [0, 1] und ein n ∈ ℕ_{+}. Für i = 1, …, n sei (Ω_{i}, P_{i}) der Wahrscheinlichkeitsraum Ω_{i} = {0, 1} mit P_{i}(1) = p und P_{i}(0) = 1 − p. Dann heißt der Produktraum (Ω, P) auch der n-te Bernoulli-Raum (oder der Bernoulli-Raum vom Umfang n) und P heißt die Bernoulli-Verteilung. Ist ω = (ω_{1}, …, ω_{n}) ∈ Ω und k = #{i | w_{i} = 1}, so gilt P (ω) = p^{k}(1 − p)^{n−k}

Beispiel 4.5 (Die Binomialverteilung) Sei n ∈ ℕ_{+} und Ω̃ = {0, 1}^{n} der Bernoulli-Raum mit Bernoulli-Verteilung P̃. Für k = 0, …, n sei A_{k} := {(ω_{1}, …, ω_{n}) ∈ Ω̃ | ω_{i} = 1 für genau k i ∈ {1, …, n}}. Dann gilt: P̃(A_{k}) = \binom{n}{k}p^{k}(1 − p)^{n−k}. Offenbar ist Ω̃ = A_{0} ∪…. ∪. A_{n}. Betrachte nun Ω = {0, …, n} und P : 𝔓(Ω) → [0, 1], def. durch \{k\} ↦ \binom{n}{k}p^{k}(1 − p)^{n−k}. Dann definiert P =: b_{n,p} eine Wahrscheinlichkeitsverteilung auf Ω. Sie heißt die Binomialverteilung mit Parametern n und p.

Beispiel 4.6 Ein bestimmtes Medikament heilt eine gewisse Krankheit in 80% der Fälle. Es werde 10 Patienten verabreicht, die an dieser Krankheit leiden. Mit welcher Wahrscheinlichkeit werden mindestens 8 Patienten geheilt ?

Für i = 1, …, 10 sei Ω_{i} = {0, 1} und {1} =”Patient i werde geheilt.“ und P_{i}(1) = 0, 8. Sei (Ω̃, P̃) der Produktraum und (Ω, P) der zugehörige binomialverteilte Wahrscheinlichkeitsraum. Auf (Ω = {1, …, 10}, P = b_{10,0.8}) gilt {k} =”es werden genau k Patienten geheilt“ und die gesuchte Wahrscheinlichkeit ist P (8) + P (9) + P (10) = \binom{10}{8}(0, 8)^{8}(0, 2)^{2} + \binom{10}{9}(0, 8)^{9}(0, 2) + \binom{10}{10}(0, 8)^{10} ≈ 0, 678

Beispiel 4.7 (Die Multinomialverteilung) Seien r, n ∈ ℕ_{+} und für i = 1, …, n gelte Ω_{i} = {1, …, r}, sowie P_{i} : 𝔓(Ω_{i}) → [0, 1], def. durch {j} ↦ p_{j} mit p_{1}, …, p_{r} ≥ 0 und p_{1} + … + p_{r} = 1. Sei (Ω̃, P̃) der Produktraum. Für (ω_{1}, …, ω_{n}) ∈ Ω̃ gilt P̃((ω_{1}, …, ω_{n})) = p_{1}^{k_{1}} · . . . · p_{r}^{k_{r}} mit k_{i} := #{j | w_{i} = j} für i = 1, …, r. Für k_{1}, …, k_{r} ∈ ℕ mit k_{1} + … + k_{r} = n betrachten wir A_{(k_{1},... ,k_{r})} = {(ω_{1}, …, ω_{n}) ∈ Ω̃ | für i = 1, …, r gilt #{j | ω_{j} = i} = k_{i}}. Nach der Definition der Multinomialkoeffizienten gilt P̃ (A_{(k_{1},... ,k_{r})}) = \binom{n}{k_{1},... ,k_{r}} · p_{1}^{k_{1}} · . . . · p_{r}^{k_{r}}

Außerdem ist wiederum Ω̃ = ⋃ ._{\begin{matrix}(k_{1},... ,k_{r})∈ℕ^{r} \\ k_{1}+...+k_{r}=n \end{matrix}} A_{(k_{1},... ,k_{r})}

Auf der Menge Ω = {(k_{1}, …, k_{r}) ∈ ℕ^{r} | k_{1} + … + k_{r} = n} erhalten wir durch P : 𝔓(Ω) → [0, 1], def. durch \{(k_{1}, …, k_{r})\} ↦ \binom{n}{k_{1},... ,k_{r}} · p_{1}^{k_{1}} · . . . · p_{r}^{k_{r}}, damit eine Wahrscheinlichkeitsverteilung. Sie heißt Multinomialverteilung (oder Polynomialverteilung) mit Parametern n und p_{1}, …, p_{r}.

Beispiel 4.8 Mit welcher Wahrscheinlichkeit erhält man beim gleichzeitigen Werfen von 12 Würfeln jede Augenzahl genau 2 mal ? Für i = 1, …, 12 sei Ω_{i} = {1, …, 6} und P_{i} =Gleichverteilung. Ferner sei (Ω̃, P̃) der Produktraum und Ω = {(k_{1}, …, k_{6}) ∈ ℕ^{6} | k_{1} + … + k_{6} = 12} der Wahrscheinlichkeitsraum mit Multinomialverteilung P. Dann gilt: P ((2, 2, 2, 2, 2, 2)) = \binom{12}{2,2,2,2,2,2} · (\frac{1}{6})^{2} · . . . · (\frac{1}{6})^{2} = \frac{12!}{2^{6}6^{12}} ≈ 0, 00344

Beispiel 4.9 Eine Fussballmannschaft bestehe aus 4 Stürmern, 2 Mittelfeldspielern, 4 Verteidigern und 1 Torwart.

Man wählt aus 6 Mannschaften zufällig je einen Spieler aus. A :=”2 Stürmer. 1 Mittelfeldspieler, 2 Verteidiger, 1 Torwart“ B :=”3 Stürmer, 3 Verteidiger“ Bestimme P (A) und P (B). n = 6, r = 4 Für i = 1, …, 6 sei Ω_{i} = {S, M, V, T } und P_{i} : 𝔓(Ω_{i}) → [0, 1] sei def. durch \{S\} ↦ \frac{4}{11}, \{M\} ↦ \frac{2}{11}, \{V \} ↦ \frac{4}{11}, \{T \} ↦ \frac{1}{11}. Ferner sei (Ω̃, P̃) der Produktraum und (Ω, P) der zugehörige multinomialverteilte Wahrscheinlichkeitsraum. Dann gilt A = {(2, 1, 2, 1)} ⊂ Ω und B = {(3, 0, 3, 0)} ⊂ Ω und P (A) = \binom{6}{2,1,2,1} (\frac{4}{11})^{2} (\frac{2}{11}) (\frac{4}{11})^{2} (\frac{1}{11}) ≈ 0, 0520, sowie P (B) = \binom{6}{3,0,3,0} (\frac{4}{11})^{3} (\frac{4}{11})^{3} ≈ 0, 0462

Beispiel 4.10 (Die geometrische Verteilung) Sei n ∈ ℕ_{+} und Ω̃ = {0, 1}^{n} der n-te Bernoulli-Raum mit Bernoulli-Verteilung P̃ zum Parameter p. Für k = 1, …, n sei A_{k} = {(ω_{1}, …, ω_{n}) ∈ Ω̃ | ω_{i} = 0 für i = 1, …, k − 1 und ω_{k} = 1}, sowie A_{n+1} = {(0, …, 0)}. Dann gilt P (A_{k}) = (1 − p)^{k−1}p für k ≤ n, sowie Ω̃ = ⋃ ._{k=1}^{n+1} A_{k} P (A_{n+1}) = (1 − p)^{n} Somit hat man auf Ω = {1, …, n + 1} eine Wahrscheinlichkeitsverteilung P :

𝔓(Ω) → [0, 1], def. durch \{k\} ↦ \{ \begin{matrix}(1 − p)^{k−1}p & falls & k ≤ n \\ (1 − p)^{n} & falls & k = n + 1 \end{matrix} .

Sie heißt die n-te geometrische Verteilung.

Beispiel 4.11 Ein Ü-Eiersammler hat bereits 9 der 10 aktuellen ”TopTenTeddies“. Wieviele Eier muss er durchschnittlich kaufen, wenn er bei 120 Inhalten die fehlende Figur mit 90% Wahrscheinlichkeit finden will ? Sei n die Zahl der Eier, die er kaufen muss. Für i = 1, …, n gelte Ω_{i} = \{0, 1\} mit P_{i}(1) = \frac{1}{120}. Sei (Ω, P) der Wahrscheinlichkeitsraum mit der geometrischen Wahrscheinlichkeitsverteilung, der zu Ω̃ := Ω_{1} × … × Ω_{n} gehört. Dann gilt P (k) = (\frac{119}{120})^{k−1} · \frac{1}{120} =die Wahrscheinlichkeit dafür, dass der Sammler genau beim k-ten Ei fertig ist.

Es folgt: P (1) + P (2) + … + P (n) ≥^{!} 0, 9 ⇔

1 + \frac{119}{120} + (\frac{119}{120})^{2} + … + (\frac{119}{120})^{n−1} ≥ 108 ⇔ 1 − (\frac{119}{120})^{n} ≥ \frac{108}{120} ⇔ (\frac{119}{120})^{n} ≤ 0, 1 ⇔ n ≥ \frac{ln 0,1}{ln \frac{119}{120}} ≈ 275, 16 Antwort: Er muss mindestens 276 Eier kaufen, um mit 90% Wahrscheinlichkeit fertig zu sein.

Satz 4.12 Sei n ≥ 2, seien (Ω_{1}, P_{1}), …, (Ω_{n}, P_{n}) Wahrscheinlichkeitsräume und sei Ω = Ω_{1} × … × Ω_{n}. Für i = 2, …, n sei P_{i}(ω_{i} | ω_{1}, …, ω_{i−1}) die Wahrscheinlichkeit dafür, dass im iten Versuch ω_{i} eintritt, wenn ω_{1}, … ω_{i−1} die Ergebnisse der Versuche 1, …, i−1 sind.

1. Die Abbildung P : 𝔓(Ω) → [0, 1], def. durch {(ω_{1}, …, ω_{n})} ↦ P_{1}(ω_{1}) · P_{2}(ω_{2}|ω_{1}) · . . . · P_{n}(ω_{n}|ω_{1}, …, ω_{n−1}), definiert eine Wahrscheinlichkeitsverteilung auf Ω.

2. Für (η_{1}, …, η_{n}) ∈ Ω gilt P ({X_{1} = η_{1}}) = P_{1}(η_{1}), sowie P ({X_{i} = η_{i}} | {X_{1} = η_{1}} ∩ … ∩ {X_{i−1} = η_{i−1}}) = P_{i}(η_{i} | η_{1}, …, η_{i−1}) für i = 2, …, n.

Beweis:

1. ∑_{(ω_{1},... ,ω_{n})∈Ω} P ((ω_{1}, …, ω_{n})) = ∑_{(ω_{1},... ,ω_{n})∈Ω} P_{1}(ω_{1}) · . . . · P_{n}(ω_{n} | ω_{1}, …, ω_{n−1}) =

( ∑_{ω_{1}∈Ω_{1}} … ∑_{ω_{n−1}∈Ω_{n−1}} P_{1}(ω_{1}) · . . . · P_{n−1}(ω_{n−1} | ω_{1}, …, ω_{n−2})) ·

\underbrace{( ∑_{ω_{n}∈Ω_{n}} P_{n}(ω_{n} | ω_{1}, …, ω_{n−1}))}_{=1} = … = ∑_{ω_{1}∈Ω_{1}} P_{1}(ω_{1}) = 1

Additivität gilt nach Definition.

2. Für i = 1, …, n gilt:

P ({X_{1} = η_{1}} ∩ … ∩ {X_{i} = η_{i}}) =

∑_{(ω_{i+1},... ,ω_{n})∈Ω_{i+1}×...×Ω_{n}} P ((η_{1}, …, η_{i}, ω_{i+1}, …, ω_{n})) =

∑_{ω_{i+1}∈Ω_{i+1}} … ∑_{ω_{n}∈Ω_{n}} P_{1}(η_{1})P_{2}(η_{2}|η_{1})·. . .·P_{i}(η_{i} | η_{1}·. . .·η_{i−1})·P_{i+1}(ω_{i+1} | η_{1}, …, η_{i})·

. . . · P_{n}(ω_{n} | η_{1}, …, η_{i}, ω_{i+1}, …, ω_{n−1}) =

( ∑_{ω_{i+1}∈Ω_{i+1}} … ∑_{ω_{n−1}∈Ω_{n−1}} P_{1}(η_{1}) · . . . · P_{n−1}(ω_{n−1} | η_{1}, …, η_{i}, ω_{i+1}, …, ω_{n−2})) ·

( ∑_{ω_{n}∈Ω_{n}} P_{n}(ω_{n} | η_{1}, …, η_{i}, ω_{i+1}, …, ω_{n−1})) = … =

P_{1}(η_{1}) · . . . · P_{i}(η_{i} | η_{1}, …, η_{i−1})

Im Fall i = 1 liefert dies bereits die Behauptung.

Im Fall i > 1 gilt

P (\{X_{i} = η_{i}\} | \{X_{1} = η_{1}\} ∩ … ∩ \{X_{i−1} = η_{i−1}\}) = \frac{P (\{X_{1}=η_{1}\}∩...∩\{X_{i}=η_{i}\})}{P (\{X_{1}=η_{1}\}∩...∩\{X_{i−1}=η_{i−1}\})} = P_{i}(η_{i} | η_{1}, …, η_{i−1})

□

Definition 4.13 Sei n ≥ 2, seien (Ω_{1}, P_{1}), …, (Ω_{n}, P_{n}) Wahrscheinlichkeitsräume, sei Ω = Ω_{1} × … × Ω_{n}, und sei P die in 4.12 1. definierte Wahrscheinlichkeitsverteilung. Dann heißt (Ω, P) ein Stufenraum und P heißt eine bedingte Wahrscheinlichkeitsverteilung.

Beispiel 4.14 (Urnenmodell von Polya) Eine Urne enthält w weiße und s schwarze Kugeln. Sei c ∈ ℕ_{+}. Nachdem eine Kugel gezogen wurde, wird sie und c weitere Kugeln ihrer Farbe zurückgelegt. Sukzessive wird so 4-mal gezogen. Bestimme P (w, s, w, w). Verwende Ω = Ω_{1} × … × Ω_{n} mit Ω_{i} = {w, s}. Es gilt P_{i}(w | ω_{1}, …, ω_{i−1}) = \frac{w+αc}{w+s+(i−1)c} mit α = #\{j ∈ \{1, …, i − 1\} | ω_{j} = w\}, sowie P_{i}(s | ω_{1}, …, ω_{i−1}) = \frac{s+(i−1−α)c}{w+s+(i−1)c}. Es ergibt sich: P ((w, s, w, w)) = P_{1}(w)·P_{2}(s|w)·P_{3}(w|w, s)·P_{4}(w|w, s, w) = \frac{w}{w+s} · \frac{s}{w+s+c} · \frac{w+c}{w+s+2c} ·

\frac{w+2c}{w+s+3c}

5 Diskrete Wahrscheinlichkeitsräume

Definition 5.1 Ein Paar (Ω, P) heißt ein diskreter Wahrscheinlichkeitsraum, wenn Ω eine nichtleere höchstens abzählbar unendliche Menge ist und wenn P : 𝔓(Ω) → [0, 1] eine Abbildung mit den folgenden Eigenschaften ist:

1. P (Ω) = 1 (Normiertheit)

2. Ist {A_{i}}_{i∈I} ⊂ 𝔓(Ω) eine Familie paarweiser disjunkter Teilmengen von Ω, so ist ∑_{i=0}^{∞} P (A_{i}) konvergent und es gilt:

P ( ⋃ ._{i∈ℕ} A_{i}) = ∑_{i=0}^{∞} P (A_{i}) (Additivität)

Beispiel 5.2 Ein Bernoulli-Experiment werde unendlich oft wiederholt (mit Parameter p ∈]0, 1]). Wir beobachten, bei welcher Wiederholung zum ersten Mal das Ergebnis 1 auftritt. ⇒ Ω = {1, 2, 3, … } = ℕ_{+} Nach Beispiel 4.10 gilt P (k) = (1 − p)^{k−1}p. Die Abbildung P : 𝔓(Ω) → [0, 1], def. durch {k} ↦ (1 − p)^{k−1}p, definiert eine Wahrscheinlichkeitsverteilung auf Ω, denn

∑_{k≥1}(1 − p)^{k−1}p = p(1 + (1 − p) + (1 − p)^{2} + …) = p\frac{1}{1−(1−p)} = 1

Beispiel 5.3 (Die Pascal-Verteilung) Sei n, r ∈ ℕ_{+} und sei p ∈]0, 1]. Ferner sei (Ω̃, P̃) das Produkt Ω̃ = {0, 1}^{n} mit Bernoulli-Verteilung P̃. Für k = 0, …, n − r betrachte A_{k} = {(ω_{1}, …, ω_{n}) ∈ Ω̃ | genau k Nullen gehen der r-ten Eins voraus } = {(ω_{1}, …, ω_{n}) ∈ Ω̃ | ω_{r+k} = 1 und #{i < r + k | ω_{i} = 0} = k} Es gilt P̃(A_{k}) = \underbrace{\binom{k + r − 1}{k}}_{Mögl. für k Nullen unter den ersten k+r−1 Komponenten} p^{r}(1 − p)^{k}

Offenbar gilt Ω̃ = A_{0} ∪…. ∪. A_{n−1} ∪. B mit B = {(ω_{1}, …, ω_{n}) ∈ Ω̃ | #{i | ω_{i} = 1} < r}. Die Wahrscheinlichkeit P̃(A_{k}) hängt nur von k und r ab, nicht von n, solange n ≥ k + r gilt. Das Bernoulli-Experiment mit Parameter p werde nun unendlich oft wiederholt. Wir beobachten, wie viele Nullen voraus gehen bis zum r-ten Mal das Ergebnis 1 auftritt. ⇒ Ω = {0, 1, 2, 3, … } = ℕ und durch die Abbildung P : 𝔓 : 𝔓Ω → [0, 1], def. durch \{k\} ↦ \binom{k+r−1}{k}p^{r}(1 − p)^{k}, wird eine Wahrscheinlichkeitsverteilung auf Ω definiert (siehe unten).

Sie heißt die Pascal-Verteilung (oder die negative Binomialverteilung) auf Ω. Setzt man \binom{−r}{k} := \frac{(−r)(−r−1)·...·(r−k+1)}{k!}, so gilt P (k) := \binom{−r}{k}(−1)^{k}p^{r}(1 − p)^{k}.

Beweis: Additivität gilt nach Definition. Noch zu zeigen: ∑_{k=0}^{∞} \binom{k+r−1}{k}p^{r}(1 − p)^{k} = 1 Beweis durch Induktion nach r: Induktionsbeginn r = 1:

∑_{k=0}^{∞} \binom{k+r−1}{k}p^{r}(1 − p)^{k} = ∑_{k=0}^{∞} p(1 − p)^{k} = p ∑_{k=0}^{∞}(1 − p)^{k} = p\frac{1}{1−(1−p)} = 1

Induktionsschluss (r − 1) → r für r ≥ 2:

∑_{k=0}^{∞} \binom{k+r−1}{k}p^{r}(1 − p)^{k} = p^{r} + ∑_{k=1}^{∞} \binom{k+r−1}{k}p^{r}(1 − p)^{k} =^{Pascalsches Dreieck}

p^{r} + ∑_{k=1}^{∞} \binom{k+r−2}{k}p^{r}(1 − p)^{k} + ∑_{k=1}^{∞} \binom{k+r−2}{k−1}p^{r}(1 − p)^{k} =

∑_{k=0}^{∞} \binom{k+(r−1)−1}{k}p^{r}(1 − p)^{k} + ∑_{k=0}^{∞} \binom{k+r−1}{k}p^{r}(1 − p)^{k+1} =

p ∑_{k=0}^{∞} \binom{k+(r−1)−1}{k}p^{r−1}(1 − p)^{k} + (1 − p) ∑_{k=0}^{∞} \binom{k+r−1}{k}p^{r}(1 − p)^{k} =^{I.V.}

p + (1 − p) ∑_{k=0}^{∞} \binom{k+r−1}{k}p^{r}(1 − p)^{k}

⇒ p ∑_{k=0}^{∞} \binom{k+r−1}{k}p^{r}(1 − p)^{k} = p

⇒ ∑_{k=0}^{∞} \binom{k+r−1}{k}p^{r}(1 − p)^{k} = 1 □

Beispiel 5.4 (Die Poisson-Verteilung) Sei λ ∈ ℝ_{+}. Auf der Potenzmenge von Ω = ℕ betrachten wir die von der Abbildung P : 𝔓(Ω) → [0, 1] definierte Wahrscheinlichkeitsverteilung \{k\} ↦ \frac{λ^{k}}{k!} e^{−λ}.

Es gilt ∑_{k=0}^{∞} \frac{λ^{k}}{k!} e^{−λ} = e^{λ}e^{−λ} = 1.

Sie heißt die Poisson-Verteilung auf ℕ.

Satz 5.5 (Die Poisson-Verteilung als Grenzwert der Binomialverteilung) Sei λ ∈ ℝ_{+} und für jedes n ∈ ℕ sei Ω_{n} = {0, …, n} der Wahrscheinlichkeitsraum mit der Binomialverteilung P_{n} := b_{n,p} zum Parameter p = \frac{λ}{n}. Dann gilt: lim_{\begin{matrix}n→∞ \\ n≥k \end{matrix}} P_{n}(k) = \frac{λ^{k}}{k!} e^{−λ}, d.h. die Poisson-Verteilung ist der Grenzwert der Binomialverteilungen b_{n,p:= \frac{λ}{n}} für n → ∞. Für n ≫ 0 gilt die Näherungsformel b_{n,p}(k) ≈ \frac{(np)^{k}}{k!} e^{−np}.

Beweis: Es gilt \frac{d}{dx}(ln(1 − x))(0) = −1 Also folgt ln(1 − k) = −k + R(k), wobei R Restglied 1. Ordnung im Aufpunkt 0. Mit k = \frac{λ}{n} folgt für n → ∞: (1 − \frac{λ}{n})^{n} = exp (n ln (1 − \frac{λ}{n})) = exp (n (−\frac{λ}{n} + R (\frac{λ}{n}))) =

exp(−λ) · exp (λ \underbrace{\frac{R (\frac{λ}{n})}{|\frac{λ}{n} |}}_{→0 für n→∞ R Restglied in 0} ) → e^{−λ} für n → ∞

⇒ P_{n}(k) = \binom{n}{k}p^{k}(1 − p)^{n−k} =^{p= \frac{λ}{n}} \frac{n(n−1)·...·(n−k+1)}{k!} \frac{λ^{k}}{n^{k}} (1 − \frac{λ}{n})^{n−k} =

\frac{n(n−1)·...·(n−k+1)}{n^{k}} \frac{λ^{k}}{k!} (1 − \frac{λ}{n})^{n} (1 − \frac{λ}{n})^{−k} = = 1 · (1 − \frac{1}{n}) · . . . · (1 − \frac{k−1}{n}) (1 − \frac{λ}{n})^{−k} \frac{λ^{k}}{k!} (1 − \frac{λ}{n})^{n} → 1 · . . . · 1 · \frac{λ^{k}}{k!} e^{−λ} für n → ∞ □

Beispiel 5.6 Sei λ = 1. Dann gilt:

\begin{matrix}k & b_{10, \frac{1}{10}} (k) & b_{100, \frac{1}{100}} (k) & Poisson \\ 0 & 0,349 & 0,366 & 0,367 \\ 1 & 0,387 & 0,369 & 0,367 \\ 2 & 0,194 & 0,184 & 0,184 \\ 3 & 0,057 & 0,061 & 0,061 \end{matrix}

Beispiel 5.7 Ein Geiger-Müller-Zählrohr entdeckt ein von einer Strahlungsquelle ausgesandtes radioaktives Teilchen mit einer Wahrscheinlichkeit 10^{−4}. Mit welcher Wahrscheinlichkeit entdeckt es von 30 000 emittierten Teilchen:

1. keines

2. mindestens 3 Ω̃ = {0, 1}^{30000} und P̃=Bernoulli-Verteilung zum Parameter P = 10^{−4}

Gesucht: A = {(0, …, 0)} und B = {(ω_{1}, …, ω_{30000}) ∈ Ω̃ | ∑_{i} ω_{i} ≥ 3}

P̃(A) = b_{30000,10^{−4}}(0) ≈ \frac{3^{0}}{0!} e^{−3} = e^{−3} ≈ 0, 0498 P̃(B) = 1−b_{30000,10^{−4}}(0)−b_{30000,10^{−4}}(1)−b_{30000,10^{−4}}(2) ≈ 1−e^{−3} − \frac{3^{1}}{1!} e^{−3} − \frac{3^{2}}{2!} e^{−3} = 1 − \frac{17}{2}e^{−3} ≈ 0, 5768

Satz 5.8 (Bernoullisches Gesetz der großen Zahlen) Sei p ∈ [0, 1]. Für jedes n ≥ 0 sei Ω_{n} = {0, 1}^{n} der n-te Bernoulli-Raum zum Parameter p. Für ein fest vorgegebenes ε ∈ ℝ_{+} betrachten wir das Ereignis

A_{n} = \{(ω_{1}, …, ω_{n}) ∈ Ω_{n} | | \underbrace{\frac{ω_{1} + … + ω_{n}}{n}}_{relative Häufigkeit von ω_{i}=1} −p| > ε\}.

Dann gilt: P (A_{n}) < \frac{1}{np(1−p)ε^{2}} ≤ \frac{1}{4nε^{2}}

Insbesondere folgt:

lim_{n→∞} P (\{(ω_{1}, …, ω_{n}) ∈ Ω_{n} | |\frac{ω_{1}+...+ω_{n}}{n} − p| ≤ ε\}) = 1

Beweis: Für alle k ∈ {1, …, n} sei B_{n,k} = {(ω_{1}, …, ω_{n}) ∈ Ω_{n} | ω_{1} + … + ω_{n} = k} Nach Beispiel 4.5 gilt P (B_{n,k}) = \binom{n}{k}p^{k}(1 − p)^{n−k} Weiter gilt P (A_{n}) = P ({(ω_{1}, …, ω_{n}) ∈ Ω_{n} | ω_{1} + … + ω_{n} > n(p + ε)})+ P ({(ω_{1}, …, ω_{n}) ∈ Ω_{n} | ω_{1} + … + ω_{n} < n(p − ε)}) =

∑_{k<n(p−ε)} P (B_{n,k}) + ∑_{k>n(p+ε)} P (B_{n,k})

Ist k < n(p − ε), so gilt np − k > nε, folglich (np − k)^{2} > n^{2}ε^{2} und falls k > n(p + ε) gilt (k − np)^{2} > n^{2}ε^{2}. Also folgt \frac{(np−k)^{2}}{n^{2}ε^{2}} > 1 und

P (A_{n}) < ∑_{k<n(p−ε)} \frac{(np−k)^{2}}{n^{2}ε^{2}} P (B_{n,k}) + ∑_{k>n(p+ε)} \frac{(np−k)^{2}}{n^{2}ε^{2}} P (B_{n,k}) ≤

\frac{1}{n^{2}ε^{2}} ∑_{k≥0}(k − np)^{2}\binom{n}{k}p^{k}(1 − p)^{n−k} =

\frac{1}{n^{2}ε^{2}} \underbrace{∑_{k≥0} k^{2}\binom{n}{k}p^{k}(1 − p)^{n−k}}_{=:S_{1}} −\frac{2p}{nε^{2}} \underbrace{∑_{k≥0} k\binom{n}{k}p^{k}(1 − p)^{n−k}}_{=:S_{2}} +

\frac{p^{2}}{ε^{2}} \underbrace{∑_{k≥0} \binom{n}{k}p^{k}(1 − p)^{n−k}}_{=:S_{3}=1 nach Bsp. 4.5}

Für k ≥ 1 gilt k\binom{n}{k} = \frac{n·...·(n−k+1)}{1·...·(k−1)} = n\binom{n−1}{k−1} und folglich

S_{2} = ∑_{k=1}^{n} n\binom{n−1}{k−1}p^{k}(1 − p)^{n−k} = ∑_{k=0}^{n−1} n\binom{n−1}{k}p^{k+1}(1 − p)^{n−1−k} =

np ∑_{k=0}^{n−1} \binom{n−1}{k}p^{k}(1 − p)^{n−1−k} = np(p + (1 − p))^{n−1} = np · 1^{n−1} = np

Für k ≥ 2 gilt k^{2}\binom{n}{k} = (k + k(k − 1))\binom{n}{k} = k\binom{n}{k} + n(n − 1)\binom{n−2}{k−2} und folglich

S_{1} = np(1 − p)^{n−1} + ∑_{k=2}^{n} k\binom{n}{k}p^{k}(1 − p)^{n−k} + n(n − 1) ∑_{k=2}^{n} \binom{n−2}{k−2}p^{k}(1 − p)^{n−k} =

\underbrace{∑_{k=1}^{n} k\binom{n}{k}p^{k}(1 − p)^{n−k}}_{=S_{2}=np} +n(n − 1) \underbrace{∑_{k=0}^{n−2} \binom{n − 2}{k}p^{2}p^{k}(1 − p)^{n−2−k}}_{=p^{2}(p+(1−p))^{n−2}=p^{2}} =

np + n(n − 1)p^{2} ⇒ P (A_{n}) < \frac{1}{n^{2}ε^{2}} (np + n(n − 1)p^{2}) − \frac{2p}{nε^{2}} np + \frac{p^{2}}{ε^{2}} = \frac{1}{ε^{2}} (\frac{p}{n} + p^{2} − \frac{p^{2}}{n} − 2p^{2} + p^{2}) = \frac{1}{nε^{2}} p(1 − p) ≤ \frac{1}{4nε^{2}} □

6 Diskrete Zufallsvariable

Im folgenden sei (Ω, P) ein diskreter Wahrscheinlichkeitsraum.

Definition 6.1

1. Sei M eine Menge. Eine Abbildung X : Ω → M heißt M-wertige diskrete Zufallsvariable auf Ω.

2. Die Menge W = X(Ω) ist abzählbar und heißt die Wertemenge von X.

3. Die Abbildung P_{X} := P ∘ X^{−1} : 𝔓(W) → [0, 1], def. durch {x} ↦ P ({ω ∈ Ω | X(ω) = x}) = P ∘ X^{−1}({ω}) und A ↦ ∑_{x∈A} P_{X}({x}), definiert eine Wahrscheinlichkeitsverteilung auf W. Sie heißt die Verteilung von X.

Bemerkung 6.2

1. Setzt man P_{X}({x}) = 0 für x ∈ M \ W, so kann man P_{X} auch als Wahrscheinlichkeitsverteilung auf der (evtl. überabzählbar unendlichen) Menge M betrachten.

2. Für alle Teilmengen A ⊂ M gilt P_{X}(A) = P ∘ X^{−1}(A).

3. Man kann die Verteilung P_{X} durch ein Stabdiagramm veranschaulichen.

Beispiel 6.3 Sei Ω = {1, …, 6}^{2} und P =Gleichverteilung der Wahrscheinlichkeitsraum, der das gleichzeitige Werfen zweier unterscheidbarer Würfel beschreibt. Sei X : Ω → ℤ die Augensumme (ω_{1}, ω_{2}) ↦ ω_{1} + ω_{2}. Sie ist eine ℤ-wertige Zufallsvariable mit Verteilung

[figure: 1; 2; 3; 4; 5; 6; 7; 8; 9; 10; 11; 12; 0,1; 0,2]

Notation:

1. P (X = x) := P ({ω ∈ Ω | X(ω) = x}) für x ∈ W

2. A ⊂ W Teilmenge ⇒ P (X ∈ A) := P ({ω ∈ Ω | X(ω) ∈ A})

3. X_{i} : Ω → M_{i} Zufallsvariable und A_{i} ⊂ M_{i} (i = 1, 2)

⇒ P (X_{1} ∈ A_{1}, X_{2} ∈ A_{2}) = P ({ω ∈ Ω | X_{1}(ω) ∈ A_{1}, X_{2}(ω) ∈ A_{2}})

Definition 6.4 Sei n ∈ ℕ_{+} und seien X_{i} : Ω → M_{i} für i = 1, …, n Zufallsvariable. Dann ist die durch X = X_{1} × … × X_{n} : Ω → M_{1} × … × M_{n}, def. durch ω ↦ (X_{1}(ω), …, X_{n}(ω)), eine M_{1} × … × M_{n}-wertige Zufallsvariable auf Ω gegeben. Ihre Verteilung P_{X} heißt die gemeinsame Verteilung von X_{1}, …, X_{n}.

Beispiel 6.5 Sei Ω = {0, 1}^{n} der n-te Bernoulli-Raum zum Parameter p ∈ [0, 1]. Wir definieren zwei Zufallsvariable X_{1} : Ω → ℤ (ω_{1}, …, ω_{n}) ↦ ω_{1} + … + ω_{n} und

X_{2} : Ω → ℤ (ω_{1}, …, ω_{n}) ↦ \{ \begin{matrix}min\{i | ω_{i} = 1\} & falls & ω_{1} + … + ω_{n} > 0 \\ n + 1 & falls & ω_{1} = … = ω_{n} = 0 \end{matrix}

Sei X = X_{1} × X_{2} und P_{X} die gemeinsame Verteilung von X_{1} und X_{2}. Offenbar wird P_{X} vollständig beschrieben durch die Angabe von P_{X}(X_{1} = a, X_{2} = b) für 0 ≤ a ≤ n und 1 ≤ b ≤ n + 1.

1. Es gilt P_{X}(X_{1} = 0, X_{2} = n + 1) = (1 − p)^{n} und P_{X}(X_{1} = 0, X_{2} = b) = 0 für 1 ≤ b ≤ n.

2. Ist X_{1}(ω) = a ≥ 1 für ein Tupel ω = (ω_{1}, …, ω_{n}) ∈ Ω und X_{2}(ω) = b, so müssen genau a − 1 Einsen unter den Elementen ω_{b+1}, …, ω_{n} sein. ⇒ P_{X}(X_{1} = a, X_{2} = b) = \binom{n−b}{a−1}p^{a}(1 − p)^{n−a} für a ≥ 1.

Die Verteilung P_{X} läßt sich als Matrix darstellen, z.B. für n = 3, p = \frac{1}{2}.

\begin{matrix}X_{2} \ X_{1} & 0 & 1 & 2 & 3 \\ 1 & 0 & \frac{1}{8} & \frac{1}{4} & \frac{1}{8} \\ 2 & 0 & \frac{1}{8} & \frac{1}{8} & 0 \\ 3 & 0 & \frac{1}{8} & 0 & 0 \\ 4 & \frac{1}{8} & 0 & 0 & 0 \end{matrix}

Definition 6.6 Sei I eine Menge. Eine Familie von Zufallsvariablen {X_{i}}_{i∈I} mit X_{i} : Ω → M_{i} für i ∈ I heißt unabhängig, wenn für jede Wahl von Teilmengen A_{i} ⊂ M_{i} für i ∈ I gilt, dass die Ereignisse {X_{i} ∈ A_{i}}_{i∈I} unabhängig sind.

Satz 6.7 (Charakterisierung unabhängiger Zufallsvariablen)

Sei n ∈ ℕ_{+} und seien X_{i} : Ω → M_{i} für i = 1, …, n Zufallsvariable. Dann sind

die folgenden Bedingungen äquivalent:

1. Die Zufallsvariablen X_{1}, …, X_{n} sind unabhängig.

2. Für alle Tupel (x_{1}, …, x_{n}) ∈ M_{1} × … × M_{n} gilt P (X_{1} = x_{1}, …, X_{n} = x_{n}) =

∏_{i=1}^{n} P (X_{i} = x_{i})

3. Sind Teilmengen A_{i} ⊂ M_{i} gegeben (für i = 1, …, n), so gilt

P (X_{1} ∈ A_{1}, …, X_{n} ∈ A_{n}) = ∏_{i=1}^{n} P (X_{i} ∈ A_{i})

4. Die Verteilung von X := X_{1} × … × X_{n} ist das Produkt der Verteilungen

P_{X_{1}}, …, P_{X_{n}}, d.h. P_{X} = P_{X_{1}} × … × P_{X_{n}}.

Beweis: 1.⇒2. P (X_{1} = x_{1}, …, X_{n} = x_{n}) = P ({X_{1} ∈ {x_{1}}} ∩ … ∩ {X_{n} ∈ {x_{n}}}) =

∏_{i=1}^{n} P (X_{i} ∈ {x_{i}}) = ∏_{i=1}^{n} P (X_{i} = x_{i})

2.⇒3. P (X_{1} ∈ A_{1}, …, X_{n} ∈ A_{n}) =

∑_{x_{1}∈A_{1}} … ∑_{x_{n}∈A_{n}} P (X_{1} = x_{1}, …, X_{n} = x_{n}) =

∑_{x_{1}∈A_{1}} … ∑_{x_{n}∈A_{n}} P (X_{1} = x_{1}) · . . . · P (X_{n} = x_{n}) =

( ∑_{x_{1}∈A_{1}} P (X_{1} = x_{1})) · . . . · ( ∑_{x_{n}∈A_{n}} P (X_{n} = x_{n})) =

P (X_{1} ∈ A_{1}) · . . . · P (X_{n} ∈ A_{n}) 3.⇒4. Zu zeigen ist, dass für alle (x_{1}, …, x_{n}) ∈ M_{1} × … × M_{n} gilt: P_{X}({(x_{1}, …, x_{n})}) = P_{X_{1}}({x_{1}}) · . . . · P_{X_{n}}({x_{n}}) Mit Hilfe der Definition von P_{X} und mit A_{i} = {x_{i}} ⊂ M_{i} berechnen wir: P_{X}({(x_{1}, …, x_{n})}) = P ∘ X^{−1}({(x_{1}, …, x_{n})}) = P (X_{1}^{−1}(x_{1}) × … × X_{n}^{−1}(x_{n})) = P (X_{1} ∈ {x_{1}}, …, X_{n} ∈ {x_{n}}) =

∏_{i=1}^{n} P (X_{i} ∈ {x_{i}}) = ∏_{i=1}^{n} P ∘ X_{i}^{−1}(x_{i}) = ∏_{i=1}^{n} P_{X_{i}}({x_{i}})

4.⇒3. Die Ereignisse {X_{i} ∈ A_{i}}_{i∈I} sind unabhängig, denn für J ⊂ I endlich gilt: Setze B_{j} := A_{j} für j ∈ J und B_{j} := M_{j} für j ∈ I \ J und erhalte:

P ( ⋂_{j∈J}{X_{j} ∈ A_{J}}) = P ( ⋂_{j∈I}{X_{j} ∈ B_{j}}) =

∑_{(x_{1},... ,x_{n})∈B_{1}×...×B_{n}} P (⋂_{i∈I}{X_{j} = x_{j}}) = ∑_{(x_{1},... ,x_{n})∈B_{1}×...×B_{n}} P_{X}({(x_{1}, …, x_{n})}) =

∑_{(x_{1},... ,x_{n})∈B_{1}×...×B_{n}} P_{X_{1}}(x_{1}) · . . . · P_{X_{n}}(x_{n}) =

( ∑_{x_{1}∈B_{1}} P_{X_{1}}(x_{1})) · . . . · ( ∑_{x_{n}∈B_{n}} P_{X_{n}}(x_{n})) =

P ({X_{1} ∈ B_{1}}) · . . . · P ({X_{n} ∈ B_{n}}) = ∏_{j∈J} P ({X_{j} ∈ A_{j}}) □

Korollar 6.8 Sind X_{i} : Ω → M_{i} unabhängige Zufallsvariable und sind F_{i} : M_{i} → N_{i} Abbildungen in Mengen N_{i} (i = 1, …, n), so sind die Zufallsvariablen F_{1} ∘ X_{1}, …, F_{n} ∘ X_{n} ebenfalls unabhängig.

Beweis: Für (y_{1}, …, y_{n}) ∈ N_{1} × … × N_{n} definieren wir A_{i} := F_{i}^{−1}({y_{i}}) ⊂ M_{i}. Dann gilt P (F_{1} ∘ X_{1} = y_{1}, …, F_{n} ∘ X_{n} = y_{n}) = P (X_{1} ∈ A_{1}, …, X_{n} ∈ A_{n}) =

= ∏_{i=1}^{n} P (X_{i} ∈ A_{i}) = ∏_{i=1}^{n} P (F_{i} ∘ X_{i} = y_{i})

Nach dem Satz folgt die Behauptung. □

Definition 6.9 Sei X : Ω → ℝ eine reellwertige (diskrete) Zufallsvariable. Dann heißt die Funktion F_{X} : ℝ → [0, 1], def. durch x ↦ P (X ≤ x) = P_{X}(] − ∞, x]) = P ({ω ∈ Ω | X(ω) ≤ x}) die Verteilungsfunktion von X.

Satz 6.10 (Eigenschaften der Verteilungsfunktion) Sei X : Ω → ℝ eine reellwertige Zufallsvariable.

1. Für x ∈ ℝ gilt F_{X}(x) = ∑_{{y∈X(Ω)|y≤x}} P (X = y).

2. Die Funktion F_{X} ist monoton steigend, d.h. aus x ≤ y folgt F_{X}(x) ≤ F_{X}(y).

3. Für a, b ∈ ℝ gilt P (a < X ≤ b) = F_{X}(b)−F_{X}(a), sowie P (X > a) = 1−F_{X}(a).

4. Für a, b ∈ ℝ gilt P (a ≤ X ≤ b) = F_{X}(b) − lim_{\begin{matrix}x→^{>}a \\ x≠a \end{matrix}} F_{X}(x) und P (a ≤ X) =

1 − lim_{\begin{matrix}x→^{>}a \\ x≠a \end{matrix}} F_{X}(x).

Beweis:

1. folgt aus {X ≤ x} = X^{−1}({y ∈ X(Ω) | y ≤ x})

2. folgt sofort aus 1.

3. Es gilt P (a < X ≤ b) = P (X ≤ b) − P (X ≤ a) = F_{X}(b) − F_{X}(a), sowie P (x > a) = 1 − P (X ≤ a).

4. Es gilt P (a ≤ X ≤ b) = P (X ≤ b) − P (X ≤ a) + P (X = a) =

F_{X}(b) − (F_{X}(a) − P (X = a)) = F_{X}(b) − ∑_{{y∈X(Ω)|y<a}} P (X < y) =

F_{X}(b) − lim_{\begin{matrix}x→^{>}a \\ x≠a \end{matrix}} F_{X}(x)

P (a ≤ X) = 1 − P (X < a) = 1 − (F_{X}(a) − P (X = a)) =^{wie oben}

1 − lim_{\begin{matrix}x→^{>}a \\ x≠a \end{matrix}} F_{X}(x)

□

Beispiel 6.11 ”Mensch-ärgere-dich-nicht“ Die Zufallsvariable X soll die Anzahl der Versuche beschreiben, die ein Spieler braucht, bis er eine 6 würfelt. ⇒ Ω = ℕ_{+} mit P =geometrische Verteilung zum Parameter p = \frac{1}{6}.

⇒ X : 𝔓(Ω) → [0, 1] und F_{X}(x) = P (X ≤ x) = ∑_{i=1}^{[x]} \frac{1}{6} (\frac{5}{6})^{i−1} = \frac{1}{6} \frac{1−(\frac{5}{6})^{[x]}}{1− \frac{5}{6}} =

1 − (\frac{5}{6})^{[x]}, wobei [x] := max\{z ∈ ℤ | z ≤ x\}

7 Erwartungswerte

Sei (Ω, P) im Folgenden stets ein diskreter Wahrscheinlichkeitsraum.

Definition 7.1 Sei X : Ω → ℝ eine reellwertige (diskrete) Zufallsvariable auf Ω. Konvergiert die Reihe ∑_{ω∈Ω} |X(ω)|P (ω), so heißt die Zahl E(X) = ∑_{ω∈Ω} X(ω)P (ω) der Erwartungswert von X. Für komplexwertiges X sei der Erwartungswert von X genauso definiert.

Bemerkung 7.2

1. Aus der absoluten Konvergenz der Reihe ∑_{ω∈Ω} X(ω)P (ω) folgt die Konvergenz jeder Umordnung. Es ist daher egal, wie wir die Menge Ω abzählen.

2. Ist X(Ω) = {x_{1}, x_{2}, … } und existiert E(X), so gilt E(X) = ∑_{i=1}^{∞} x_{i}P (X_{i} = x_{i}), denn

E(X) = ∑_{ω∈Ω} X(ω)P (ω) = ∑_{i=1}^{∞} ∑_{{ω∈Ω|X(ω)=x_{i}}} X(ω)P (ω) =

∑_{i=1}^{∞} x_{i}P ({ω ∈ Ω | X(ω) = x_{i}})

Beispiel 7.3 (Der ”Tout“ beim Schafkopf) In der Situation von Beispiel 3.1 (”Schafkopf mit der Kurzen“) spielen wir zum Tarif ”Zehnerl, Zwanzgerl mit Schuss“. Der Spieler, der als Erster herauskommt, habe folgendes Blatt: Eichel Unter, Herz Unter, 4 Asse Soll er das Spiel als ”Tout“ spielen, d.h. ansagen, dass er alle Stiche machen will?

1. als Tout:

Es gibt zwei Ergebnisse:

Stehen die beiden anderen Unter zusammen, so verliert der Spieler.

P (”Verlust“) = 0, 294, andernfalls gewinnt er, P (”Gewinn“) = 0, 706.

2. als normales Spiel:

Stehen die beiden Unter zusammen, so gewinnt der Spieler ”Schneider“ mit P (”Schneider“) = 0, 294 und andernfalls gewinnt er ”Schneider Schwarz“mit P (”Schneider Schwarz“) = 0, 706. Es gelte Ω = {Gewinn, Verlust} bzw. Ω = {Schneider, Schneider Schwarz}.

Die Zufallsvariable X : Ω → ℝ beschreibe den Geldbetrag in DM, den der Spieler gewinnt oder verliert.

1. Es gilt: X(”Gewinn“) = 3 · 0, 80 = 2, 40 (20 Pf. Spiel, 20 Pf Schn. Schw., Faktor 2 für ”Tout“) (zusätzlich erhält der Spieler einen ”Schuss“.) Also folgt: E(X) = 0, 706 · 2, 40 + 0, 294 · (−4, 80) ≈ 0, 283

2. Es gilt: X(”Schneider“) = 3 · 0, 30 = 0, 90 und X(”Schn. Schw.“) = 3 · 0, 40 = 1, 20 Also folgt: E(X) = 0, 706 · 1, 2 + 0, 294 · 0, 9 ≈ 1, 112

Beispiel 7.4 Sei A ⊂ Ω ein Ereignis. Dann heißt die Zufallsvariable X = 1_{A} :

Ω → ℝ, def. durch ω ↦ \{ \begin{matrix}1 & falls & ω ∈ A \\ 0 & falls & ω ∈ Ω \ A \end{matrix} die Indikatorfunktion oder

charakteristische Funktion von A. Es gilt: E(1_{A}) = 1 · P (1_{A} = 1) + 0 · P (1_{A} = 0) = P (A) Für endlich viele Ereignisse A_{1}, …, A_{n} ⊂ Ω gilt:

1. 1_{A_{i}}^{2} = 1_{A_{i}}

2. A_{1}, …, A_{n} paarweise disjunkt ⇒ 1_{A_{1}∪...∪A_{n}} = 1_{A_{1}} + … + 1_{A_{n}} 3. 1_{A_{1}∩...∩A_{n}} = 1_{A_{1}} · . . . · 1_{A_{n}}

4. 1_{Ω\A_{i}} = 1 − 1_{A_{i}}

5. A_{1}, …, A_{n} unabhängig ⇔ 1_{A_{1}}, … 1_{A_{n}} unabhängige Zufallsvariable

Definition 7.5 Sei R ein Ring und seien X_{1}, X_{2} : Ω → R R-wertige Zufallsvariable.

1. Durch X_{1} + X_{2} : Ω → R, def. durch ω ↦ X_{1}(ω) + X_{2}(ω), wird eine Zufallsvariable auf Ω definiert, die Summe von X_{1} und X_{2} heißt.

2. Durch X_{1}·X_{2} : Ω → R, def. durch ω ↦ X_{1}(ω)·X_{2}(ω), wird eine Zufallsvariable auf Ω definiert, die Produkt von X_{1} und X_{2} heißt.

3. Für jedes r ∈ R wird durch rX_{1} : Ω → R, def. durch ω ↦ rX_{1}(ω), eine Zufallsvariable auf Ω definiert.

Satz 7.6 (Rechenregeln für Erwartungswerte) Seien X, X_{1}, X_{2} : Ω → ℂ komplexwertige Zufallsvariable, deren Erwartungswert existiere.

1. Für jedes λ ∈ ℂ existiert der Erwartungswert von λX und es gilt E(λX) = λE(X).

2. Der Erwartungswert von X_{1} + X_{2} existiert und es gilt E(X_{1} + X_{2}) = E(X_{1}) + E(X_{2}).

3. Sind X_{1} und X_{2} \underline{unabhängig}, so existiert der Erwartungswert von X_{1} · X_{2} und es gilt E(X_{1} · X_{2}) = E(X_{1}) · E(X_{2}).

4. Ist Y : Ω → M eine Zufallsvariable mit Werten in einer Menge M und ist F : M → ℂ eine Abbildung, so existiert der Erwartungswert der komplexwertigen Zufallsvariablen F ∘ Y genau dann, wenn der Erwartungswert der Zufallsvariable F̃ = F |_{Y (Ω)} : Y (Ω) → ℂ existiert. In diesem Fall gilt E(F ∘ Y) = E(F̃). Mit anderen Worten: Gilt Y (Ω) = {y_{1}, y_{2}, … }, so ergibt sich E(F ∘ Y) =

∑_{i=1}^{∞} F (y_{i})P (Y = y_{i}).

Beweis:

1. Da ∑_{ω∈Ω} |X(ω)|P (ω) konvergiert, konvergiert auch ∑_{ω∈Ω} |λX(ω)|P (ω) = ∑_{ω∈Ω} |λ| ·

|X(ω)|P (ω) = |λ| ∑_{ω∈Ω} |X(ω)|P (ω).

Damit gilt

E(λX) = ∑_{ω∈Ω}(λX)(ω)P (ω) = ∑_{ω∈Ω} λ · X(ω)P (ω) = λ ∑_{ω∈Ω} X(ω)P (ω) = λE(X).

2. Da ∑_{ω∈Ω} |X_{i}(ω)|P (w) für i = 1, 2 konvergieren, konvergiert auch

∑_{ω∈Ω} |(X_{1} + X_{2})(ω)|P (ω) = ∑_{ω∈Ω} |X_{1}(ω) + X_{2}(ω)|P (ω) ≤

∑_{ω∈Ω} |X_{1}(ω)P (ω) + ∑_{ω∈Ω} |X_{2}(ω)|P (ω) und es gilt

E(X_{1} + X_{2}) = ∑_{ω∈Ω}(X_{1} + X_{2})(ω)P (ω) =

∑_{ω∈Ω} X_{1}(ω)P (ω) + ∑_{ω∈Ω} X_{2}(ω)P (ω) = E(X_{1}) + E(X_{2}).

3. Sei X_{1}(Ω) = {x_{1}, x_{2}, x_{3}, … } und X_{2}(Ω) = {y_{1}, y_{2}, y_{3}, … }. Dann gilt

∑_{ω∈Ω} |X_{1}(ω)X_{2}(ω)|P (ω) = ∑_{i=1}^{∞} ∑_{j=1}^{∞} |x_{i}||y_{j}|P (X_{1} = x_{i}, X_{2} = y_{j}) =

∑_{i=1}^{∞} ∑_{j=1}^{∞} |x_{i}||y_{j}|P (X_{1} = x_{i})P (X_{2} = y_{j}) =

(∑_{i=1}^{∞} |x_{i}|P (X_{1} = x_{i})) (∑_{j=1}^{∞} |y_{j}|P (X_{2} = y_{j})), d.h. der Erwartungswert

E(X_{1} · X_{2}) existiert und erfüllt E(X_{1} · X_{2}) =

∑_{ω∈Ω} X_{1}(ω)X_{2}(ω)P (ω) = ∑_{i=1}^{∞} ∑_{j=1}^{∞} x_{i}y_{j}P (X_{1} = x_{i}, X_{2} = y_{j}) =

∑_{i=1}^{∞} ∑_{j=1}^{∞} x_{i}y_{j}P (X_{1} = x_{i})P (X_{2} = y_{j}) =

(∑_{i=1}^{∞} x_{i}P (X_{1} = x_{i})) (∑_{j=1}^{∞} y_{j}P (X_{2} = y_{j}))

4. Der Erwartungswert E(F ∘ Y) existiert genau dann, wenn die Reihe ∑_{ω∈Ω} |F ∘ Y (ω)|P (ω) konvergiert.

Der Erwartungswert von E(F̃) existiert genau dann, wenn die Reihe

∑_{x∈Y (Ω)} |F (x)| \underbrace{P (\{ω ∈ Ω | Y (ω) = x\})}_{P_{Y} (x)} konvergiert.

Diese beiden Bedingungen sind äquivalent, denn für x ∈ Y (Ω) gilt

|F (x)|P ({ω ∈ Ω | Y (ω) = x}) = ∑_{{ω∈Ω|Y (ω)=x}} |F ∘ Y (ω)|P (ω).

Existieren beide Erwartungswerte, so sind sie wegen

E(F ∘ Y) = ∑_{ω∈Ω}(F ∘ Y)(ω)P (ω) = ∑_{x∈Y (Ω)} F (x) · (P ∘ Y^{−1})(x) = E(F̃) gleich.

Der Zusatz folgt aus

E(F ∘ Y) = ∑_{x∈Y (Ω)} F (x) · (P ∘ Y^{−1})(x) = ∑_{i=1}^{∞} F (y_{i})P (Y = y_{i}).

□

Bemerkung 7.7 Mit vollständiger Induktion folgt aus Satz 7.6 für komplexwertige X_{1}, …, X_{n} : Ω → ℂ, deren Erwartungswerte existieren, die Gültigkeitkeit der folgenden Formeln:

1. Für λ_{1}, …, λ_{n} ∈ ℂ gilt E(λ_{1}X_{1} + … + λ_{n}X_{n}) = λ_{1}E(X_{1}) + … + λ_{n}E(X_{n})

2. Sind X_{1}, …, X_{n} unabhängig, so gilt E(X_{1} · . . . · X_{n}) = E(X_{1}) · . . . · E(X_{n})

Korollar 7.8 Eine reellwertige Zufallsvariable X : Ω → ℝ besitze einen Erwartungswert und sei symmetrisch verteilt mit Symmetriepunkt s ∈ ℝ, d.h. es gelte X(Ω) = {x_{1}, x_{2}, … } ∪. {y_{1}, y_{2}, … } mit x_{i} − s = s − y_{i} und mit P (X = x_{i}) = P (X = y_{i}) für i = 1, …, m.

Dann gilt E(X) = s [figure: s]

Beispiel 7.9 (Die Erwartungswerte der klassischen Wahrscheinlichkeitsverteilungen)

1. Sei X : Ω → ℝ eine binomialverteilte Zufallsvariable, d.h. P_{X} sei die Binomialverteilung zum Parameter p ∈ [0, 1] auf X(Ω) = {0, …, n}.

Dann gilt E(X) = ∑_{x∈X(Ω)} x · P_{X}(x) = ∑_{k=0}^{n} k\binom{n}{k}p^{k}(1 − p)^{n−k} =^{Beweis von 5.8} np.

2. Eine Zufallsvariable X : Ω → ℝ sei geometrisch verteilt zum Parameter p ∈ ]0, 1], d.h. X(Ω) = ℕ_{+} und P_{X}(k) = P (X = k) = (1 − p)^{k−1}p für k ∈ ℕ_{+}. Dann ergibt sich:

E(X) = ∑_{k=1}^{∞} kp(1 − p)^{k−1}.

Für |x| < 1 gilt \frac{1}{1−x} = 1 + x + x^{2} + x^{3} + … und Ableiten liefert \frac{1}{(1−x)^{2}} = 1 + 2x + 3x^{2} + 4x^{3} + … Einsetzen von x = 1 − p liefert \frac{1}{p^{2}} = 1 + 2(1 − p) + 3(1 − p)^{2} + … Insgesamt ergibt sich: E(X) = \frac{1}{p} 3. In einer Urne sind w weiße und s schwarze Kugeln. Es werden n ≤ w + s

Kugeln ohne Zurücklegen gezogen und es wird notiert, wieviele weiße Kugeln

gezogen wurden.

⇒ Ω = {weiß,schwarz}^{n} und X : Ω → ℝ ist def. durch (ω_{1}, …, ω_{n}) ↦ #{i |

ω_{i} =weiß}.

Die Zufallsvariable X ist hypergeometrisch verteilt mit Parametern n, w, s,

d.h. es gilt

X(Ω) = \{0, …, n\} und P (X = i) = \begin{matrix}\binom{w}{i} & \binom{s}{n−i} \\ ( & {w+s \atop n} & ) \end{matrix} für i = 0, …, n.

Dann gilt:

E(X) = ∑_{i=0}^{n} i\begin{matrix}\binom{w}{i} & \binom{s}{n−i} \\ ( & {w+s \atop n} & ) \end{matrix} = \frac{nw}{s+w}

Beweis: Sei X_{i} : Ω → ℝ def. durch X_{i}(ω_{1}, …, ω_{n}) = 1, falls ω_{i} =weiß und X_{i}(ω_{1}, …, ω_{n}) = 0, falls ω_{i} =schwarz. Nun gilt offensichtlich X = X_{1} + … + X_{n}. Weiterhin gilt E(X_{1}) = \frac{w}{w+s} und aus Symmetriegründen ebenso E(X_{i}) = \frac{w}{w+s} für die anderen i = 2, …, n. Folglich ist E(X) = E(X_{1} + … + X_{n}) = E(X_{1}) + … + E(X_{n}) = \frac{nw}{w+s} nach 7.7. □

8 Standardabweichung

Im Folgenden sei (Ω, P) stets ein diskreter Wahrscheinlichkeitsraum.

Lemma 8.1 Seien X, Y : Ω → ℂ zwei komplexwertige Zufallsvariable.

1. Existiert E(X^{2}), so existieren auch E(X) und E((X − E(X))^{2}).

2. Existieren E(X^{2}) und E(Y^{2}), so existiert auch E((X − E(X))(Y − E(Y))).

Beweis:

1. Für ω ∈ Ω gilt (|X(ω)| − 1)^{2} ≥ 0, also 2|X(ω)| ≤ 1 + |X(ω)|^{2}.

Es folgt ∑_{ω∈Ω} |X(ω)|P (ω) ≤ \frac{1}{2} + \frac{1}{2} ∑_{ω∈Ω} |X^{2}(ω)|P (ω), d.h. E(X) existiert.

Außerdem gilt für alle ω ∈ Ω die Ungleichung |X(ω) − E(X)|^{2} = |X^{2}(ω) − 2X(ω)E(X) + (E(X))^{2}| ≤ |X^{2}(ω)| + 2|X(ω)| + |E(X)|^{2}, so dass aus der Existenz von E(X^{2}) und E(X) auch die von E((X − E(X))^{2}) folgt.

2. Für alle ω ∈ Ω gilt |(X(ω) − E(X))(Y (ω) − E(Y))| ≤ |X(ω)Y (ω)| + |E(Y)||X(ω)| + |E(X)||Y (ω)| + |E(X)E(Y)| ≤ \frac{1}{2}|X(ω)|^{2}+ \frac{1}{2}|Y (ω)|^{2}+|E(Y)||X(ω)|+|E(X)||Y (ω)|+|E(X)E(Y)| und hieraus folgt die Behauptung.

□

Definition 8.2 Seien X, Y : Ω → ℝ zwei reellwertige Zufallsvariable, für die E(X^{2}) und E(Y^{2}) existieren.

1. Die Zahl Var(X) := E((X − E(X))^{2}) ∈ [0, ∞[ heißt die Varianz (oder der zweite zentrale Moment) von X.

2. Die Zahl σ(X) := \sqrt{Var(X)} heißt die Standardabweichung (oder die Streuung) von X.

3. Die Zahl Cov(X, Y) = E((X − E(X))(Y − E(Y))) heißt die Kovarianz von X und Y .

4. Sei σ(X)σ(Y) ≠ 0. Dann heißt die Zahl ρ(X, Y) = \frac{Cov(X,Y)}{σ(X)σ(Y)} der Korrelationskoeffizient von X und Y .

5. Gilt Cov(X, Y) = 0, so heißen die Zufallsvariablen X und Y unkorreliert.

Bemerkung 8.3 Sind X, Y : Ω → ℂ komplexwertige Zufallsvariable, so definiert man analog.

1. Var(X) := E(|X − E(X)|^{2}) falls E(X^{2}) existiert.

2. σ(X) := \sqrt{Var(X)}

3. Cov(X, Y) = E((X − E(X))\overline{(Y − E(Y))}) usw.

Beispiel 8.4 (Monte-Carlo-Roulette) Drei Spieler verfolgen beim Roulette die folgenden Strategien:

1. Spieler A setzt stets auf die Zahl 13.

2. Spieler B setzt stets auf das erste Drittel: {1, …, 12}.

3. Spieler C setzt stets auf Ungerade: {1, 3, 5, 7, …, 35}. Die Zufallsvariablen A, B, C : Ω → ℝ sollen den Reingewinn des jeweiligen Spielers bei einem Spiel beschreiben.

1. Es gilt A(Ω) = \{−1, 35\} mit P (A = −1) = \frac{36}{37} und P (A = 35) = \frac{1}{37}. ⇒ E(A) = (−1) · \frac{36}{37} + 35 · \frac{1}{37} = −\frac{1}{37}, sowie (A − E(A))^{2}(Ω) = \{(\frac{36}{37})^{2} , (35 + \frac{1}{37})\} ⇒ Var(A) = \frac{36}{37} (\frac{36}{37})^{2} + \frac{1}{37} (35 + \frac{1}{37})^{2} ≈ 34, 08 und σ(A) ≈ 5, 84.

2. Es gilt B(Ω) = \{−1, 2\} mit P (B = −1) = \frac{25}{37} und P (B = 2) = \frac{12}{37}. ⇒ E(B) = \frac{12}{37}2 + \frac{25}{37}(−1) = −\frac{1}{37} Weiter gilt: Var(B) = \frac{25}{37} (\frac{36}{37})^{2} + \frac{12}{37} (2 + \frac{1}{37})^{2} ≈ 1, 97, sowie σ(B) ≈ 1, 40.

3. Es gilt C(Ω) = \{−1, −\frac{1}{2}, 1\} mit P (C = −1) = \frac{18}{37} = P (C = 1), P (C = −\frac{1}{2}) =

\frac{1}{37}

⇒ E(C) = \frac{18}{37}(−1) + \frac{18}{37}1 + \frac{1}{37}(−\frac{1}{2}) = −\frac{1}{74}, sowie

Var(C) ≈ 0, 98 und σ(C) ≈ 0, 99

Satz 8.5 (Rechenregeln für die Varianz und Kovarianz) Seien X, Y, X_{1}, …, X_{n} : Ω → ℝ reellwertige Zufallsvariable, deren Varianz existiere.

1. Var(X) = Cov(X, X)

2. Var(X) = E(X^{2}) − (E(X))^{2}

3. Cov(X, Y) = E(XY) − E(X)E(Y)

Sind X und Y unabhängig, so sind sie insbesondere unkorreliert.

4. Für a, b ∈ ℝ gilt Var(aX + b) = a^{2} Var(X).

5. Für a, b, c, d ∈ ℝ gilt Cov(aX + b, cY + d) = ac Cov(X, Y).

6. Es gilt Var(X_{1} + … + X_{n}) = Var(X_{1}) + … + Var(X_{n}) + ∑_{i≠j} Cov(X_{i}, X_{j}). Für unabhängige Zufallsvariablen X_{1}, …, X_{n} gilt also insbesondere

Var(X_{1} + … + X_{n}) = ∑_{i=1}^{n} Var(X_{i})

Beweis:

1. Cov(X, X) = E((X − E(X))^{2}) = Var(X)

2. folgt wegen 1. aus 3.

3. Cov(X, Y) = E(XY) − E(X · E(Y)) − E(E(X) · Y) + E(E(X)E(Y)) = E(XY) − E(X)E(Y) − E(X)E(Y) + E(X)E(Y) = E(XY) − E(X)E(Y)

4. folgt aus 5. mit c = a, d = b, Y = X

5. Cov(aX + b, cY + d) = E((aX + b − aE(X) − b)(cY + d − cE(Y) − d)) = E(a(X − E(X))c(Y − E(Y))) = ac Cov(X, Y)

6. Wir können o.E. E(X_{i}) = 0 für i = 1, …, n annehmen (vgl. 4. und 5.) ⇒ Var(X_{1}) + … + Var(X_{n}) = E((X_{1} + … + X_{n})^{2}) − (E(X_{1} + … + X_{n}))^{2} =

E (∑_{i=1}^{n} ∑_{j=1}^{n} X_{i}X_{j}) − (\underbrace{E(X_{1}) + … + E(X_{n})}_{=0 nach Annahme})^{2} =

∑_{i=1}^{n} ∑_{j=1}^{n} E(X_{i}X_{j}) = ∑_{i=1}^{n} E(X_{i}^{2}) + ∑_{i≠j} E(X_{i}X_{j}) =

∑_{i=1}^{n} Var(X_{i}) + ∑_{i≠j} Cov(X_{i}, X_{j})

□

Beispiel 8.6 (Varianzen klassischer Wahrscheinlichkeitsverteilungen)

1. Die Zufallsvariable X : Ω → ℝ sei binomialverteilt mit Verteilung b_{n,p}, d.h. X(Ω) = \{0, …, n\} und P (X = k) = \binom{n}{k}p^{k}(1 − p)^{n−k}. Dann gilt E(X) = np (Beispiel 7.9) und

Var(X) = E((X −E(X))^{2}) = ∑_{k=0}^{n}(k−np)^{2}\binom{n}{k}p^{k}(1−p)^{n−k} =^{Beweis von 5.8} np(1−p).

2. Die Zufallsvariable X : Ω → ℝ sei geometrisch verteilt mit Parameter p ≠ 0, d.h. X(Ω) = ℕ_{+} mit P (X = k) = p(1 − p)^{k−1} ⇒ E(X) = \frac{1}{p} (vgl. Beispiel 7.9) und

Var(X) = E((X − E(X))^{2}) = ∑_{k=1}^{∞}(k − \frac{1}{p})^{2}p(1 − p)^{k−1} =

p ∑_{k=1}^{∞} k^{2}(1 − p)^{k−1} − 2 ∑_{k=1}^{∞} k(1 − p)^{k−1} + \frac{1}{p} ∑_{k=1}^{∞}(1 − p)^{k−1} =

p \underbrace{∑_{k=1}^{∞} k(k + 1)(1 − p)^{k−1}}_{\frac{2}{p^{3}}} +(−p − 2) \underbrace{∑_{k=1}^{∞} k(1 − p)^{k−1}}_{\frac{1}{p^{2}} vgl. Beispiel 7.9} +\frac{1}{p^{2}} = (∗), denn

\frac{1}{1−x} = 1 + x + x^{2} + … ⇒ \frac{1}{(1−x)^{2}} = 1 + 2x + 3x^{2} + … ⇒ 2\frac{1}{(1−x)^{3}} = 2+3·2x+4·3x^{2} +… (folgt jeweils durch Ableiten beider Seiten) (*)= \frac{1}{p^{2}} − \frac{1}{p}

3. Die Zufallsgröße X : Ω → ℝ sei Poisson-verteilt mit Parameter λ, d.h. es gelte X(Ω) = ℕ und P (X = k) = \frac{λ^{k}}{k!} e^{−λ}.

Dann gilt E(X) = ∑_{k=0}^{∞} k \frac{λ^{k}}{k!} e^{−λ} = λ ∑_{k=1}^{∞} \frac{λ^{k−1}}{(k−1)!}e^{−λ} = λ und

Var(X) = ∑_{k=0}^{∞}(k − λ)^{2} \frac{λ^{k}}{k!} e^{−λ} = e^{−λ} ∑_{k=0}^{∞} (k^{2} \frac{λ^{k}}{k!} − 2λk \frac{λ^{k}}{k!} + λ^{2} \frac{λ^{k}}{k!} ) =

e^{−λ} ∑_{k=0}^{∞} (k(k − 1)\frac{λ^{k}}{k!} ) + e^{−λ} ∑_{k=0}^{∞} k \frac{λ^{k}}{k!} − 2λ^{2} + λ^{2} =

λ^{2} \underbrace{e^{−λ} ∑_{k=2}^{∞} \frac{λ^{k−2}}{(k − 2)!}}_{=1} +λ − λ^{2} = λ

Beispiel 8.7 (Standardisierung von Zufallsvariablen) Sei X : Ω → ℝ eine Zufallsvariable für die E(X^{2}) existiere und für die σ(X) ≠ 0 gelte (d.h. X sei nicht konstant).

Dann heißt die Zufallsvariable X′ = \frac{X−E(X)}{σ(X)} : Ω → ℝ die Standardisierung

von X.

Für die Standardisierung gilt:

E(X′) = \frac{1}{σ(X)}(E(X) − E(X)) = 0 und Var(X′) = \frac{1}{σ(X)^{2}} Var(X) = 1

Satz 8.8 (Die Cauchy-Schwarzsche-Ungleichung)

Seien X, Y : Ω → ℝ Zufallsvariable für die E(X^{2}) und E(Y^{2}) existieren.

Dann gilt (E(XY))^{2} ≤ E(X^{2})E(Y^{2}).

Hierbei gilt Gleichheit genau dann, wenn es ein (a, b) ∈ ℝ^{2} \ {(0, 0)} gibt mit

P (aX + bY ≠ 0) = 0.

Beweis: Sei α = E(Y^{2}) und β = −E(XY).

1. Fall: α = 0

⇒ ∑_{ω∈Ω} Y (ω)^{2}P (ω) = 0

⇒ für alle ω ∈ Ω gilt Y (ω) = 0 oder P (ω) = 0 ⇒ E(XY) = 0 Behauptung klar!

2. Fall: α > 0 Es gilt 0 ≤ E((αX + βY)^{2}) = α^{2}E(X^{2}) + 2αβE(XY) + β^{2}E(Y^{2}) = α(E(X^{2})E(Y^{2}) − 2E(XY)^{2} + E(XY)^{2}) ⇒ E(X^{2})E(Y^{2}) ≥ E(XY)^{2} Hierbei gilt Gleichheit genau dann, wenn E(Y^{2}) = 0 (nicht möglich weil α > 0) oder E((αX + βY)^{2}) = 0 ist. In diesem Fall gibt es ein (a, b) ∈ ℝ^{2} \ {(0, 0)} mit E((aX + bY)^{2}) = 0. Es folgt, dass für alle ω ∈ Ω gilt: P (ω) = 0 oder aX(ω) + bY (ω) = 0 ⇒ P (aX + bY = 0) = 1 ⇒ P (aX + bY ≠ 0) = 0 Umgekehrt zeigt P (aX + bY = 0) = 1, dass für alle ω ∈ Ω gilt P (ω) = 0 oder aX(ω) + bY (ω) = 0. O.E. sei dazu a ≠ 0.

⇒ E(XY)^{2} = ( ∑_{{ω∈Ω|P (ω)≠0}} X(ω)Y (ω)P (ω))^{2} =

( ∑_{\{ω∈Ω|P (ω)≠0\}} −\frac{b}{a}Y (ω)^{2}P (ω))^{2} = (−\frac{b}{a}E(Y^{2}))^{2} und

E(X^{2}) = ∑_{\{ω∈Ω|P (ω)≠0\}} X^{2}(ω)P (ω) = \frac{b^{2}}{a^{2}} ∑_{\{ω∈Ω|P (ω)≠0\}} Y^{2}(ω)P (ω) = \frac{b^{2}}{a^{2}} E(Y^{2})

⇒ E(XY)^{2} = E(X^{2})E(Y^{2}) □

Korollar 8.9 Seien X, Y : Ω → ℝ Zufallsvariable für die E(X^{2}) und E(Y^{2}) existieren. Dann gilt 0 ≤ | Cov(XY)| ≤ σ(X)σ(Y). Im Fall σ(X)σ(Y) ≠ 0 folgt insbesondere −1 ≤ ρ(X, Y) ≤ 1. Beweis: Wende 8.8 an mit X − E(X) und Y − E(Y). ⇒ Cov(X, Y)^{2} ≤ Var(X) · Var(Y) □

Bemerkung 8.10 (Anschauliche Bedeutung der Kovarianz)

1. Gilt | Cov(X, Y)| = σ(X)σ(Y), also ρ(X, Y) ∈ {±1}, so gibt es (a, b) ∈ ℝ^{2} \ {0} und c ∈ ℝ mit P (aX + bY + c = 0) = 1.

[figure: X(ω); Y (ω); allg. Fall; X(ω); Y (ω); Fall von 1.]

2. Aus ρ(X, Y) = 0 folgt nicht, dass X und Y unabhängig sind.

Sei z.B. Ω = \{1, 2, 3, 4\} mit P (1) = P (2) = \frac{2}{5}, P (3) = P (4) = \frac{1}{10}

und X : Ω → ℝ mit 1 ↦ 1, 2 ↦ −1, 3 ↦ 2, 4 ↦ −2 und Y : Ω → ℝ mit 1 ↦ −1, 2 ↦ 1, 3 ↦ 2, 4 ↦ −2 ⇒ E(X) = E(Y) = 0 Cov(XY) = E(XY) = (−1)\frac{2}{5} + (−1)\frac{2}{5} + 4\frac{1}{10} + 4\frac{1}{10} = 0, aber X, Y sind nicht unabhängig: P (X = 1, Y = −1) = \frac{2}{5} ≠ P (X = 1)P (Y = −1) = \frac{2}{5} · \frac{2}{5} = \frac{4}{25}

Korollar 8.11 Ist X : Ω → ℝ eine Zufallsvariable für die E(X^{2}) existiert, so gilt E(|X − E(X)|) ≤ σ(X). Beweis: Wende 8.8 an mit |X − E(X)| und Y = 1 ⇒ E(|X − E(X)|)^{2} ≤ E((X − E(X))^{2}) = Var(X) ⇒ E(|X − E(X)|) ≤ σ(X) □

Satz 8.12 (Die Tschebyschew-Ungleichung) Sei X : Ω → ℝ eine Zufallsvariable für die E(X^{2}) existiert und sei ε > 0. P (|X − E(X)| ≥ ε) ≤ \frac{Var(X)}{ε^{2}}.

Beweis:

Definiere Y : Ω → ℝ durch ω → \{ \begin{matrix}0 & falls & |X(ω) − E(X)| < ε \\ ε^{2} & falls & |X(ω) − E(X)| ≥ ε \end{matrix}

⇒ Für alle ω ∈ Ω gilt Y (ω) ≤ (X − E(X))^{2}(ω). ⇒ Var(X) = E((X − E(X))^{2}) ≥ E(Y) = ε^{2}P (Y = ε^{2}) = ε^{2}P (|X − E(X)| ≥ ε) □

Satz 8.13 (Das schwache Gesetz der großen Zahlen) Seien X_{1}, …, X_{n} : Ω → ℝ \underline{unabhängige} Zufallsvariablen mit E := E(X_{1}) = E(X_{2}) = … = E(X_{n}). Für i = 1, …, n existiere E(X_{i}^{2}) und sei ε > 0 vorgegeben. Dann gilt für die Zufallsvariable H_{n} = \frac{X_{1}+...+X_{n}}{n} die Ungleichung P (|H_{n} − E| ≥ ε) ≤ \frac{Var(X_{1})+...+Var(X_{n})}{n^{2}ε^{2}}. Insbesondere folgt P (|H_{n} − E| ≥ ε) → 0 für n → ∞, wenn es ein M > 0 gibt mit Var(X_{i}) ≤ M für i = 1, …, n.

Beweis: Nach 8.5 Nr.4 und 6 gilt Var(H_{n}) = \frac{1}{n^{2}} (Var(X_{1}) + … + Var(X_{n})), so dass sich die Behauptung aus 8.12 ergibt. □

Beispiel 8.14 Eine zeitlich begrenzte Spekulation werde durch den folgenden Wahrscheinlichkeitsraum beschrieben: Ω = {0, 1}, P =Gleichverteilung, k_{0} = 1 Grundkapital, X_{n} : Ω^{n} → ℝ Kapital nach n Spekulationen. Einzelne Spekulation: Y_{n} : Ω → ℝ sei def. durch 0 ↦ \frac{1}{2} und 1 ↦ \frac{5}{3}. ⇒ X_{n} = Y_{n} · Y_{n−1} · . . . · Y_{1} ⇒ E(Y_{n}) = \frac{1}{2} (\frac{1}{2}) + \frac{1}{2} (\frac{5}{3}) = \frac{13}{12} Die Variablen Y_{1}, …, Y_{n} sind unabhängig. ⇒ E(X_{n}) = E(Y_{n})^{n} ⇒ E(Y_{n}) = (\frac{13}{12})^{n} → ∞ für n → ∞. JEDOCH: Sei μ := E(ln(Y_{n})) = \frac{1}{2} ln \frac{1}{2} + \frac{1}{2} ln \frac{5}{3} ≈ −0, 1 < 0 Für n ≥ 1 gilt auch Var(ln(Y_{n})) = \frac{1}{2}(ln \frac{1}{2} − μ)^{2} + \frac{1}{2}(ln \frac{5}{3} − μ)^{2} ≈ 0, 362 Setze ε := −\frac{μ}{2} ≈ 0, 046 > 0 Nach dem schwachen Gesetz der großen Zahlen gilt: P (|\frac{1}{n} (ln(Y_{1}) + … + ln(Y_{n})) − μ| < ε) ≥ 1 − \frac{Var(ln(Y_{1}))}{nε^{2}} ≈ 1 − \frac{171,1}{n} ⇒ (|\frac{1}{n} ln(X_{n}) − μ| < −\frac{μ}{2}) → 1 für n → ∞ ⇒ P (ln X_{n} < \frac{nμ}{2}) ≥ P (\frac{3nμ}{2} < ln(X_{n}) < \frac{nμ}{2}) → 1

⇒ P (X_{n} < \underbrace{e^{\frac{nμ}{2}}}_{→0 für n→∞, denn μ<0} → 1

⇒”fast sicher“ist bei n ≫ 0 das Kapital weg.

9 Erzeugende Funktionen

In diesem Abschnitt sei (Ω, P) ein diskreter Wahrscheinlichkeitsraum und X : Ω → ℝ sei eine reellwertige Zufallsvariable mit X(Ω) ⊂ ℕ.

Definition 9.1 Die Potenzreihe g_{X}(t) = ∑_{k=0}^{∞} P (X = k)t^{k} ∈ ℝ[[t]] heißt die erzeugende Funktion von X. (Die Doppelklammer bedeutet Potenzreihe.)

Bemerkung 9.2

1. Sei für t > 0 eine Zufallsvariable Y_{t} : Ω → ℝ def. durch Y_{t}(ω) = t^{X(ω)} für ω ∈ Ω. Dann gilt g_{X}(t) = E(Y_{t}).

2. Wegen P (X = k) ≤ 1 für k ∈ ℕ konvergiert die Reihe g_{X}(t) für |t| < 1.

3. Für alle k ∈ ℕ gilt P (X = k) = \frac{1}{k!}g_{X}^{(k)}(0).

Also ist der Übergang von P_{X} zu g_{X} eineindeutig.

Beispiel 9.3 (Erzeugendenfunktion der klassischen Wahrscheinlichkeitsfunktionen)

1. Die erzeugende Funktion einer binomial verteilten Zufallsvariable X : Ω → ℝ mit P_{X} = b_{n,p} ist

g_{X}(t) = ∑_{k=0}^{n} \binom{n}{k}p^{k}(1 − p)^{n−k}t^{k} =

∑_{k=0}^{n} \binom{n}{k}(pt)^{k}(1 − p)^{n−k} = (pt + 1 − p)^{n}.

2. Ist X : Ω → ℝ geometrisch verteilt mit Parameter p, so gilt

g_{X}(t) = ∑_{k=1}^{∞} p(1 − p)^{k−1}t^{k} = \frac{pt}{1−(1−p)t}.

3. Ist X : Ω → ℝ Poisson-verteilt mit Parameter λ, so gilt

g_{X}(t) = ∑_{k=0}^{∞} \frac{λ^{k}}{k!} e^{−λ}t^{k} = e^{λ(t−1)}

Satz 9.4 (Berechnung von Erwartungswert und Varianz mit Hilfe erzeugender Funktionen)

1. Die Funktion g_{X} : [0, 1] → ℝ, def. durch t ↦ ∑_{k=0}^{∞} P (X = k)t^{k} ist stetig, monoton wachsend, konvex und erfüllt g_{X}(0) = P (X = 0), sowie g_{X}(1) = 1.

2. Für alle k ∈ ℕ_{+} gilt E(X(X − 1) · . . . · (X − k + 1)) = lim_{t→^{<}1} g_{X}^{(k)}(t). Hierbei konvergiert die linke Seite genau dann, wenn der Limes auf der rechten Seite existiert und beide Bedingungen sind äquivalent damit, dass E(X^{k}) existiert.

3. Es gilt E(X) = lim_{t→^{<}1} g′_{X}(t) sowie Var(X) = lim_{t→^{<}1} g′′_{X}(t) + E(X) − E(X)^{2}.

Beweis:

1. klar, wegen P (X = k) ≥ 0

2. Für 0 ≤ t < 1 gilt g_{X}^{(k)}(t) = ∑_{n=k}^{∞} n · (n − 1) · . . . · (n − k + 1)P (X = n)t^{n−k} ≤

∑_{n=0}^{∞} n^{k}P (X = n) = E(X^{k}).

Also folgt aus E(X^{k}) < ∞, dass die Reihe g_{X}^{(k)}(t) gleichmäßig konvergiert und die Behauptung folgt für t →^{<} 1. Gilt g_{X}^{(k)}(t) < ∞, so folgt aus n · (n − 1) · . . . · (n − k + 1) ≥ \frac{n^{k}}{2^{k}} für n ≥ 2k auch

∑_{n=2k}^{∞} n^{k}P (X = n) ≤ 2^{k} ∑_{n=2k}^{∞} n · (n − 1) · . . . · (n − k + 1)P (X = n) und somit

E(X^{k}) < ∞.

Schließlich liefert E(X ·(X −1)·. . .·(X −k +1)) = ∑_{n=0}^{∞} n·(n−1)·. . .·(n−k +

1)P (X = n) < ∞ auch g_{X}^{(k)} ≤ E(X · (X − 1) · . . . · (X − k + 1)) für 0 ≤ t < 1 und somit lim_{t→^{<}1} g_{X}^{(k)}(t) < ∞.

3. Die erste Behauptung folgt aus 2. mit k = 1 und die zweite aus

Var(X) = E(X^{2})−E(X)^{2} = E(X(X−1))+E(X)−E(X)^{2} =^{2. mit k=2} lim_{t→^{<}1} g′′_{X}(t)+

E(X) − E(X)^{2}.

□

Beispiel 9.5 (Wartezeit auf einen ”Run“) Für jedes n ∈ ℕ sei X_{n} : Ω → ℝ Bernoulli-verteilt zum Parameter p ∈ [0, 1].

Ferner seien X_{1}, X_{2}, … unabhängig. Gilt für ein ω ∈ Ω ein k ∈ ℕ, die Gleichungskette X_{k}(ω) = X_{k+1}(ω) = … = X_{k+r−1}(ω) = 1, so heißt die Folge X_{k}(ω), …, X_{k+r−1}(ω) ein Run der Länge r. Für jedes ω ∈ Ω sei T (ω) = inf{k + r − 1 | X_{k}(ω) = … = X_{k+r−1}(ω)} der erste Index, für den die Folge X_{1}(ω), …, X_{T (ω)}(ω) einen Run der Länge r enthält. Es ist der Erwartungswert der Zufallsvariablen T : Ω → ℝ zu bestimmen. Es gilt P (T = k) = 0 für k < r und P (T = r) = p^{r}.

Im Fall k > r gilt P (T = k) = ∑_{j=1}^{r} P (X_{1} = 1, …, X_{j−1} = 1, X_{j} = 0, T = k).

Gilt X_{1}(ω) = … = X_{j−1}(ω) = 1, X_{j}(ω) = 0, X_{k+r−1}(ω) = … = X_{k}(ω) = 1, so ist X_{j+1}(ω), …, X_{k}(ω) eine Folge mit T (ω) = k − j. Also folgt P (X_{1} = 1, …, X_{j−1} = 1, X_{j} = 0, T = k) = p^{j−1}(1 − p)P (T = k − j) und es ergibt sich die Rekursionsformel

P (T = k) = ∑_{j=1}^{r} p^{j−1}(1 − p)P (T = k − j).

Für g_{T} (t) ergibt sich

g_{T} (t) = ∑_{k=0}^{∞} P (T = k)t^{k} = p^{r}t^{r} + ∑_{k>r} ∑_{j=1}^{r} p^{j−1}(1 − p)P (T = k − j)t^{k} =

p^{r}t^{r} + (1 − p)t ∑_{j=1}^{r} t^{j−1}p^{j−1} \underbrace{∑_{k>j} t^{k−j}P (T = k − j)}_{g_{T} (t)} =

p^{r}t^{r} + (1 − p)tg_{T} (t)\frac{1−t^{r}p^{r}}{1−tp} ⇒ g_{T} (t) = \frac{t^{r}p^{r}(1−tp)}{1−t+t^{r+1}p^{r}(1−p)}

⇒ E(T) = lim_{t→^{<}1} g′_{T} (t) = \frac{1−p^{r}}{p^{r}(1−p)}

Tabelle für E(T) bei 1 Spiel pro Sekunde:

r p = \frac{1}{2}  p = \frac{1}{6}
5 1 min. 2,6 Std.
10 34 min. 28 Monate
15 18 Std. 18 · 10^{3} Jahre
20 24 Tage 141 · 10^{6} Jahre

Satz 9.6 (Rechenregeln für erzeugende Funktionen)

1. Seien X, Y : Ω → ℕ unabhängige Zufallsvariablen.

Dann gilt g_{X+Y} (t) = g_{X}(t)g_{Y} (t).

2. Seien T, X_{1}, X_{2}, …: Ω → ℕ unabhängige Zufallsvariablen für die X_{1}, X_{2}, … die gleiche Verteilung haben und sei S : Ω → ℕ def. durch ω ↦ X_{1}(ω) + … + X_{T (ω)}(ω).

Dann gilt g_{S}(t) = g_{T} (g_{X_{i}}(t)).

3. In der Situation von 2. gilt E(S) = E(T) · E(X_{i}) ”Wald’sche Identität“

Existieren E(T^{2}) und E(X_{i}^{2}), so gilt auch

Var(S) = Var(T) · E(X_{i})^{2} + E(T) · Var(X_{i}).

Beweis:

1. Es gilt g_{X+Y} (t) = ∑_{k=0}^{∞} P (X + Y = k)t^{k} =

∑_{k=0}^{∞} ∑_{i=0}^{k} P (X = i, Y = k − i)t^{k} =

∑_{k=0}^{∞} ∑_{i=0}^{k}(P (X = i)t^{i})(P (Y = k − i)t^{k−i}) =

(∑_{i=0}^{∞} P (X = i)t^{i}) (∑_{j=0}^{∞} P (Y = j)t^{j}) =

g_{X}(t) · g_{Y} (t)

2. Für n ≥ 1 und die Zufallsvariable Y_{n} = X_{1} + … + X_{n} gilt g_{Y_{n}}(t) = g_{X_{i}}(t)^{n} nach 1. . Da T und Y_{n} unabhängig sind, folgt für k ≥ 0 die Gleichung

P (S = k) = ∑_{n=0}^{∞} P (T = n, Y_{n} = k) = ∑_{n=0}^{∞} P (T = n)P (Y_{n} = k)

Hieraus ergibt sich

g_{S}(t) = ∑_{k=0}^{∞} P (S = k)t^{k} = ∑_{n=0}^{∞} P (T = n) ∑_{k=0}^{∞} P (Y_{n} = k)t^{k} =

∑_{n=0}^{∞} P (T = n)g_{X_{i}}(t)^{n} = g_{T} (g_{X_{i}}(t)).

3. Aus 2. und der Kettenregel folgt g′_{S}(t) = g′_{T} (g_{X_{i}}(t)) · g′_{X_{i}}(t) und die Behauptung für den Erwartungswert ergibt sich aus lim_{t→^{<}1} g_{X_{i}}(t) = 1 sowie Satz 9.4 3. .

Nochmaliges Differenzieren liefert g′′_{S}(t) = g′_{T} (g_{X_{i}}(t)) · g′′_{X_{i}}(t) + g′′_{T} (g_{X_{i}}(t)) · g′_{X_{i}}(t)^{2} Also folgt:

lim_{t→^{<}1} g′′_{S}(t) = E(T) · lim_{t→^{<}1} g′′_{X_{i}}(t) + lim_{t→^{<}1} g′′_{T} (t) · E(X_{i})^{2}

Mittels Satz 9.4 3. erhalten wir

Var(S) = lim_{t→^{<}1} g′′_{S}(t) + E(S) − E(S)^{2} =

E(T)E(X_{i}) − E(T)^{2}E(X_{i})^{2} + E(T)(Var(X_{i}) − E(X_{i}) + E(X_{i})^{2})+ E(X_{i})^{2}(Var(T) − E(T) + E(T)^{2}) = Var(T)E(X_{i})^{2} + E(T) Var(X_{i})

□

Beispiel 9.7 Sind X, Y : Ω → ℝ binomialverteilt mit P_{X} = b_{m,p} und P_{Y} = b_{n,p} für m, n ∈ ℕ und p ∈ [0, 1], so ist die Zufallsvariable X + Y : Ω → ℝ binomialverteilt mit P_{X+Y} = b_{m+n,p}, denn g_{X+Y} = g_{X}(t) · g_{Y} (t) = (pt + 1 − p)^{m}(pt + 1 − p)^{n} = (pt + 1 − p)^{m+n}.

Beispiel 9.8 Ein radioaktives Präparat sendet in der Minute T Teilchen aus. Jedes davon wird mit der Wahrscheinlichkeit p von einem Messgerät registriert. Ω =Menge der Minuten Sei T : Ω → ℕ, def. durch ω ↦Anzahl der in Minute ω ausgestrahlten Teilchen. Sei X_{i} : Ω → {0, 1}, def. durch ω ↦das i-te in Minute ω ausgestrahlte Teilchen wird registriert(1) oder nicht(0). ⇒ T ist Poisson-verteilt zu einem Parameter λ und X_{i} ist Bernoulli-verteilt zum Parameter p. ⇒ für die Anzahl S der registrierten Teilchen gilt: g_{S}(t) = e^{λ(g_{X_{i}}(t)−1)} = e^{λ(−p+pt)} = e^{pλ(t−1)} ⇒ S : Ω → ℝ ist wieder Poisson-verteilt zum Parameter pλ.

10 Allgemeine Wahrscheinlichkeitsräume

Beispiel 10.1 (Buffons Nadelproblem (1778)) Auf einen rechteckigen Teil der Ebene werden Linien im Abstand d gezeichnet. Dann wird eine Nadel der Länge l < d zufällig geworfen, so dass der Mittelpunkt auf dem rechteckigen Teil landet. Mit welcher Wahrscheinlichkeit schneidet die Nadel eine der Linien ?

[figure: d]

Beispiel 10.2 Eine Kreisscheibe werde in Sektoren unterteilt und die Sektoren mit verschiedenen Zahlen versehen. Diese Scheibe wird nun als ”Glücksrad“ benutzt. Mit welcher Wahrscheinlichkeit zeigt der Zeiger beim Stillstand auf eine bestimmte Zahl ?

Bemerkung 10.3 Die Menge der Versuchsergebnisse Ω soll auch überabzählbar viele Elemente haben dürfen. Eine Wahrscheinlichkeitsverteilung P soll wieder die folgenden Eigenschaften haben:

1. P (Ω) = 1 (Normiertheit)

2. Für A_{1}, A_{2}, … ⊂ Ω paarweise disjunkt, gilt P ( ⋃ ._{i≥1} A_{i}) = ∑_{i≥1} P (A_{i}) (Additivität)

Jedoch stoßen wir auf folgendes Problem, wenn wir P auf ganz 𝔓(Ω) definieren wollen: Satz von Banach-Kuratowski (1929): Ist Ω = ℝ und P : 𝔓(Ω) → [0, 1] eine Abbildung mit den Eigenschaften 1. und 2., so gibt es ein Element ω ∈ Ω mit P ({ω}) ≠ 0. Insbesondere ist z.B. im Beispiel 10.2 die Abbildung P nicht ganz auf 𝔓(Ω) definierbar.

Definition 10.4 1. Sei Ω eine Menge. Eine Menge A ⊂ 𝔓(Ω) heißt σ -Algebra in Ω, wenn gilt:

1. Ω ∈ A

2. A ∈ A ⇒ Ω \ A ∈ A

3. A_{1}, A_{2}, … ∈ A ⇒ ⋃_{i≥1} A_{i} ∈ A

2. Ist Ω eine Menge und A ⊂ 𝔓(Ω) eine σ-Algebra in Ω, so heißt das Paar (Ω, A) ein messbarer Raum (der Messraum). Die Teilmengen A ⊂ Ω mit A ∈ A heißen A-messbar.

3. Ist (Ω, A) ein messbarer Raum und P : A → [0, 1] eine Abbildung mit 1. P (Ω) = 1 (Normiertheit)

2. P ( ⋃ ._{i≥1} A_{i}) = ∑_{i≥1} P (A_{i}) für paarweise disjunkte A_{1}, A_{2}, … ∈ A (Additivität) so heißt (Ω, A, P) ein Wahrscheinlichkeitsraum. Die Abbildung P : Ω → [0, 1] heißt Wahrscheinlichkeitsverteilung oder Wahrscheinlichkeitsmaß und die Teilmengen A ⊂ Ω mit A ∈ A heißen Ereignisse.

Satz 10.5 (Eigenschaften von σ-Algebren) Sei Ω eine Menge.

1. Ist A ⊂ 𝔓(Ω) eine σ-Algebra in Ω, und sind A_{1}, A_{2}, … ∈ A, so gilt ⋂_{i≥1} A_{i} ∈ A.

2. Ist I eine nichtleere Menge und sind A_{i} ⊂ 𝔓(Ω) für i ∈ I vorgebene σ-Algebren von Ω, so ist auch A := ⋂_{i∈I} A_{i} ⊂ 𝔓(Ω) eine σ-Algebra.

3. Ist I eine Menge und M = {A_{i}}_{i∈I} ⊂ 𝔓(Ω) eine Menge von Teilmengen von Ω, so gibt es eine eindeutige kleinste σ-Algebra A ⊂ 𝔓(Ω) mit M ⊂ A. Wir schreiben A = A(M) und nennen A(M) die von M erzeugte σ-Algebra.

Beweis:

1. Es gilt ⋂_{i≥1} A_{i} = Ω \ ⋃_{i≥1}(Ω \ A_{i}) ∈ A.

2. Wegen Ω ∈ A_{i} für jedes i ∈ I gilt Ω ∈ ⋂_{i∈I} A_{i}.

Ist A ∈ ⋂_{i≥1} A_{i}, so gilt Ω \ A ∈ A_{i} für alle i ∈ I, also auch Ω \ A ∈ ⋂_{i∈I} A_{i}. Schließlich seinen A_{1}, A_{2}, … ∈ ⋂_{i∈I} A_{i}.

Dann folgt ⋃_{j≥1} A_{j} ∈ A_{i} für alle i ∈ I, also auch ⋃_{j≥1} A_{j} ∈ ⋂_{i∈I} A_{i}.

3. Nach 2. ist ⋂_{A⊂𝔓(Ω) σ-Algebra A⊃M} A eine σ-Algebra in Ω, die M enthält und die in jeder M

enthaltenen σ-Algebra in Ω enthalten ist.

□

Beispiel 10.6 (verschiedene σ-Algebren)

1. Ist Ω eine Menge, so ist 𝔓(Ω) eine σ-Algebra in Ω.

2. Ist n ≥ 1 und Ω = ℝ^{n}, so sei M = {]a_{1}, b_{1}] × … ×]a_{n}, b_{n}] | a_{i}, b_{i} ∈ ℝ, a_{i} < b_{i}} ⊂ 𝔓(Ω). Dann heißt B(ℝ^{n}) := A(M) die borelsche σ-Algebra in ℝ^{n} und die Mengen A ∈ B(ℝ^{n}) heißen borelsche Mengen (oder Borel-messbare Mengen). Für jede offene oder abgeschlossene Teilmenge A ⊂ ℝ^{n} gilt A ∈ B(ℝ^{n}) (aus Analysis bekannt).

Satz 10.7 (Das Lebesgue-Maß) Sei n ∈ ℕ_{+}. Es gibt genau eine Abbildung λ : B(ℝ^{n}) → ℝ mit den folgenden Eigenschaften:

1. Für jedes A ∈ B(ℝ^{n}) ist λ(A) ≥ 0.

2. Sind A_{1}, A_{2}, … ∈ B(ℝ^{n}) paarweise disjunkt, so gilt λ ( ⋃ ._{i≥1} A_{i}) = ∑_{i≥1} λ(A_{i}).

3. Sind a_{i}, b_{i} ∈ ℝ mit a_{i} < b_{i} für i = 1, …, n, so gilt λ(]a_{1}, b_{1}] × … ×]a_{n}, b_{n}]) = (b_{1} − a_{1}) · . . . · (b_{n} − a_{n}).

Dieser Satz ist aus der Analysis bekannt.

Beispiel 10.8 (Fortsetzung von Beispiel 10.2) Sei Ω =]0, 2π] und A = B(ℝ) ∩ 𝔓(Ω). Durch P = \frac{λ}{2π} : A → [0, 1] mit λ=Lebesguemaß auf ℝ wird ein Wahrscheinlichkeitsmaß auf (Ω, A) definiert. Entspricht eine Zahl auf dem Glücksrad z.B. einem Wertebereich ]φ_{i}, φ_{i+1}] mit φ_{i}, φ_{i+1} ∈]0, 2π] und φ_{i} ≤ φ_{i+1}, so gilt P (]φ_{i}, φ_{i+1}]) = \frac{1}{2π}(φ_{i+1} − φ_{i}).

Beispiel 10.9 (Fortsetzung von Beispiel 10.1) Wir betrachten den Fall, dass die rechteckige Fläche folgendermaßen aussieht:

[figure: x; \frac{d}{2}; \frac{d}{2}; φ]

⇒ Ω =] − \frac{d}{2}, \frac{d}{2}]×]0, 2π] ⊂ ℝ^{2} und A = B(ℝ^{2}) ∩ 𝔓(Ω) Ferner sei P := \frac{λ}{2πd} : A → [0, 1] mit λ =Lebesgue-Maß auf ℝ^{2}. Die Nadel schneidet die Linie genau dann, wenn gilt: −\frac{l}{2} cos φ ≤ x ≤ \frac{l}{2} cos φ, falls φ ∈]0, \frac{π}{2}]∪]\frac{3π}{2}, 2π] oder \frac{l}{2} cos φ ≤ x ≤ −\frac{l}{2} cos φ falls φ ∈]\frac{π}{2}, \frac{3π}{2}] Es ergibt sich für das Ereignis A :=”die Nadel schneidet die Linie“

P (A) = \frac{1}{2πd}8 ∫_{0}^{\frac{π}{2}} \frac{l}{2} cos φ dφ = \frac{2l}{πd}[sin φ]0^{\frac{π}{2}} = \frac{2l}{πd}

Satz 10.10 Sei (Ω, A, P) ein Wahrscheinlichkeitsraum und seien A_{1}, A_{2}, … ∈ A mit A_{1} ⊃ A_{2} ⊃ …, sowie B_{1}, B_{2}, … ∈ A mit B_{1} ⊂ B_{2} ⊂ . . .. Dann gilt:

1. P ( ⋂_{i≥1} A_{i}) = lim_{i→∞} P (A_{i})

2. P ( ⋃_{i≥1} B_{i}) = lim_{i→∞} P (B_{i})

Beweis:

1. Für n ≥ 1 gilt A_{n} = ( ⋂_{i≥1} A_{i}) ∪. ( ⋃ ._{i≥n} A_{i} \ A_{i+1})

⇒ P (A_{n}) = P ( ⋂_{i≥1} A_{i}) + ∑_{i≥n} P (A_{i} \ A_{i+1})

Da die Reihe ∑_{i≥1} P (A_{i} \ A_{i+1}) konvergiert, gilt lim_{n→∞} ∑_{i≥n} P (A_{i} \ A_{i+1}) = 0.

Somit folgt lim_{n→∞} P (A_{n}) = P ( ⋂_{i≥1} A_{i})

2. Setze A_{i} = Ω \ B_{i} für i ≥ 1

⇒ A_{1} ⊃ A_{2} ⊃ … absteigende Kette in A und ⋃_{i≥1} B_{i} = Ω \ ( ⋂_{i≥1} A_{i})

Also folgt die Behauptung aus 1. .

□

11 Stetige Wahrscheinlichkeitsverteilungen

Definition 11.1

1. Eine Funktion F : ℝ → [0, 1] heißt Verteilungsfunktion auf ℝ, wenn die folgenden Eigenschaften erfüllt sind:

1. F ist rechtsstetig, d.h. für alle x ∈ ℝ gilt F (x) = lim_{t→^{>}x} F (t).

2. F ist monoton steigend, d.h. für x_{1} ≤ x_{2} gilt F (x_{1}) ≤ F (x_{2}).

3. lim_{x→−∞} F (x) = 0

4. lim_{x→+∞} F (x) = 1

2. Eine Funktion f : ℝ → [0, ∞[ heißt eine Dichte auf ℝ, wenn es eine endliche Menge M ⊂ ℝ gibt, so dass f|_{ℝ\M} stetig ist und es gilt ∫_{−∞}^{∞} f(t) dt = 1.

Satz 11.2 Sei (Ω, A) der messbare Raum (ℝ, B(ℝ)).

1. Ist P : A → [0, 1] ein Wahrscheinlichkeitsmaß, so wird durch F : ℝ → [0, 1], def. durch x ↦ P (] − ∞, x]), eine Verteilungsfunktion definiert.

2. Sei F : ℝ → [0, 1] eine Verteilungsfunktion. Dann gibt es ein eindeutig definiertes Wahrscheinlichkeitsmaß P_{F} : A → [0, 1] mit P_{F} (]a, b]) = F (b) − F (a) für a, b ∈ ℝ mit a ≤ b.

3. Ist f : ℝ → [0, ∞[ eine Dichte, so wird durch F : ℝ → [0, 1], def. durch x ↦ ∫_{−∞}^{x} f(t) dt, eine Verteilungsfunktion auf ℝ definiert. In diesem Fall heißt f eine Dichte zu F.

4. Ist F : ℝ → [0, 1] eine stetige Verteilungsfunktion und gibt es eine endliche Menge M ⊂ ℝ, so dass F_{ℝ\M} stetig differenzierbar ist, so wird durch f : ℝ →

[0, ∞[, def. durch x ↦ \{ \begin{matrix}F′(x) & falls & x ∉ M \\ beliebig & falls & x ∈ M \end{matrix} eine Dichte zu F definiert.

Beweis:

1. Zu 1.:

Sei (x_{n})_{n∈ℕ_{+}} eine Folge von ℝ mit x_{1} ≥ x_{2} ≥ … und lim_{n→∞} x_{n} = x. Für i ≥ 1 setze A_{i} =] − ∞, x_{i}]. Dann gilt ⋂_{i≥1} A_{i} =] − ∞, x] und Satz 10.10

liefert F (x) = P (] − ∞, x]) = P ( ⋂_{i≥1} A_{i}) = lim_{i→∞} P (A_{i}) = lim_{i→∞} F (x_{i}).

Zu 2.: Ist x_{2} ≥ x_{1}, so gilt F (x_{2}) = P (] − ∞, x_{2}]) = F (x_{1}) + P (]x_{1}, x_{2}]) ≥ F (x_{1}). Zu 3.: Sei (x_{i})_{i≥1} eine Folge in ℝ mit lim_{i→∞} x_{i} = −∞. Setze A_{i} =] − ∞, x_{i}] und erhalte ⋂_{i≥1} A_{i} = ∅.

Nach 10.10 folgt lim_{i→∞} F (x_{i}) = lim_{i→∞} P (A_{i}) = P ( ⋂_{i≥1} A_{i}) = 0.

Zu 4.: Sei (x_{i})_{i≥1} eine Folge in ℝ mit lim_{i→∞} x_{i} = ∞. Setze A_{i} =] − ∞, x_{i}] und erhalte ⋃_{i≥1} A_{i} = ℝ.

Nach 10.10 folgt lim_{i→∞} F (x_{i}) = lim_{i→∞} P (A_{i}) = P ( ⋃_{i≥1} A_{i}) = P (ℝ) = 1.

2. bekannt aus Maßtheorie

3. Zu 1.:

Sei (x_{n})_{n∈ℕ} eine Folge in ℝ mit lim_{n→∞} x_{n} = x und x_{1} ≥ x_{2} ≥ . . ..

Dann gilt: F (x_{n}) = ∫_{−∞}^{x_{n}} f(t) dt → ∫_{−∞}^{x} f(t) dt = F (x) für n → ∞, denn

|∫_{x}^{x_{n}}f(t) dt| ≤^{(*)} (x_{n} − x) max_{x≤t≤x_{n}} |f(t)|.

(*): Für n ≫ 0 sei o.E. [x, x_{n}] ∩ M = ∅ Zu 2.: Seien x_{1}, x_{2} ∈ ℝ mit x_{1} ≤ x_{2}.

Aus f(t) ≥ 0 für t ∈ [x_{1}, x_{2}] folgt ∫_{x_{1}}^{x_{2}}f(t) dt ≥ 0 und somit F (x_{1}) = ∫_{−∞}^{x_{1}} f(t) dt ≤

∫_{−∞}^{x_{2}} f(t) dt = F (x_{2}).

Zu 3.: Sei (x_{n})_{n≥1} eine Folge in ℝ mit lim_{n→∞} x_{n} = −∞.

Dann gilt lim_{n→∞} ∫_{x_{n}}^{∞}f(t) dt = ∫_{−∞}^{∞} f(t) dt = 1.

Also folgt lim_{n→∞} F (x_{n}) = lim_{n→∞} ∫_{−∞}^{x_{n}} f(t) dt = 1 − lim_{n→∞} ∫_{x_{n}}^{∞}f(t) dt = 0.

Zu 4.:

Ist (x_{n})_{n≥1} eine Folge in ℝ mit lim_{n→∞} x_{n} = ∞.

Dann gilt lim_{n→∞} F (x_{n}) = lim_{n→∞} ∫_{−∞}^{x_{n}} f(t) dt = ∫_{−∞}^{∞} f(t) dt = 1.

4. Da F |_{ℝ\M} stetig differenzierbar ist, stellt f|_{ℝ\M} = F′|_{ℝ\M} eine stetige Funktion dar. Ferner gilt

∫_{−∞}^{∞} f(t) dt = lim_{x→∞} ∫_{−∞}^{x} F′(t) dt = lim_{x→∞}[F (x) − lim_{y→−∞} F (y)] = lim_{x→∞} F (x) = 1

□

Bemerkung 11.3

1. Ist F : ℝ → [0, ∞[ eine Dichte zu einer Verteilungsfunktion F, bzw. zu einem Wahrscheinlichkeitsmaß P_{F}, so gilt P_{F} ({a}) = 0 für alle a ∈ ℝ, denn

P_{F} ({a}) =^{Satz 10.10} lim_{x→^{<}a} P_{F} (]x, a]) = lim_{x→^{<}a}(F (a) − F (x)) = lim_{x→^{<}a} ∫_{x}^{a} f(t) dt = 0.

2. Nicht jede Verteilungsfunktion besitzt eine Dichte.

Beispiel 11.4 Die Funktion F : ℝ → [0, 1] sei folgendermaßen definiert:

x ↦ 0 für x < 0
x ↦ 1 für x ≥ 1
x ↦ \frac{1}{2} für \frac{1}{3} ≤ x < \frac{2}{3}
x ↦ \frac{1}{4} für \frac{1}{9} ≤ x < \frac{2}{9}
x ↦ \frac{3}{4} für \frac{7}{9} ≤ x < \frac{8}{9}

usw., d.h. falls F auf einem Teilintervall [a, b[ von [0, 1[ noch nicht definiert ist, so setze F (x) = \frac{1}{2}(lim_{x→a^{<}} F (x) + F (b)) für x ∈ [a + \frac{1}{3}(b − a), b − \frac{1}{3}(b − a)[. Dann ist F offenbar eine Verteilungsfunktion. Die Funktion F hat abzählbar unendlich viele Unstetigkeitsstellen M. Auf ℝ \ M ist F stetig differenzierbar mit F′(x) = 0 für x ∈ ℝ \ M. Besitzt F eine Dichte f, so muss also f(x) = 0 gelten für x ∈ ℝ \ M. Dann wäre F = 0. Widerspruch ! Bei dem zu F gehörigen Wahrscheinlichkeitsmaß P_{F} gilt jedoch P_{F} ({a}) = 0 für alle a ∈ ℝ.

Beispiel 11.5 (Die Gleichverteilung) Seien a, b ∈ ℝ mit a ≤ b und sei f : ℝ → [0, ∞[, def. durch

x ↦ \{ \begin{matrix}\frac{1}{b−a} & für & a < x < b \\ 0 & für & x < a oder x > b \\ beliebig & für & x ∈ \{a, b\} \end{matrix} .

Dann ist f eine Dichte zu F : ℝ → [0, 1], def. durch x ↦ ∫_{−∞}^{x} f(t) dt. und die zugehörige Wahrscheinlichkeitsverteilung P_{F} heißt die Gleichverteilung auf [a, b]. Offenbar gilt P_{F} (A) = \frac{1}{b−a}λ(A ∩ [a, b]) für A ∈ B(ℝ).

Beispiel 11.6 Das Glücksrad wurde in Beispiel 10.8 beschrieben durch die Gleichverteilung auf ]0, 2π].

Beispiel 11.7 (Die Normalverteilung) Sei μ ∈ ℝ und σ ∈ [0, ∞[. Dann heißt die durch die Dichte f : ℝ → [0, ∞[, def. durch x ↦ \frac{1}{\sqrt{2π}σ} exp (−\frac{(x−μ)^{2}}{2σ^{2}} ), definierte Verteilungsfunktion F : ℝ → [0, 1], bzw. die Wahrscheinlichkeitsverteilung P_{F} : B(ℝ) → [0, 1], die (eindimensionale) Normalverteilung mit Erwartungswert μ und Standardabweichung σ. Sie wird auch als N(μ, σ^{2})-Verteilung bezeichnet. Die Verteilung N(0, 1) heißt die Standardnormalverteilung. Die Tatsache, dass f eine Dichte ist, folgt aus Satz 11.9.

Definition 11.8

1. Der Graph der Funktion φ : ℝ → ℝ, def. durch x ↦ \frac{1}{\sqrt{2π}}e^{− \frac{x^{2}}{2}} , heißt die Gauß’sche Glockenkurve.

2. Wir definieren auch die Funktion Φ : ℝ → ℝ durch x ↦ ∫_{−∞}^{x} φ(t) dt.

Satz 11.9

1. Es gilt ∫_{−∞}^{∞} φ(t) dt = 1.

2. Die Funktion Φ ist die Verteilungsfunktion der Standardnormalverteilung.

3. Die Dichte f der N(μ, σ^{2})-Verteilung erfüllt f(x) = \frac{1}{σ}φ (\frac{x−μ}{σ}).

4. Für die Verteilungsfunktion F der N(μ, σ^{2})-Verteilung gilt F (x) = Φ (\frac{x−μ}{σ}) für alle x ∈ ℝ. Insbesondere ergibt sich P_{F} (]a, b]) = Φ (\frac{b−μ}{σ}) − Φ (\frac{a−μ}{σ}) für alle a, b ∈ ℝ mit a ≤ b.

1. ( ∫_{−∞}^{∞} e^{− \frac{t^{2}}{2}} dt)^{2} = ∫_{−∞}^{∞} ∫_{−∞}^{∞} e^{− \frac{x^{2}+y^{2}}{2}} dx dy =^{(*)}

∫_{0}^{2π} ∫_{0}^{∞}e^{− \frac{r^{2}}{2}} r dr dφ = 2π[−e^{− \frac{r^{2}}{2}} ]_{0}^{∞} = 2π

(*): Übergang zu Kugelkoordinaten !

2. Offenbar ist φ die Dichte von N(0, 1).

Also ist Φ die Verteilungsfunktion von N(0, 1).

3. Es gilt F (x) = \frac{1}{\sqrt{2π}} \frac{1}{σ} exp (−\frac{1}{2} (\frac{x−μ}{σ})^{2}) = \frac{1}{σ}φ (\frac{x−μ}{σ})

4. Es gilt F (x) = ∫_{−∞}^{x} f(t) dt = ∫_{−∞}^{x} \frac{1}{σ}φ (\frac{t−μ}{σ}) dt =^{(*)}

∫_{−∞}^{\frac{x−μ}{σ}} φ(u) du = Φ (\frac{x−μ}{σ})

(*): Substitution u := \frac{t−μ}{σ}

□

Notation: ℝ_{+} :=]0, ∞[

Satz 11.10 (Stirlingsche Formel)

Es gibt eine Zahl τ ∈ ℝ_{+} mit lim_{n→∞} \frac{n!}{τn^{(n+ \frac{1}{2} )}e^{−n}} = 1

(Später wird τ = \sqrt{2π} gezeigt.)

Insbesondere gilt für n ≫ 0 die Approximation

n! ≈ \sqrt{2πn} (\frac{n}{e})^{n}.

Beweis:

Für k = 1, …, n gilt ∫_{k− \frac{1}{2}}^{k+ \frac{1}{2}} ln x dx ≤^{ln x konkav} ln k ≤^{ln x mon. steigend} ∫_{k}^{k+1}ln x dx

Durch Summation ergibt sich ∫_{\frac{1}{2}}^{n+ \frac{1}{2}} ln x dx ≤ ln n! ≤ ∫_{1}^{n+1}ln x dx.

Nun ist x ln x − x eine Stammfunktion von ln x, deshalb folgt weiter: (n + \frac{1}{2}) ln(n + \frac{1}{2}) − n − \frac{1}{2} ln \frac{1}{2} ≤ ln n! ≤ (n + 1) ln(n + 1) − n Setze d_{n} := ln n! − (n + \frac{1}{2}) ln n + n ⇒ d_{n} ≥ −\frac{1}{2} ln \frac{1}{2} und d_{n} − d_{n+1} = − ln(n + 1) + (n + \frac{1}{2}) ln n + n + (n + \frac{3}{2}) ln(n + 1) − (n + 1) = −1 − (n + \frac{1}{2}) ln n + (n + \frac{1}{2}) ln(n + 1) = (ln \frac{n+1}{n}) − 1 =

\underbrace{∫_{n}^{n+1}ln x dx}_{[x ln x−x]_{n}^{n+1}} −\frac{ln n+ln(n+1)}{2} ≥ 0^{ln x konkav}

⇒ (d_{n})_{n∈ℕ_{+}} ist monoton fallend und besitzt untere Schranke −\frac{1}{2} ln \frac{1}{2} ⇒ lim_{n→∞} d_{n} existiert und wir können τ := exp( lim_{n→∞} d_{n}) betrachten.

τ = lim_{n→∞} \frac{n!}{n^{n+ \frac{1}{2}} e^{−n}} □

Satz 11.11 (Lokaler Grenzwert für die Binomialverteilung)

Sei 0 < p < 1. Für n ≥ 1 sei σ_{n} = \sqrt{np(1 − p)} die Standardabweichung der

b_{n,p}-Verteilung und x_{n}(k) = \frac{k−np}{σ_{n}} für k ∈ ℝ.

Gilt lim_{n→∞} \frac{x_{n}(k_{n})^{3}}{\sqrt{n}} = 0 für eine Folge (k_{n})_{n≥1} in ℝ_{+}, so folgt

lim_{n→∞} \frac{b_{n,p}(k_{n})}{φ(x_{n}(k_{n}))/σ_{n}} = \frac{\sqrt{2π}}{τ}(= 1)

Beweis: Für n ≥ 1 setze t_{n} := \frac{k_{n}}{n}. Dann gilt \frac{x_{n}(k_{n})^{3}}{\sqrt{n}} = \frac{(k_{n}−np)^{3}}{\sqrt{np(1−p)}^{3}\sqrt{n}} = \frac{n(t_{n}−p)^{3}}{\sqrt{p(1−p)}^{3}} und die Voraussetzung liefert

lim_{n→∞} n(t_{n} − p)^{3} = 0.

Insbesondere folgt lim_{n→∞} t_{n} = p. Aus der Stirlingschen Formel ergibt sich: b_{n,p}(k) = \frac{n!}{(k_{n})!(n−k_{n})!}p^{k_{n}}(1 − p)^{n−k_{n}} →

\frac{1}{τ} \sqrt{\frac{n}{k_{n}(n−k_{n})}} \frac{e^{−n}}{e^{−kn}e^{−n+kn}} \frac{n^{n}}{k_{n}^{kn}(n−k_{n})^{n−kn}} p^{k_{n}}(1 − p)^{n−k_{n}} =

\frac{1}{τ} \sqrt{\frac{n}{k_{n}(n−k_{n})}} (\frac{np}{k_{n}})^{k_{n}} (\frac{n(1−p)}{n−k_{n}})^{n−k_{n}} für n → ∞.

Nun gilt \sqrt{\frac{n}{k_{n}(n−k_{n})}} = \frac{1}{\sqrt{nt_{n}(1−t_{n})}} → \frac{1}{\sqrt{np(1−p)}} = \frac{1}{σ_{n}} für n → ∞.

Es ist nur noch Folgendes zu zeigen:

Für χ_{n}(k_{n}) := (\frac{np}{k_{n}})^{k_{n}} (\frac{n(1−p)}{n−k_{n}})^{n−k_{n}} gilt lim_{n→∞} \frac{χ_{n}(k_{n})}{exp(− \frac{1}{2} x_{n}(k_{n})^{2})} = 1

Es gilt ln χ_{n}(k_{n}) = k_{n} ln (\frac{p}{t_{n}} ) + (n − k_{n}) ln (\frac{1−p}{1−t_{n}} )

⇒ − ln χ_{n}(k_{n}) = n [t_{n} ln (\frac{t_{n}}{p} ) + (1 − t_{n}) ln (\frac{1−t_{n}}{1−p} )]

Betrachte die Funktion g :]0, 1[→ ℝ, def. durch t ↦ t ln (\frac{t}{p}) + (1 − t) ln (\frac{1−t}{1−p}) Es gilt: g(p) = 0, g′(p) = 0, g′′(p) = \frac{1}{p(1−p)} Taylorentwicklung von g bei t = p liefert: g(t) = \frac{(t−p)^{2}}{2p(1−p)} + h(t − p) mit |h(t − p)| ≤ c|t − p|^{3} für ein c > 0 bei t = p. Das heißt: Zu jedem c > 0 gibt es eine Umgebung U von p mit R(t) ≤ c|t − p|^{3} für alle t ∈ U. In unserer Situation war lim_{n→∞} n(t_{n} − p)^{3} = 0. Deshalb gilt

− ln χ_{n}(k_{n}) → \frac{n(t_{n}−p)^{2}}{2p(1−p)} = \frac{(k_{n}−np)^{2}}{2np(1−p)} = \frac{x_{n}(k_{n})^{2}}{2} für n → ∞

⇒ lim_{n→∞} \frac{χ_{n}(k_{n})}{exp(− \frac{1}{2} χ_{n}(k_{n})^{2})} □

Satz 11.12 (Satz von Moivre-Laplace)

Sei (Ω, P) ein (diskreter) Wahrscheinlichkeitsraum, sei 0 < p < 1 und sei für

jedes n ≥ 1 eine b_{n,p}-verteilte Zufallsvariable X_{n} : Ω → ℝ gegeben.

Ferner sei X_{n}^{∗} = \frac{X_{n}−E(X_{n})}{σ(X_{n})} = \frac{X_{n}−np}{\sqrt{np(1−p)}} für jedes n ≥ 1 die Standardisierung von

X_{n}.

Dann gilt für alle a, b ∈ ℝ mit a ≤ b die Gleichung

lim_{n→∞} P (a ≤ X_{n}^{∗} ≤ b) = \underbrace{\frac{\sqrt{2π}}{τ}}_{=1 später}(Φ(b) − Φ(a)) = \underbrace{\frac{\sqrt{2π}}{τ}}_{=1 später} P_{Φ}(]a, b])

Beweis: Sei σ_{n} := σ(X_{n}). Für ein ω ∈ Ω gilt a ≤ X_{n}^{∗} ≤ b genau dann, wenn aσ_{n} + np ≤ X_{n}(ω) ≤ bσ_{n} + np gilt. Sei α_{n} = min{z ∈ ℤ | z ≥ aσ_{n} + np} und β_{n} = max{z ∈ ℤ | z ≤ bσ_{n} + np}. Dann gilt also {ω ∈ Ω | a ≤ X_{n}^{∗}(ω) ≤ b} = {ω ∈ Ω | α_{n} ≤ X_{n}(ω) ≤ β_{n}}. Betrachte nun x_{n}(α_{n}) = \frac{α_{n}−np}{σ_{n}} und x_{n}(β_{n}) = \frac{β_{n}−np}{σ_{n}}. Es gilt |x_{n}(α_{n}) − a| ≤ \frac{1}{σ_{n}} und |x_{n}(β_{n}) − b| ≤ \frac{1}{σ_{n}} ⇒ die Folgen (x_{n}(α_{n}))_{n≥1} und (x_{n}(β_{n}))_{n≥1} sind beschränkt.

⇒ lim_{n→∞} \frac{x_{n}(α_{n})^{3}}{\sqrt{n}} = 0, lim_{n→∞} \frac{x_{n}(β_{n})^{3}}{\sqrt{n}} = 0

⇒ nach Satz 11.11 gilt

lim_{n→∞} \frac{b_{n,p}(k_{n})}{φ(x_{n}(k_{n}))/σ_{n}} = \frac{\sqrt{2π}}{τ} für jede Folge (k_{n})_{n≥1} mit α_{n} ≤ k_{n} ≤ β_{n}.

⇒ es gibt eine Folge (ε)_{n≥1} in ℝ_{+} mit lim_{n→∞} ε_{n} = 0, so dass gilt

(*) 1 − ε_{n} < \frac{b_{n,p}(k_{n})}{φ(x_{n}(k_{n}))/σ_{n}} \frac{τ}{\sqrt{2π}} < 1 + ε_{n} Betrachte nun die eingeschränkte Funktion φ_{[x_{n}(α_{n}− \frac{1}{2} ),x_{n}(α_{n}+ \frac{1}{2} )]} → ℝ. Für k = α_{n}, …, β_{n} sind die Punkte x_{n}(k) die Mittelpunkte von Teilintervallen der Länge \frac{1}{σ_{n}} in die dieses Intervall aufgeteilt ist.

Die zugehörige Riemann-Summe von φ lautet R_{n} = ∑_{k=α_{n}}^{β_{n}} φ(x_{n}(k))\frac{1}{σ_{n}}

Für n → ∞ gilt | ∫_{x_{n}(α_{n}− \frac{1}{2} )}^{x_{n}(β_{n}+ \frac{1}{2} )}φ(x) dx − R_{n}| =

= |Φ(x_{n}(β_{n} + \frac{1}{2})) − Φ(x_{n}(α_{n} − \frac{1}{2})) − R_{n}| → 0. Wegen lim_{n→∞} x_{n}(α_{n} − \frac{1}{2}) = a und lim_{n→∞} x_{n}(β_{n} + \frac{1}{2}) = b zeigt dies lim_{n→∞} R_{n} = Φ(b) − Φ(a). Summiert man die Gleichung (*) über k = α_{n}, …, β_{n}, so folgt

(1 − ε_{n}) ∑_{k=α_{n}}^{β_{n}} φ(x_{n}(k))\frac{1}{σ_{n}} < \frac{τ}{\sqrt{2π}} ∑_{k=α_{n}}^{β_{n}} P (X_{n} = k) < (1 + ε_{n}) ∑_{k=α_{n}}^{β_{n}} φ(x_{n}(k))\frac{1}{σ_{n}}

⇒ (1 − ε_{n})R_{n} < \frac{τ}{\sqrt{2π}}P (α_{n} ≤ X_{n} ≤ β_{n}) < (1 + ε_{n})R_{n}

⇒ lim_{n→∞} P (a ≤ X_{n}^{∗} ≤ b) = lim_{n→∞} P (α_{n} ≤ X_{n} ≤ β_{n}) = \frac{\sqrt{2π}}{τ} lim_{n→∞} R_{n} =

\frac{\sqrt{2π}}{τ}(Φ(b) − Φ(a)) □

Korollar 11.13 Es gilt τ = \sqrt{2π}.

Beweis: Wähle a = −b und b ≫ 0 in Satz 11.12. Ferner wähle α_{n}, β_{n} wie in Beweis von 11.12 mit {ω ∈ Ω | −b ≤ X_{n}^{∗} ≤ b} = {ω ∈ Ω | α_{n} ≤ X_{n} ≤ β_{n}}

⇒ lim_{n→∞} x_{n}(α_{n}) = −b und lim_{n→∞} x_{n}(β_{n}) = b

lim_{n→∞} R_{n} = Φ(b) − Φ(−b)

Nach der Tschebyschew-Ungleichung gilt 1 − P (−b ≤ X_{n}^{∗} ≤ b) ≥ 1 − \frac{1}{b^{2}}

⇒^{Satz 11.12} Φ(b) − Φ(−b) = \frac{τ}{2π} lim_{n→∞} P (−b ≤ X_{n}^{∗} ≤ b) ≥ \frac{τ}{\sqrt{2π}}(1 − \frac{1}{b^{2}} )

⇒ 1 = lim_{b→∞}(Φ(b) − Φ(−b)) ≥ \frac{τ}{\sqrt{2π}}

⇒ τ ≤ \sqrt{2π} Andererseits gilt Φ(b) − Φ(−b) = \frac{τ}{\sqrt{2π}} lim_{n→∞} \underbrace{P (−b ≤ X_{n}^{∗} ≤ b)}_{≤1} ≤ \frac{τ}{\sqrt{2π}} und somit

1 = lim_{n→∞}(Φ(b) − Φ(−b)) ≤ \frac{τ}{\sqrt{2π}}

⇒ τ ≥ \sqrt{2π} □

Beispiel 11.14 (Wahlvorhersage) Es soll geschätzt werden, wieviele Prozent der Wähler eine bestimmte Partei wählen werden. Wieviele Wähler müssen befragt werden, damit die Vorhersage mit 95% Wahrscheinlichkeit auf ±1% genau stimmt ? Sei n die Anzahl der befragten Wähler. Ω = {0, 1}^{n} mit 1 entspricht: Wähler stimmt für die Partei. X_{n} : Ω → ℝ sei def. durch (ω_{1}, …, ω_{n}) ↦ ω_{1} + … + ω_{n} ⇒ X_{n} ist b_{n,p}-verteilt mit p =gesuchter Prozentsatz. Wir brauchen P (−0, 01 ≤ \frac{X_{n}}{n} − p ≤ 0, 01) = P (−0, 01n ≤ X_{n} − np ≤ 0, 01n) = P (\frac{−0,01n}{σ_{n}} ≤ X_{n}^{∗} ≤ \frac{0,01n}{σ_{n}}) ≥ 0, 95 mit σ_{n} = \sqrt{np(1 − p)}.

P (\frac{−0,01}{σ_{n}} ≤ X_{n}^{∗} ≤ \frac{0,01}{σ_{n}}) ≈ Φ (\frac{0,01n}{σ_{n}})−Φ (\frac{−0,01n}{σ_{n}}) =^{φ symmetrisch} 2Φ (\frac{0,01n}{σ_{n}})−1 ≥ 0, 95

⇒ Φ (\frac{0,01n}{σ_{n}}) ≥ 0, 975 ⇒ \frac{0,01n}{σ_{n}} ≥ 1, 96 ⇒ n ≥ p(1 − p) · 10000 · (1, 96)^{2}. Wegen p(1 − p) ≤ \frac{1}{4} genügt es ungefähr 9600 Wähler zu befragen.

Beispiel 11.15 Ein Flugzeug habe 200 Passagiere. Wieviele Reservierungen kann die Fluglinie akzeptieren, wenn einzelne Reservierungen mit 20% Wahrscheinlichkeit storniert werden und die Wahrscheinlichkeit einer Überbuchung < 2, 5% sein soll ? Sei n die Zahl der Reservierungen. Ω = {0, 1}^{n} mit 1 entspricht: Reservierung wurde wahrgenommen. (Ω, P) ist n-ter Bernoulli-Raum mit Parameter p = 0, 8. X_{n} : Ω → ℝ sei def. durch (ω_{1}, …, ω_{n}) ↦ ω_{1} + … + ω_{n} Zahl der wahrgenommenen Reservierungen. ⇒ X_{n} ist b_{n,p}-verteilt. Es soll P (X_{n} > 200) ≤ 0, 025. Äquivalent ist P (X_{n}^{∗} > \frac{200−np}{σ_{n}}) ≤ 0, 025. Es gilt 0, 025 ≥ P (X_{n}^{∗} > \frac{200−np}{σ_{n}}) = 1 − P (X_{n}^{∗} ≤ \frac{200−np}{σ_{n}}) ≈ 1 − Φ (\frac{200−np}{σ_{n}}). Also Φ (\frac{200−np}{σ_{n}}) ≥ 0, 975. ⇒ 200 − np ≥ σ_{n}Φ^{−1}(0, 975) ≈ 1, 96σ_{n} ⇒ 0, 8n + 0, 784\sqrt{n} ≤ 200 ⇒ \sqrt{n} ≤ 15, 33 ⇒ n ≤ 235 Probe: Bei n = 235 gilt P (X_{n} > 200) ≈ 0, 0208 Bei n = 236 gilt P (X_{n} > 200) ≈ 0, 285 Also sind 235 Reservierungen möglich.

Definition 11.16 Sei λ ∈ ℝ_{+}. Dann heißt die durch die Dichte f : ℝ → [0, ∞[, def. durch

x ↦ \{ \begin{matrix}λe^{−λx} & falls & x ≥ 0 \\ 0 & falls & x < 0 \end{matrix} , def. Verteilungsfunktion F : ℝ → [0, 1] bzw. die

zugehörige Wahrscheinlichkeitsverteilung P_{λ} : B(ℝ) → [0, 1] die Exponentialverteilung zum Parameter λ.

Bemerkung 11.17

1. Die Verteilungsfunktion F : ℝ → [0, 1] der Exponentialverteilung zum Parameter λ ist gegeben durch F (x) = 0 für x < 0 und F (x) = ∫_{0}^{x} f(t) dt =

∫_{0}^{x} λe^{−λt} dt = [−e^{−λt}]_{0}^{x} = 1 − e^{−λx} für x ≥ 0.

2. Sei X : ℝ → ℝ geometrisch verteilt zum Parameter p ∈]0, 1[. Dann gilt für alle k ≥ 1 die Gleichung

P (X ≤ k) = ∑_{i=1}^{k} P (X = i) = ∑_{i=1}^{k} p(1 − p)^{i−1} = p\frac{1−(1−p)^{k}}{1−(1−p)} = 1 − (1 − p)^{k} =

1 − e^{k ln(1−p)} = 1 − e^{−λk} mit λ = − ln(1 − p) > 0.

Also ist die Exponentialverteilung das Analagon der geometrischen Verteilung im Fall stetiger ”Zeit“. Sie repräsentiert die Wartezeit bis zum Eintreten eines Ereignisses, das mit zeitlich konstanter Rate auftritt. (z.B. radioaktiver Zerfall, Meteoriteneinschläge, …)

Satz 11.18 (Die Gedächtnislosigkeit der Exponentialverteilung) Sei P : B(ℝ) → [0, 1] die Exponentialverteilung zum Parameter λ > 0. Dann gelten für alle x, y ≥ 0 die Gleichungen

1. P (]x + y, ∞[|]x, ∞[) = P (]y, ∞[)

2. P (] − ∞, x + y]|]x, ∞[) = P (] − ∞, y]) Interpretation: Ist das Ereignis, dessen Wartezeit exponentiell verteilt ist, zum Zeitpunkt x ≥ 0 noch nicht eingetreten, so ist die Wahrscheinlichkeit, dass man noch mindestens y Zeiteinheiten warten muss, genauso groß wie zur Zeit 0.

Beweis:

1. P (]x + y, ∞[|]x, ∞) = \frac{P (]x+y,∞[)}{P (]x,∞[)} = \frac{1−P (]−∞,x+y])}{1−P (]−∞,x])} = \frac{1−(1−e^{λ(x+y)})}{1−(1−e^{λx})} = e^{−λy} = 1 − P (] − ∞, y]) = P (]y, ∞[)

2. P (]−∞, x+y] |]x, ∞[) = 1−P (]x+y, ∞[|]x, ∞[) =^{1.} 1−P (]y, ∞[) = P (]−∞, y])

□

Beispiel 11.19 Die Zeit, die ein Verkäufer braucht um einen Kunden zu bedienen, sei exponential verteilt zum Parameter λ = 0, 8. Dann ist die Wahrscheinlichkeit, dass ein Verkaufsgespräch länger als 2 Minuten dauert, gegeben durch P (]2, ∞[) = 1 − P (] − ∞, 2]) = 1 − (1 − e^{−0,8·2}) ≈ 0, 202.

Satz 11.20 Sei P : B(ℝ) → [0, 1] eine Wahrscheinlichkeitsverteilung mit P (] − ∞, 0]) = 0. Ferner sei P gedächtnislos, d.h. für x, y ≥ 0 mit P (]x, ∞[) > 0 gilt P (]x + y, ∞[|]x, ∞[) = P (]y, ∞[).

Dann ist P eine Exponentialverteilung.

Beweis: Für jedes t ∈ ℝ sei G(t) = 1 − F_{P} (t) = P (]t, ∞[). Für x, y ≥ 0 ist also G(x + y) = G(x) · G(y) gegeben. (*) Für t ≤ 0 gilt nach Voraussetzung G(t) = 1. Für n ∈ ℕ_{+} folgt aus (*) mit Induktion G(n) = G(1)^{n}. Nach Satz 10.10 gilt lim_{n→∞} G(\frac{1}{n}) = lim_{n→∞} P (]\frac{1}{n}, ∞[) = P (]0, ∞[) = 1.

Insbesondere gilt G(\frac{1}{n}) > 0 für genügend großes n und aus (*) folgt G(\frac{1}{n}) = G(1)^{\frac{1}{n}}. Induktiv ergibt sich G(q) = G(1)^{q} für alle q ∈ ℚ_{+}. Nun ist G(t) = 1 − F_{P} (t) monoton fallend und rechtsstetig. Also folgt G(t) = G(1)^{t} für alle t ∈ ℝ_{+}. Hierbei muss 0 < G(1)^{t} ≤ 1 gelten. Wäre G(1) = 1, so wäre F_{P} (t) = 0 für alle t > 0, im Widerspruch zu lim_{t→∞} F_{P} (t) = 1. Also gilt λ := − ln(G(1)) > 0 und G(t) = G(1)^{t} = exp(ln(G(1)^{t})) = exp(t ln(G(1))) = exp(t(−λ)) = e^{−λt} für t ∈ ℝ_{+}. Dies liefert F_{P} (t) = 1 − G(t) = 1 − e^{−λt}. □

Definition 11.21 Sei n ∈ ℕ_{+} und (Ω, A) = (ℝ^{n}, B(ℝ^{n})).

1. Ist P : A → [0, 1] eine Wahrscheinlichkeitsverteilung, so heißt F_{P} : ℝ^{n} → [0, 1],

def. durch (x_{1}, …, x_{n}) ↦ P ({(y_{1}, …, y_{n}) | y_{i} ≤ x_{i} für i = 1, …, n}) = P (]−

∞, x_{1}] × … ×] − ∞, x_{n}]), die zu P gehörige Verteilungsfunktion.

2. Eine (Riemann-)integrierbare Funktion f : ℝ^{n} → [0, ∞[ heißt eine Dichte,

wenn ∫_{ℝ^{n}} f(x_{1}, …, x_{n}) dx_{1} · . . . · dx_{n} = 1 gilt.

3. Eine Wahrscheinlichkeitsverteilung P : A → [0, 1] besitzt eine Dichte f : ℝ^{n} →

[0, ∞[, wenn f eine Dichte ist und für alle (a_{1}, …, a_{n}), (b_{1}, …, b_{n}) ∈ ℝ^{n} mit

a_{i} ≤ b_{i} für i = 1, …, n gilt:

P (]a_{1}, b_{1}] × … ×]a_{n}, b_{n}]) = ∫_{a_{1}}^{b_{1}} … (∫_{a_{n}}^{b_{n}} f(x_{1}, …, x_{n}) dx_{n}) … dx_{1}

Beispiel 11.22 (Gleichverteilung auf einem Gebiet)

Sei n ∈ ℕ_{+} und sei G ⊂ ℝ^{n} eine (lebesgue-)messbare Menge mit λ(G) < ∞.

Dann heißt die Wahrscheinlichkeitsverteilung P : B(ℝ^{n}) → [0, 1], def. durch

A ↦ \frac{1}{λ(G)}λ(A ∩ G), die Gleichverteilung auf G.

Beispiel 11.23 (Bertrands Paradoxon) Eine Sehne wird zufällig in einem Kreis mit Radius r und Mittelpunkt 0 gezogen. Mit welcher Wahrscheinlichkeit ist die Sehne (Sehnenlänge: s) länger als die Seite d des einbeschriebenen gleichseitigen Dreiecks ? \underline{Ansatz 1:} o.E. sei ein Endpunkt der Sehne die Spitze des Dreiecks. Genau dann gilt s > d, wenn der andere Endpunkt im unteren Kreissegment liegt. ⇒ p = \frac{1}{3} \underline{Ansatz 2:} Sei M der Mittelpunkt der Sehne. Es gilt s > d genau dann, wenn \overline{OM} < \frac{r}{2} ist. Also s > d ⇔ \overline{OM} ∈ [0, \frac{r}{2}[ und p = \frac{1}{2}. \underline{Ansatz 3:} Der Mittelpunkt der Sehne liegt zufällig im Kreis. s > d ⇔ \overline{OM} < \frac{r}{2} ⇔ M liegt im Kreis mit Radius \frac{r}{2} um 0. ⇒ p = \frac{Fläche des kleinen Kreises}{Fläche des großen Kreises} = \frac{1}{4} Versuchsergebnisse: Kreislinie entspricht ]0, 2π] Sehne entspricht ]0, 2π]^{2} \ {(x, x) | x ∈]0, 2π]}

12 Stetige Zufallsvariable

Definition 12.1 Seien (Ω, A) und (Ω′, B) zwei messbare Räume.

1. Eine Abbildung f : Ω → Ω′ heißt messbar, wenn für alle B ∈ B gilt f^{−1}(B) ∈ A.

2. Ist (Ω, A, P) sogar ein Wahrscheinlichkeitsraum, so heißt eine messbare Abbildung f : Ω → Ω′ auch eine Zufallsvariable.

Satz 12.2 (Eigenschaften messbarer Abbildungen)

1. Ist (Ω, A) ein messbarer Raum und f : Ω → Ω′ eine Abbildung in eine Menge Ω′, so ist B = {B ⊂ Ω′ | f^{−1}(B) ∈ A} eine σ-Algebra in Ω′ und f ist als Abbildung zwischen (Ω, A) und (Ω′, B) messbar.

2. Ist f : Ω → Ω′ eine Abbildung zwischen zwei messbaren Räumen (Ω, A) und (Ω′, B) und ist M ⊂ B ein Erzeugendensystem von B, so ist f genau dann messbar, wenn {f^{−1}(B) | B ∈ M} ⊂ A.

3. Sind (Ω, A), (Ω′, B),(Ω′′, C) drei messbare Räume und f : Ω → Ω′ sowie g : Ω′ → Ω′′ zwei messbare Abbildungen, so ist g ∘ f : Ω → Ω′′ messbar.

Beweis:

1. Wegen f^{−1}(Ω′) = Ω ∈ A gilt Ω′ ∈ B.

Ist B ∈ B, so gilt f^{−1}(Ω′ \ B) = Ω \ f^{−1}(B) ∈ A, also Ω′ \ B ∈ B.

Sind für i ∈ ℕ Mengen B_{i} ∈ B gegeben, so gilt f^{−1} ( ⋃_{i∈ℕ} B_{i}) = ⋃_{i∈ℕ} f^{−1}(B_{i}) ∈ A, also auch ⋃_{i∈ℕ} B_{i} ∈ B.

2. ”⇒“ klar nach Definition ”⇐“ Das Mengensystem C = {C ⊂ Ω′ | f^{−1}(C) ∈ A} ist nach 1. eine σ-Algebra. Nach Voraussetzung gilt M ⊂ C, also B = A(M) ⊂ C. Das bedeutet nach Definition, dass f messbar ist.

3. Für C ∈ C gilt (g ∘ f)^{−1}(C) = (f^{−1} ∘ g^{−1})(C) = f^{−1}(g^{−1}(C)) ∈ A.

Also ist g ∘ f messbar.

□

Korollar 12.3 (Eigenschaften reellwertiger messbarer Abbildungen) Sei (Ω, A) ein messbarer Raum und sei n ∈ ℕ_{+}.

1. Eine Abbildung f : Ω → ℝ^{n} ist genau dann messbar, wenn für alle x = (x_{1}, …, x_{n}) ∈ ℝ^{n} gilt: f^{−1}(] − ∞, x_{1}] × … ×] − ∞, x_{n}]) ∈ A

2. Ist m ∈ ℕ_{+}, so ist jede stetige Abbildung f : ℝ^{m} → ℝ^{n} messbar.

3. Ist f : ℝ → ℝ eine monoton wachsende oder eine monoton fallende Funktion, so ist f messbar.

4. Sind Funktionen f_{1}, …, f_{n} : Ω → ℝ gegeben, so ist die Funktion f := (f_{1}, …, f_{n}) : Ω → ℝ^{n}, def. durch x ↦ (f_{1}(x), …, f_{n}(x)) genau dann messbar, wenn f_{1}, …, f_{n} messbar sind.

5. Sind f_{i} : Ω → ℝ für i ∈ ℕ_{+} messbare Funktionen, so sind auch die folgenden Funktionen messbar:

1. c_{1}f_{1} + … + c_{n}f_{n} für c_{1}, …, c_{n} ∈ ℝ

2. f_{1} · . . . · f_{n}

3. sup{f_{i} | i ∈ ℕ_{+}}, inf{f_{i} | i ∈ ℕ_{+}} : Ω → [−∞, ∞], wobei Teilmengen A ⊂ [−∞, ∞] genau dann messbar sein sollen, wenn A ∩ ℝ messbar ist.

1. folgt aus Satz 12.2 2.

2. Für jede offene Teilmenge B ⊂ ℝ^{n} gilt f^{−1}(B) ⊂ ℝ^{n} offen, also borelsch. Jetzt folgt die Behauptung aus 12.2 2., weil die offenen Mengen ein Erzeugendensystem der Borelmengen sind. (vgl. Analysis)

3. Für alle x ∈ ℝ ist f^{−1}(] − ∞, x]) ein Intervall und somit Borel-messbar. Die Behauptung folgt wieder aus 12.2 2. .

4. ”⇒“ Sei f messbar und seien a, b ∈ ℝ mit a ≤ b. Für i ∈ {1, …, n} sei D_{i} = {(x_{1}, …, x_{n}) ∈ ℝ^{n} | a < x_{i} ≤ b} ∈ B(ℝ^{n}). Nun gilt f_{i}^{−1}(]a, b]) = f^{−1}(D_{i}) ∈ A, d.h. f_{i} ist messbar ”⇐“ Seien f_{1}, …, f_{n} messbar. Für (a_{1}, …, a_{n}), (b_{1}, …, b_{n}) ∈ ℝ^{n} mit a_{i} ≤ b_{i} für i = 1, …, n gilt

f^{−1}(]a_{1}, b_{1}] × … ×]a_{n}, b_{n}]) = ⋂_{i=1}^{n} f_{i}^{−1}(]a_{i}, b_{i}]) ∈ A, d.h. f ist messbar.

5. Zu 1.:

Sei f = (f_{1}, …, f_{n}) : Ω → ℝ^{n} und g : ℝ^{n} → ℝ sei def. durch (x_{1}, …, x_{n}) ↦ c_{1}x_{1} + … + c_{n}x_{n}. Dann ist f messbar nach 4. und g messbar nach 2. und somit g ∘ f messbar nach Satz 12.2 3. . Zu 2.: Sei f = (f_{1}, …, f_{n}) : Ω → ℝ^{n} und sei g : ℝ^{n} → ℝ def. durch (x_{1}, …, x_{n}) ↦ x_{1} · . . . · x_{n}. Wegen f_{1} · . . . · f_{n} = g ∘ f folgt die Behauptung wie oben. Zu 3.: Die Behauptung folgt aus sup{f_{i} | i ∈ ℕ_{+}}^{−1}(] − ∞, x]) = ⋂_{i≥1} f_{i}^{−1}(] − ∞, x]) ∈

A bzw. aus inf{f_{i} | i ∈ ℕ_{+}}^{−1}(] − ∞, x]) = ⋃_{i≥1} f_{i}^{−1}(] − ∞, x]) ∈ A für x ∈ ℝ.

□

Bemerkung 12.4 Ist Ω abzählbar und A = 𝔓(Ω), so ist jede Abbildung f : Ω →

Ω′ in einen messbaren Raum (Ω′, B) messbar nach 12.1.

Insbesondere ist jede Abbildung f : Ω → Ω′ in den messbaren Raum (Ω′, 𝔓(Ω′))

messbar, d.h. die früher definierten Zufallsvariablen sind auch Zufallsvariable im

Sinne von Definition 12.1.

Satz und Definition 12.5 (Verteilung und Dichte einer Zufallsvariablen)

Sei (Ω, A, P) ein Wahrscheinlichkeitsraum, sei (Ω′, B) ein messbarer Raum und

sei X : Ω → Ω′ eine Zufallsvariable.

1. Durch P_{X} : B → [0, 1], def. durch B ↦ P (X ∈ B) = P (X^{−1}(B)), wird eine Wahrscheinlichkeitsverteilung auf Ω′ definiert. Sie heißt die Verteilung von X.

2. Ist X : Ω → ℝ eine reellwertige Zufallsvariable, so heißt die Funktion F_{X} : ℝ → [0, 1], def. durch x ↦ P (X ≤ x) = P (X^{−1}(]−∞, x])), die Verteilungsfunktion von X. Sie stellt eine Verteilungsfunktion im Sinne von Definition 11.1 dar.

3. Ist X : Ω → ℝ eine reellwertige Zufallsvariable und besitzt die Verteilungsfunktion F_{X} : ℝ → [0, 1] eine Dichte f : ℝ → [0, ∞[, so sagt man auch, X habe die Dichte f bzw. f sei die Dichte von X.

Beweis:

1. P_{X}(Ω′) = P (X^{−1}(Ω′)) = P (Ω) = 1 Sei (B_{i})_{i∈ℕ} eine Familie paarweise disjunkter Elemente von B.

P_{X} ( ⋃ ._{i∈ℕ} B_{i}) = P (X^{−1} ( ⋃ ._{i∈ℕ} B_{i})) =

P ( ⋃ ._{i∈ℕ} X^{−1}(B_{i})) = ∑_{i∈ℕ} P (X^{−1}(B_{i})) = ∑_{i∈ℕ} P_{X}(B_{i})

2. Die Verteilungsfunktion F_{X} ist wegen F_{X}(x) = P (X^{−1}(] − ∞, x])) = P_{X}(] − ∞, x]) die Verteilungsfunktion der Wahrscheinlichkeitsverteilung P_{X} : B(ℝ) → [0, 1], so dass die Behauptung aus Satz 11.2 1. folgt.

□

Satz 12.6 (Eigenschaften der Dichte) Sei (Ω, A, P) ein Wahrscheinlichkeitsraum und X : Ω → ℝ eine reellwertige Zufallsvariable mit Dichte f : ℝ → [0, ∞[.

1. Ist g : ℝ → ℝ bijektive Abbildung und gibt es eine endliche Menge M ⊂ ℝ, so dass g|_{ℝ\M} : ℝ \ M → ℝ stetig differenzierbar ist mit g′(x) > 0 für alle x ∈ (ℝ \ M) ∩ X(Ω) und ℝ \ g(ℝ \ M) endlich, so besitzt die Zufallsvariable Y = g ∘ X : Ω → ℝ eine Dichte h, nämlich h : ℝ → [0, ∞[, def. durch

x ↦ \{ \begin{matrix}\frac{f(g^{−1}(x))}{g′(g^{−1}(x))} & für & x ∈ g(ℝ \ M) \\ beliebig & für & x ∉ g(ℝ \ M) \end{matrix} .

2. Gilt stattdessen in der Situation von 1., g′(x) < 0 für alle x ∈ (ℝ\M)∩X(Ω), so besitzt die Zufallsvariable Y = g ∘ X die Dichte h : ℝ → [0, ∞[, def. durch

x ↦ \{ \begin{matrix}\frac{−f(g^{−1}(x))}{g′(g^{−1}(x))} & für & x ∈ g(ℝ \ M) \\ beliebig & für & x ∉ g(ℝ \ M) \end{matrix} .

3. Für a ∈ ℝ besitzt die Zufallsvariable X + a die Dichte h : ℝ → [0, ∞[, def.

durch x ↦ f(x − a).

4. Für a ∈ ℝ \ {0} besitzt die Zufallsvariable a · X die Dichte h : ℝ → [0, ∞[,

def. durch x ↦ \frac{1}{|a|}f (\frac{x}{a}).

Beweis:

1. Es gilt für alle x ∈ g(ℝ \ M) die Gleichung F_{Y} (x) = P (Y^{−1}(] − ∞, x])) = P (X^{−1}(g^{−1}(] − ∞, x])) =

P_{X}(g^{−1}(]−∞, x])) =^{Monotonie} ∫_{−∞}^{g^{−1}(x)}f(t) dt =^{Subst.:u:=g(t)} ∫_{−∞}^{x} f(g^{−1}(u))\frac{1}{g′(g^{−1}(u))} du =

∫_{−∞}^{x} h(t) dt

⇒ F_{Y} besitzt die Dichte h.

2. folgt analog 1.

3. folgt sofort aus 1. und 2.

4. folgt sofort aus 1. und 2.

□

Satz 12.7 Sei (Ω, A, P) ein Wahrscheinlichkeitsraum und X : Ω → ℝ eine Zu-

fallsvariable mit Dichte f : ℝ → [0, ∞[.

Dann hat die Zufallsvariable Y = X^{2} : Ω → ℝ die Dichte g : ℝ → [0, ∞[, def.

durch y ↦ \{ \begin{matrix}\frac{f(\sqrt{y})}{2\sqrt{y}} + \frac{f(−\sqrt{y})}{2\sqrt{y}} & für y > 0 \\ 0 & sonst \end{matrix} .

Beweis: Für y < 0 gilt P (Y ≤ y) = 0 und für y = 0 gilt P (Y ≤ y) = P (X = 0) = 0, da X eine Dichte hat. Für y > 0 gilt

P (Y ≤ y) = P (Y ≤ y, X < 0) + \underbrace{P (Y ≤ y, X = 0)}_{=0} +P (Y ≤ y, X > 0) =

P (−\sqrt{y} ≤ X < 0) + P (0 < X ≤ \sqrt{y}) =

∫_{−\sqrt{y}}^{0} f(t) dt + ∫_{0}^{\sqrt{y}}f(t) dt =

∫_{−\sqrt{y}}^{0} f(t) dt − ∫_{−∞}^{0} f(t) dt + ∫_{−∞}^{\sqrt{y}} f(t) dt =

− ∫_{−∞}^{−\sqrt{y}}f(t) dt + ∫_{−∞}^{\sqrt{y}} f(t) dt =^{(*)}

− ∫_{−∞}^{y} \frac{f(−\sqrt{u})}{−2\sqrt{u}} du + ∫_{−∞}^{y} \frac{f(\sqrt{u})}{2\sqrt{u}} du = ∫_{−∞}^{y} g(t) dt

(*): 1. Integral: Substitution t := −\sqrt{u}; 2. Integral: Substitution t := \sqrt{u} □ Im Folgenden sei (Ω, A, P) ein Wahrscheinlichkeitsraum und X : Ω → ℝ eine reellwertige Zufallsvariable.

Definition 12.8 Hat X eine abzählbare Bildmenge X(Ω) = {x_{1}, x_{2}, … } ⊂ ℝ

und existiert ∑_{i=1}^{∞} |x_{i}|P (X = x_{i}), so heißt E(X) := ∑_{i=1}^{∞} x_{i}P (X = x_{i}) der Erwar-

tungswert von X .

Lemma 12.9 Für k ∈ ℤ und n ∈ ℕ_{+} definieren wir

A_{nk} = \{ω ∈ Ω | \frac{k}{n} ≤ X(ω) < \frac{k+1}{n}\} ∈ A und X_{n} : Ω → ℝ durch

ω ↦ ∑_{k=−∞}^{∞} \frac{k}{n}χ_{A_{nk}}(ω).

(=”größte rationale Zahl der Form \frac{k}{n} mit k ∈ ℤ und \frac{k}{n} ≤ X(ω) (vgl 1.)“)

1. Für ω ∈ Ω gilt X_{n}(ω) ≤ X(ω) < X_{n}(ω) + \frac{1}{n}.

2. Für alle m, n ∈ ℕ und alle ω ∈ Ω gilt |X_{n}(ω) − X_{m}(ω)| = \frac{1}{n} + \frac{1}{m}.

3. Existiert E(X_{n}) für ein n ∈ ℕ_{+}, so gilt E(X_{n}) = ∑_{k=−∞}^{∞} \frac{k}{n}P (A_{nk}) und E(X_{m})

existiert für alle m ∈ ℕ_{+} und es gilt |E(X_{n}) − E(X_{m})| ≤ \frac{1}{n} + \frac{1}{m}.

Beweis:

1. Es gilt X_{n}(ω) = ∑_{\{k∈ℤ|ω∈A_{nk}\}} \frac{k}{n} ≤ ∑_{^{\{k∈ℤ|ω∈A_{nk}\}}_{es gibt genau ein solches k}} X(ω) = X(ω) <

∑_{\{k∈ℤ|ω∈A_{nk}\}} \frac{k+1}{n} = X_{n}(ω) + \frac{1}{n}

2. Aus 1. folgt |X_{n}(ω) − X(ω)| ≤ \frac{1}{n}.

Nach der Dreiecksungleichung folgt:

|X_{n}(ω) − X_{m}(ω)| ≤ |X_{n}(ω) − X(ω)| + |X_{m}(ω) − X(ω)| ≤ \frac{1}{n} + \frac{1}{m}

3. Existiert E(X_{n}), so gilt E(X_{n}) = ∑_{k∈ℤ} \frac{k}{n}P (X_{n} = \frac{k}{n}) = ∑_{k∈ℤ} \frac{k}{n}P (A_{nk}) =: (∗)

Es gilt A_{nk} = \{\frac{k}{n} ≤ X < \frac{k+1}{n}\} = ⋃ ._{i=0}^{m−1} \{\frac{kn+i}{nm} ≤ X < \frac{km+i+1}{nm}\} =

⋃ ._{i=0}^{m−1} A_{nm,km+i}

Somit folgt:

E(X_{n}) existiert⇔ ∑_{k=−∞}^{∞} |\frac{k}{n} | P (A_{nk}) < ∞ ⇔

∑_{k=−∞}^{∞} |\frac{km}{nm} | P ( ⋃ ._{i=0}^{m−1} A_{nm,km+i}) < ∞ ⇔

∑_{k=−∞}^{∞} ∑_{i=0}^{m−1} |\frac{km}{nm} | P (A_{nm,km+i}) < ∞

E(X_{nm}) existiert⇔ ∑_{k=−∞}^{∞} ∑_{i=0}^{m−1} \underbrace{|\frac{km+i}{nm} |}_{≤|\frac{km}{nm}|+ \frac{i}{nm}} P (A_{nm,km+i}) < ∞

Beachte, dass ∑_{k=−∞}^{∞} ∑_{i=0}^{m−1} \frac{i}{nm}P (A_{nm,km+i}) ≤ \frac{m−1}{nm} ∑_{l=−∞}^{∞} P (A_{nm,l}) = \frac{m−1}{nm} gilt.

Es ergibt sich E(X_{n}) existiert⇔ E(X_{nm}) existiert ⇔^{analog} E(X_{m}) existiert.

Schließlich bleibt |E(X_{n}) − E(X_{m})| ≤ \frac{1}{n} + \frac{1}{m} zu zeigen.

Wie oben errechnet man |E(X_{n}) − E(X_{mn})| ≤ \frac{m−1}{mn} < \frac{1}{n}.

Analog folgt |E(X_{m})−E(X_{nm})| < \frac{1}{m} und die Behauptung ist eine Konsequenz der Dreiecksungleichung

□

Definition 12.10 Ist ∑_{k∈ℤ} |k|P (k ≤ X < k + 1) < ∞, so existiert E(X) :=

lim_{n→∞} ∑_{k∈ℤ} \frac{k}{n}P (\frac{k}{n} ≤ X < \frac{k+1}{n}) und heißt der Erwartungswert von X.

Satz 12.11 (Eigenschaften des Erwartungswerts)

Seien X, Y : Ω → ℝ zwei reellwertige Zufallsvariablen für die E(X) und E(Y)

existieren.

1. (Linearität)

Sind a, b ∈ ℝ, so gilt E(aX + bY) = aE(X) + bE(Y).

2. (Monotonie)

Gilt X(ω) ≤ Y (ω) für alle ω ∈ Ω, so folgt E(X) ≤ E(Y).

3. (Transformationsformel)

Besitzt X eine Dichte f : ℝ → [0, ∞[ und ist g : ℝ → ℝ eine stetige Funktion,

so existert E(g(x)) genau dann, wenn ∫_{−∞}^{∞} |g(x)|f(x) dx < ∞ ist und in diesem

Fall gilt E(g(X)) = ∫_{−∞}^{∞} g(x)f(x) dx.

4. Besitzt X eine Dichte f : ℝ → [0, ∞[, so gilt E(X) = ∫_{−∞}^{∞} xf(x) dx

Beweis:

1. Definiere X_{n}, Y_{n}, (X + Y)_{n} für n ∈ ℕ_{+} wie in Lemma 12.9.

Dann gilt für alle ω ∈ Ω die Ungleichungskette (vgl. 12.9 1.):

(X + Y)_{n}(ω) ≤ (X + Y)(ω) = X(ω) + Y (ω) ≤ X_{n}(ω) + \frac{1}{n} + Y_{n}(ω) + \frac{1}{n} ≤ X(ω) + Y (ω) + \frac{2}{n} ≤ (X + Y)_{n}(ω) + \frac{3}{n} Hieraus folgt |(X + Y)_{n}(ω) − (X_{n}(ω) + Y_{n}(ω))| ≤ \frac{2}{n} und somit |E((X + Y)_{n}) − (E(X_{n}) + E(Y_{n}))| ≤ \frac{2}{n}. Wir erhalten E(X + Y) = lim_{n→∞} E((X + Y)_{n}) = lim_{n→∞} E(X_{n}) + lim_{n→∞} E(Y_{n}) = E(X) + E(Y). Die Gleichung E(aX) = aE(X) folgt unmittelbar aus der Definition.

2. Für alle n ∈ ℕ_{+} und ω ∈ Ω gilt X_{n}(ω) =größte Zahl der Form \frac{k}{n} mit k ∈ ℤ und \frac{k}{n} ≤ X(ω). Somit folgt aus X(ω) ≤ Y (ω) sofort X_{n}(ω) ≤ Y_{n}(ω) für alle n ∈ ℕ_{+}. Nun gilt E(X) = lim_{n→∞} E(X_{n}) ≤ lim_{n→∞} E(Y_{n}) = E(Y).

3. Da g stetig ist, ist g|_{[k,k+1]} für jedes k ∈ ℤ gleichmäßig stetig.

Zu jedem δ > 0 gibt es damit eine streng monoton steigende Familie (x_{n})_{n∈ℤ} in ℝ mit lim_{n→−∞} x_{n} = −∞ und lim_{n→∞} x_{n} = ∞ und mit |g(x) − g(x_{n})| < δ für x_{n} ≤ x < x_{n+1}. Definiere eine Funktion h_{g} : ℝ → ℝ durch x ↦ g(x_{n}) falls x_{n} ≤ x < x_{n+1}. Es gilt |h_{g}(x) − g(x)| < δ für alle x ∈ ℝ. Ferner gilt

E(h_{g}(X)) = ∑_{n=−∞}^{∞} g(x_{n})P (X ∈ [x_{n}, x_{n+1}[) = ∑_{n=−∞}^{∞} g(x_{n})P (X^{−1}([x_{n}, x_{n+1}[)) =

∑_{n=−∞}^{∞} g(x_{n}) ∫_{x_{n}}^{x_{n+1}}f(t) dt.

Wegen |g(x) − g(x_{n})| < δ für x ∈ [x_{n}, x_{n+1}[ und ∑_{n=−∞}^{∞} δ ∫_{x_{n}}^{x_{n+1}}f(t) dt = δ < ∞

gilt:

∑_{n=−∞}^{∞} |g(x_{n})| ∫_{x_{n}}^{x_{n+1}}f(t) dt = ∑_{n=−∞}^{∞} ∫_{x_{n}}^{x_{n+1}}|h_{g}(t)|f(t) dt < ∞ ⇔

∫_{−∞}^{∞} |g(t)|f(t) dt = ∑_{n=−∞}^{∞} ∫_{x_{n}}^{x_{n+1}}|g(t)|f(t) dt < ∞.

Ist dies erfüllt, so gilt |E(h_{g}(X)) − ∫_{−∞}^{∞} g(t)f(t) dt| < δ.

Wegen |h_{g}(x) − g(x)| < δ für x ∈ ℝ gilt auch |E(h_{g}(X)) − E(g(X))| =^{1.}

|E(h_{g}(X) − g(X))| ≤^{2.} |E(δ)| = δ.

Nach der Dreiecksungleichung folgt |E(g(X)) − ∫_{−∞}^{∞} g(t)f(t) dt| < 2δ.

Da δ > 0 beliebig war, folgt die Behauptung.

4. folgt aus 3. mit g(x) = x

□

Bemerkung 12.12 Besitzt X : Ω → ℝ eine Dichte f : ℝ → [0, ∞[ und exis-

tiert E(X^{2}) = ∑_{−∞}^{∞} x^{2}f(x) dx, so existiert wegen |x| ≤ \frac{1}{2}(1 + x^{2}) auch E(X) =

∫_{−∞}^{∞} xf(x) dx.

Definition 12.13 Sei X : Ω → ℝ eine reellwertige Zufallsvariable für die E(X) und E(X^{2}) existieren.

1. Die Zahl Var(X) = E((X −E(X))^{2}) = E(X^{2})−E(X)^{2} ≥ 0 heißt die Varianz von X.

2. Die Zahl σ(X) = \sqrt{Var(X)} heißt die Standardabweichung von X.

Beispiel 12.14 (Erwartungswert und Varianz der Normalverteilung) Eine reellwertige Zufallsvariable X : Ω → ℝ sei N(μ, σ^{2})-verteilt mit μ ∈ ℝ und σ^{2} ∈ [0, ∞[, d.h. P_{X} = N(μ, σ^{2}). Dann gilt E(X) = μ und Var(X) = σ^{2}.

Beweis: Die Zufallsvariable X hat die Dichte f : ℝ → [0, ∞[, def. durch x ↦ \frac{1}{\sqrt{2π}} \frac{1}{σ} exp (−\frac{(x−μ)^{2}}{2σ^{2}} ). Nach Satz 12.6 hat die Zufallsvariable Y := \frac{X−μ}{σ} dann die Dichte φ : ℝ → [0, ∞[, def. durch x ↦ \frac{1}{\sqrt{2π}} exp (−\frac{x^{2}}{2} ).

Wegen φ(−x) = φ(x) für x ∈ ℝ gilt ∫_{−∞}^{0} xφ(x) dx = ∫_{0}^{∞}xφ(x) dx, also E(Y) = 0. Es folgt E(X) = E(σY + μ) = σE(Y) + μ = μ. Wegen E(Y) = 0 gilt auch Var(Y) = E(Y^{2}).

E(Y^{2}) = \frac{1}{\sqrt{2π}} ∫_{−∞}^{∞} x^{2} exp (−\frac{x^{2}}{2} ) dx =

−\frac{1}{\sqrt{2π}} lim_{n→∞} ∫_{−n}^{n} x · (−x exp (−\frac{x^{2}}{2} )) dx =^{partielle Integration}

−\frac{1}{\sqrt{2π}} lim_{n→∞} ([x exp (−\frac{x^{2}}{2} )]_{−n}^{n} − ∫_{−n}^{n} exp (−\frac{x^{2}}{2} ) dx) =

−\frac{1}{\sqrt{2π}} (\underbrace{lim_{n→∞} (2n exp (−\frac{n^{2}}{2} ))}_{=0} − lim_{n→∞} ∫_{−n}^{n} exp (−\frac{x^{2}}{2} ) dx) =

lim_{n→∞} ( ∫_{−n}^{n} \frac{1}{\sqrt{2π}} exp (−\frac{x^{2}}{2} ) dx) = ∫_{−∞}^{∞} φ(x) dx = 1

Also ergibt sich Var(X) = Var(X − μ) = σ^{2} Var (\frac{X−μ}{σ}) = σ^{2} Var(Y) = σ^{2} □

Beispiel 12.15 (Erwartungswert und Varianz der Exponentialverteilung) Eine Zufallsvariable X : Ω → ℝ sei exponential verteilt zum Parameter λ > 0.

Dann gilt E(X) = ∫_{0}^{∞}xλe^{−λx} dx = λ lim_{n→∞} ([−\frac{1}{λ}xe^{−λx}]_{0}^{n} − ∫_{0}^{n} (−\frac{1}{λ}) e^{−λx} dx) =

lim_{n→∞} (ne^{−λn}) + lim_{n→∞} ∫_{0}^{n} e^{−λx} dx = 0 + lim_{n→∞} [−\frac{1}{λ}e^{−λx}]_{0}^{n} = \frac{1}{λ}, sowie

Var(X) = E(X^{2}) − E(X)^{2} = ∫_{0}^{∞}λx^{2}e^{−λx} dx − \frac{1}{λ^{2}} =

λ lim_{n→∞} ∫_{0}^{n} x^{2}e^{−λx} dx − \frac{1}{λ^{2}} =^{partiell}

λ lim_{n→∞} ([x^{2} (−\frac{1}{λ}) e^{−λx}]_{0}^{n} − ∫_{0}^{n} 2x (−\frac{1}{λ}) e^{−λx} dx) − \frac{1}{λ^{2}} =

lim_{n→∞} (−n^{2}e^{−λx}) + \frac{2}{λ} ∫_{0}^{∞}xλe^{−λx} dx − \frac{1}{λ^{2}} =

0 + \frac{2}{λ}E(X) − \frac{1}{λ^{2}} = \frac{2}{λ^{2}} − \frac{1}{λ^{2}} = \frac{1}{λ^{2}}

Definition 12.16

1. Sei I eine Menge und sei {A_{i}}_{i∈I} ⊂ A eine Familie von Ereignissen in Ω. Die Familie {A_{i}}_{i∈I} heißt unabhängig, wenn für jede endliche Teilfamilie {A_{i_{1}}, …, A_{i_{n}}} die Produktformel P (A_{i_{1}} ∩…∩A_{i_{n}}) = P (A_{i_{1}})·. . .·P (A_{i_{n}}) gilt.

2. Sei I eine Menge und für jedes i ∈ I sei X_{i} : Ω → Ω_{i} eine Zufallsvariable mit Werten in einem messbaren Raum (Ω_{i}, B_{i}). Die Familie von Zufallsvariablen {X_{i}}_{i∈I} heißt unabhängig, wenn für jede Wahl von Mengen B_{i} ∈ B_{i} für i ∈ I die Ereignisse {X_{i} ∈ B_{i}}_{i∈I} unabhängig sind.

Satz 12.17 (Charakterisierung unabhängiger Zufallsvariablen)

1. Sei I eine Menge und {X_{i}}_{i∈I} eine Familie von Zufallsvariablen X_{i} : Ω → ℝ. Genau dann ist {X_{i}}_{i∈I} unabhängig, wenn für alle {x_{i}}_{i∈I} ⊂ ℝ die Ereignisse {X_{i} ≤ x_{i}} unabhängig sind.

2. Sei n ∈ ℕ_{+} und seien X_{1}, …, X_{n} : Ω → ℝ reellwertige Zufallsvariable, wobei X_{i} für i = 1, …, n eine Dichte f_{i} : ℝ → [0, ∞[ besitze. Genau dann ist {X_{1}, …, X_{n}} unabhängig, wenn die Abbildung f : ℝ^{n} → [0, ∞[, def. durch (x_{1}, …, x_{n}) ↦ f(x_{1}) · . . . · f(x_{n}), eine Dichte der Zufallsvariablen X = (X_{1}, …, X_{n}) : Ω → ℝ^{n}, def. durch ω ↦ (X_{1}(ω), …, X_{n}(ω)), darstellt.

Beweis:

1. In der Maßtheorie wird gezeigt:

Ist A eine σ-Algebra und B ein Erzeugendensystem mit A_{1}, A_{2} ∈ B ⇒ A_{1} ∩ A_{2} ∈ B, so folgt aus der Unabhängigkeit von B bereits die von A. Hieraus ergibt sich die Behauptung.

2. ”⇒“ Sei Q : B(ℝ^{n}) → [0, 1] das Wahrscheinlichkeitsmaß mit Dichte f. Für (a_{1}, …, a_{n}), (b_{1}, …, b_{n}) ∈ ℝ^{n} mit a_{i} ≤ b_{i} für i = 1, …, n gilt dann

Q(]a_{1}, b_{1}] × … ×]a_{n}, b_{n}]) = ∫_{a_{1}}^{b_{1}} … ∫_{a_{n}}^{b_{n}} f_{1}(x_{1}) · . . . · f_{n}(x_{n}) dx_{n} · . . . · dx_{1} =

(∫_{a_{1}}^{b_{1}} f_{1}(x_{1}) dx_{1}) · . . . · (∫_{a_{n}}^{b_{n}} f_{n}(x_{n}) dx_{n}) =

∏_{i=1}^{n} P (X_{i} ∈]a_{i}, b_{i}]) = P (X_{1} ∈]a_{1}, b_{1}], …, X_{n} ∈]a_{n}, b_{n}]) =

P_{X}(]a_{1}, b_{1}] × … ×]a_{n}, b_{n}]) Da B(ℝ^{n}) durch die Mengen ]a_{1}, b_{1}] × … ×]a_{n}, b_{n}] erzeugt wird, folgt Q = P_{X}, d.h. X hat die Dichte f. ”⇐“ Sei Q : B(ℝ^{n}) → [0, 1] wie eben definiert. Nach Voraussetzung gilt Q = P_{X}, also Q(ℝ × … ×]a_{i}, b_{i}] × ℝ × … × ℝ) = P_{X}(X_{1} ∈ ℝ, …, X_{i−1} ∈ ℝ, X_{i} ∈]a_{i}, b_{i}], X_{i+1} ∈ ℝ, …, X_{n} ∈ ℝ) = P (X_{i} ∈]a_{i}, b_{i}]) für i ∈ {1, …, n} und a_{i}, b_{i} ∈ ℝ mit a_{i} ≤ b_{i}. Andererseits gilt

∫_{a_{i}}^{b_{i}} f(x_{i}) dx_{i} = ∫_{ℝ} … ∫_{ℝ} ∫_{a_{i}}^{b_{i}} ∫_{ℝ} … ∫_{ℝ} f_{1}(x_{1}) · · · . . . · f_{n}(x_{n}) dx_{n} · . . . · dx_{1} =

Q(ℝ × … × ℝ×]a_{i}, b_{i}] × ℝ × … × ℝ)

∏_{i=1}^{n} P (X_{i} ∈]a_{i}, b_{i}]) = ∏_{i=1}^{n} ∫_{a_{i}}^{b_{i}} f_{i}(x_{i}) dx_{i} = … = P_{X}(]a_{1}, b_{1}] × … ×]a_{n}, b_{n}]) =

P ( ⋂_{i=1}^{n}{X_{i} ∈]a_{i}, b_{i}]})

Nach 1. sind die Zufallsvariablen {X_{1}, …, X_{n}} damit unabhängig.

□

Korollar 12.18 Seien X_{1}, X_{2} : Ω → ℝ unabhängige Zufallsvariable mit Dichten

f_{i} : ℝ → [0, ∞[ für i = 1, 2.

Dann besitzt X_{1} + X_{2} : Ω → ℝ die Dichte g : ℝ → [0, ∞[, def. durch x ↦

∫_{−∞}^{∞} f_{1}(x − t)f_{2}(t) dt.

Beweis: Sei Y = X_{1} + X_{2} : Ω → ℝ. Für y ∈ ℝ gilt

P (Y ≤ y) = ∫∫_{{(x_{1},x_{2})∈ℝ^{2}|x_{1}+x_{2}≤y}} f_{1}(x_{1}) · f_{2}(x_{2}) dx_{1} dx_{2} =^{Substitution:u:=x_{1}+x_{2},v:=x_{2}}

∫_{−∞}^{y} ( ∫_{−∞}^{∞} f_{1}(u − v) · f_{2}(v) dv) du = ∫_{−∞}^{u} g(t) dt.

Hieraus folgt die Behauptung. □

Definition 12.19 Sind f_{1}, f_{2} : ℝ → ℝ zwei Funktionen und existiert die Funktion f_{1} ∗ f_{2} : ℝ → ℝ, def. durch x ↦ ∫_{−∞}^{∞} f_{1}(x − t)f_{2}(t) dt, so heißt f_{1} ∗ f_{2} die Faltung von f_{1} und f_{2}.

Beispiel 12.20 Für i = 1, 2 sei X_{i} : Ω → ℝ eine N(μ_{i}, σ_{i}^{2})-verteilte Zufallsvariable, wobei μ_{1}, μ_{2} ∈ ℝ und σ_{1}^{2}, σ_{2}^{2} ∈ [0, ∞[ gelte. Sind X_{1}, X_{2} unabhängig, so ist X_{1} +X_{2} : Ω → ℝ eine N(μ_{1} +μ_{2}, σ_{1}^{2} +σ_{2}^{2})-verteilte Zufallsvariable.

Beweis: Aus Satz 12.6 folgt, dass X_{i} genau dann N(μ_{i}, σ_{i}^{2})-verteilt ist, wenn X_{i} − μ_{i} eine N(0, σ_{i}^{2})-verteilte Zufallsvariable ist. Also können wir o.E. μ_{1} = μ_{2} = 0 annehmen. Nun gilt (mit φ_{i} =Dichte von X_{i}) für alle u ∈ ℝ:

(φ_{1} ∗ φ_{2})(u) = \frac{1}{2π} \frac{1}{σ_{1}σ_{2}} ∫_{−∞}^{∞} exp (−\frac{1}{2} (\frac{(u−v)^{2}}{σ_{1}^{2}} + \frac{v^{2}}{σ_{2}^{2}} )) dv =^{Substitution (*)}

\frac{1}{2πσ_{1}σ_{2}} ∫_{−∞}^{∞} exp (−\frac{1}{2} (z^{2} + \frac{u^{2}}{σ_{1}^{2}+σ_{2}^{2}} )) _{\frac{σ_{1}σ_{2}}{\sqrt{σ_{1}^{2}+σ_{2}^{2}}}} dz =

\frac{1}{\sqrt{2π}} _{\frac{1}{\sqrt{σ_{1}^{2}+σ_{2}^{2}}}} exp (−\frac{1}{2} (\frac{u^{2}}{σ_{1}^{2}+σ_{2}^{2}} )) = φ_{3}(u) mit φ_{3} =Dichte von N(0, σ_{1}^{2} + σ_{2}^{2}) (*): z := ^{\frac{\sqrt{σ_{1}^{2}+σ_{2}^{2}}}{σ_{1}σ_{2}}} v − _{\frac{σ_{2}}{σ_{1}\sqrt{σ_{1}^{2}+σ_{2}^{2}}}} u □

Beispiel 12.21 Unabhängig voneinander werden zwei Punkte x, y in [0, 1] gewählt, wobei jeweils Gleichverteilung gelte. Die Dichten x bzw. y sind f_{1} = f_{2}:

ℝ → [0, ∞[, def. durch x ↦ \{ \begin{matrix}1 & falls 0 ≤ x < 1 \\ 0 & sonst \end{matrix}

Dann hat die Differenz △ := x − y die Dichte g := f_{1} ∗ f_{2} : ℝ → [0, ∞[, wobei

g(x) = ∫_{−∞}^{∞} f_{1}(x − t)f_{2}(−t) dt = \{ \begin{matrix}0 & falls & x < −1 oder x ≥ 1 \\ 1 + x & falls & −1 ≤ x < 0 \\ 1 − x & falls & 0 ≤ x < 1 \end{matrix} .

Für den Abstand d : [0, 1]^{2} → ℝ gilt:

d(x, y) = \{ \begin{matrix}△(x, y) & falls & x ≥ y \\ −△(x, y) & falls & x < y \end{matrix}

Nach Satz 12.6 folgt, dass d die folgende Dichte besitzt:

h : ℝ → [0, ∞[, def. durch x ↦ \{ \begin{matrix}g(x) + g(−x) & für 0 ≤ x < 1 \\ 0 & sonst \end{matrix} =

\{ \begin{matrix}2 − 2x & für 0 ≤ x < 1 \\ 0 & sonst \end{matrix}

Es folgt:

E(d) = ∫_{0}^{1} x(2 − 2x) dx = [x^{2} − \frac{2}{3}x^{3}]_{0}^{1} = \frac{1}{3}, sowie

Var(d) = ∫_{0}^{1} x^{2}(2 − 2x) dx − E(d)^{2} = [\frac{2}{3}x^{3} − \frac{1}{2}x^{4}]_{0}^{1} − \frac{1}{9} = \frac{1}{18}

Satz 12.22 Sind X, Y : Ω → ℝ zwei unabhängige Zufallsvariablen und existieren E(X), E(Y), so existiert auch E(XY) und es gilt E(XY) = E(X)E(Y).

13 Grenzwertsätze

Sei (Ω, A, P) ein Wahrscheinlichkeitsraum und seien X, X_{1}, X_{2} : Ω → ℝ reellwertige Zufallsvariablen.

Definition 13.1

1. Die Folge (X_{n})_{n∈ℕ} von Zufallsvariablen X_{n} : Ω → ℝ konvergiert stochastisch gegen die Zufallsvariable X : Ω → ℝ, wenn für alle ε > 0 gilt: P (|X_{n} − X| ≥ ε) → 0 für n → ∞.

2. Die Folge (X_{n})_{n∈ℕ} von Zufallsvariablen X_{n} : Ω → ℝ konvergiert fast sicher gegen X : Ω → ℝ, wenn P ({ω ∈ Ω | lim_{n→∞} X_{n}(ω) = X(ω)}) = 1 gilt.

Satz 13.2 (Schwaches Gesetz der großen Zahlen) Ist (X_{n})_{n∈ℕ_{+}} eine Folge unabhängiger Zufallsvariablen X_{n} : Ω → ℝ mit gleichem Erwartungswert E := E(X_{1}) = E(X_{2}) = … und mit beschränkten Varianzen Var(X_{i}) ≤ V für ein V ≥ 0 für i ∈ ℕ_{+}, so konvergiert die Folge Y_{n} = \frac{1}{n}(X_{1} + … + X_{n}) stochastisch gegen die konstante Zufallsvariable E : Ω → ℝ, def. durch ω ↦ E. Beweis: Folgt sofort aus Satz 8.13, denn zum Beweis von 8.13 wurden nur die Rechenregeln für Erwartungswert und Varianz verwendet. □

Satz 13.3 Konvergiert eine Folge (X_{n})_{n∈ℕ} von Zufallsvariablen X_{n} : Ω → ℝ fast sicher gegen X : Ω → ℝ, so konvergiert sie auch stochastisch gegen x.

Beweis: Sei ε > 0 beliebig. Sei A = {ω ∈ Ω | lim_{n→∞} X_{n}(ω) = X(ω)} und für jedes n ∈ ℕ_{+} sei B_{n} = {ω ∈ Ω | |X_{i}(ω) − X(ω)| < ε für i ≥ n}.

Dann gilt B_{1} ⊂ B_{2} ⊂ … und A ⊂ ⋃_{i≥1} B_{i}.

Nach Satz 10.10 folgt aus P (A) = 1, dann lim_{n→∞} P (B_{n}) = P ( ⋃_{i≥1} B_{i}) = 1. Also gilt lim_{n→∞} P (|X_{n} − X| ≥ ε) = lim_{n→∞}(1 − P (B_{n})) = 0 □

Bemerkung 13.4 Konvergiert eine Folge (X_{n})_{n≥1} stochastisch gegen X : Ω → ℝ, so braucht sie nicht fast sicher gegen X konvergieren. Es braucht nicht einmal ein einziges ω ∈ Ω zu geben mit lim_{n→∞} X_{n}(ω) = X(ω). Sei z.B. Ω = [0, 1[⊂ ℝ und A = B(ℝ) ∩ P (Ω) mit P =Gleichverteilung. Für n ∈ ℕ_{+} sei c_{n} := 1 + \frac{1}{2} + \frac{1}{3} + … + \frac{1}{n} und A_{n} := {ω ∈ Ω | ∃m ∈ ℕ ω + m ∈ [c_{n}, c_{n+1}[}, sowie

X_{n} := χ_{A_{n}} : Ω → ℝ, def. durch ω ↦ \{ \begin{matrix}1 & falls ω ∈ A_{n} \\ 0 & sonst \end{matrix} .

1. Die Folge (X_{n})_{n≥1} konvergiert stochastisch gegen die Nullfunktion, denn für 0 < ε < 1 gilt: P (|X_{n} − 0| ≥ ε) = P (\{ω ∈ Ω | X_{n}(ω) ≥ ε\}) = P (A_{n}) = \frac{1}{n+1} → 0 für n → ∞

2. Für jedes ω ∈ Ω und jedes n ≥ 1 gibt es eine Zahl i ≥ n mit ω ∈ A_{i}, denn die Reihe (c_{j})_{j≥1} divergiert. Also gilt lim_{n→∞} sup_{i≥n} X_{n}(ω) = 1. Für jedes ω ∈ Ω und jedes n ≥ 1 gibt es auch eine Zahl j ≥ n mit ω ∉ A_{j}, denn ω ∈ A_{i} ⇒ ω ∉ A_{i+1}. Somit gilt lim_{n→∞} inf_{i≥n} X_{n}(ω) = 0 und für \underline{kein} ω ∈ Ω gilt lim_{n→∞} X_{n}(ω) = X(ω) = 0

Lemma 13.5 (Lemma von Borel-Cantelli) Seien A_{n} ∈ A für n ∈ ℕ_{+} Ereignisse und sei B := {ω ∈ Ω | ω ∈ A_{n} für unendlich viele n ∈ ℕ_{+}}.

1. Gilt ∑_{n=1}^{∞} P (A_{n}) < ∞, so ist P (B) = 0.

2. Sind die Ereignisse {A_{n}}_{n∈ℕ_{+}} unabhängig und es gilt ∑_{n=1}^{∞} P (A_{n}) = ∞, so folgt P (B) = 1.

Beweis:

1. Es gilt B = ⋂_{n=1}^{∞} ⋃_{k≥n} A_{k}.

Für jedes n ∈ ℕ_{+} ist dabei

P (B) ≤ P ( ⋃_{k≥n} A_{k}) ≤ ∑_{k≥n} P (A_{k}) → 0 für n → ∞.

2. Für i ∈ ℕ_{+} sei α_{i} ∈ [0, 1].

Für m, n ∈ ℕ_{+} mit m < n gilt dann

ln(1 − α_{i}) ≤ −α_{i} ⇒ ln ( ∏_{i=m}^{n}(1 − α_{i})) ≤ − ∑_{i=m}^{n} α_{i}

⇒ ∏_{i=m}^{n}(1 − α_{i}) ≤ exp (− ∑_{i=m}^{n} α_{i})

Da die Ereignisse {A_{n}}_{n≥1} unabhängig sind, folgt

P ( ⋂_{i=m}^{n}(Ω \ A_{i})) = ∏_{i=m}^{n} P (Ω \ A_{i}) = ∏_{i=m}^{n}(1 − P (A_{i})) ≤ exp (− ∑_{i=m}^{n} P (A_{i}))

⇒ P ( ⋂_{i=m}^{∞}(Ω \ A_{i})) = lim_{n→∞} P ( ⋂_{i=m}^{n}(Ω \ A_{i})) = 0, da nach Voraussetzung

lim_{n→∞} ∑_{i=m}^{n} P (A_{i}) = ∞ gilt.

⇒ P (Ω \ B) = P ( ⋃_{m=1}^{∞} ⋂_{i=m}^{∞}(Ω \ A_{i})) ≤ ∑_{m=1}^{∞} P ( ⋂_{i=m}^{∞}(Ω \ A_{i})) = 0

⇒ P (B) = 1

□

Definition 13.6 Eine Aussage gilt für fast alle ω ∈ Ω (bzw. gilt fast sicher bzw. fast überall), wenn die Menge B aller ω ∈ Ω, für die die Aussage gilt, die Wahrscheinlichkeit P (B) = 1 hat.

Korollar 13.7 Sind {A_{n}}_{n≥1} ⊂ A Ereignisse, so gilt:

1. Konvergiert ∑_{n=1}^{∞} P (A_{n}), so gehört fast jedes ω ∈ Ω nur zu endlich vielen Ereignissen A_{n}.

2. Ist {A_{n}}_{n≥1} unabhängig und gilt ∑_{n=1}^{∞} P (A_{n}) = ∞, so gehört fast jedes ω ∈ Ω zu unendlich vielen Ereignissen A_{n}.

Beispiel 13.8 Für jedes n ∈ ℕ_{+} sei eine Urne U_{n} gegeben, die 1 weiße und f(n) ≥ 1 schwarze Kugeln enthält.

Man zieht aus jeder Urne eine Kugel. A_{n} =”aus U_{n} wird die weiße Kugel gezogen“, P (A_{n}) = \frac{1}{f(n)+1}

1. Gilt f(n) = n, so werden fast sicher unendlich viele weiße Kugeln gezogen,

denn ∑_{n≥1} P (A_{n}) = ∑_{n≥1} \frac{1}{n+1} = ∞.

2. Gilt f(n) = n^{2} − 1, so werden fast sicher nur endlich viele weiße Kugeln

gezogen, denn ∑_{n≥1} P (A_{n}) = ∑_{n≥1} \frac{1}{n^{2}} = \frac{π^{2}}{6} < ∞.

3. Egal, wie f(n) beschaffen ist. Stets ist die Wahrscheinlichkeit dafür, dass unendlich viele weiße Kugeln gezogen werden gleich 0 oder 1.

Theorem 13.9 (Das starke Gesetz der großen Zahlen) Sei N ∈ ℝ_{+}. Für jedes n ∈ ℕ_{+} sei X_{n} : Ω → ℝ eine reellwertige Zufallsvariable, deren Varianz existiert und Var(X_{n}) < V für ein V > 0 gilt. Sind Zufallsvariablen {X_{n}}_{n∈ℕ_{+}} paarweise unkorreliert (d.h. Cov(X_{i}, X_{j}) = 0 für i ≠ j), so konvergiert die Folge Z_{n} = \frac{1}{n} ∑_{i=1}^{n}(X_{i} − E(X_{i})) fast sicher gegen die Nullfunktion. Im Fall E := E(X_{1}) = E(X_{2}) = … konvergiert die Folge Y_{n} = \frac{1}{n}(X_{1} + … + X_{n}) insbesondere fast sicher gegen die konstante Funktion E.

Beweis:

1. Schritt: Die Folge {Z_{n^{2}}}_{n≥1} konvergiert fast sicher gegen 0.

Sei o.E. E(X_{i}) = 0 für alle i ∈ ℕ_{+}.

Nach Voraussetzung gilt Var(Z_{n^{2}}) = \frac{1}{n^{4}} (Var(X_{1}) + … + Var(X_{n^{2}})) ≤ \frac{V}{n^{2}} Nach der Tschebyschew-Ungleichung folgt für alle ε > 0 dann P (|Z_{n^{2}}| ≥ ε) ≤ \frac{1}{ε^{2}} Var(Z_{n^{2}}) ≤ \frac{V}{ε^{2}n^{2}} .

Für A_{n} = {|Z_{n^{2}}| ≥ ε} gilt folglich ∑_{n=1}^{∞} P (A_{n}) < ∞.

Nach dem Lemma gilt, dass fast jedes ω ∈ Ω nur zu endlich vielen A_{n} gehört. Für k ∈ ℕ_{+} wähle ε = \frac{1}{k} und betrachte E_{k} = \{ω ∈ Ω | |Z_{n^{2}}(ω)| ≥ \frac{1}{k} für unendlich viele n\}

⇒ P (E_{k}) = 0 ⇒ P ( ⋃_{k≥1} E_{k}) = 0 ⇒ P (Ω \ ⋃_{k≥1} E_{k}) = 1

Für ω ∈ Ω\ ⋃_{k≥1} E_{k} gibt es zu jedem k ≥ 1 nur endlich viele n mit |Z_{n^{2}}(ω)| ≥ \frac{1}{k}, d.h. es gilt lim_{n→∞} Z_{n^{2}}(ω) = 0

⇒ P ({ω ∈ Ω | lim_{n→∞} Z_{n^{2}}(ω) = 0}) = 1

2. Schritt: Für jedes m ∈ ℕ_{+} wähle n = n(m) ∈ ℕ_{+} so, dass n^{2} ≤ m < (n + 1)^{2} Es sollen Z_{m} und Z_{n^{2}} verglichen werden. Für alle k ∈ ℕ_{+} sei S_{k} = X_{1} + … + X_{k} ⇒ Var(S_{m} − S_{n^{2}}) = Var(X_{n^{2}+1} + … + X_{m}) = Var(X_{n^{2}+1}) + … + Var(X_{m}) ≤ V (m − n^{2}) Nach der Tschebyschew-Ungleichung folgt für ε > 0 die Abschätzung P (|S_{m} − S_{n^{2}}| ≤ \frac{V}{ε^{2}n^{4}} (m − n^{2})

⇒ ∑_{m=1}^{∞} P (\frac{1}{n(m)^{2}} |S_{m} − S_{n(m)^{2}}| ≥ ε) ≤ \frac{V}{ε^{2}} ∑_{n=1}^{∞} ∑_{m=n^{2}}^{(n+1)^{2}−1} \frac{m−n^{2}}{n^{4}} =

\frac{V}{ε^{2}} ∑_{n=1}^{∞} \frac{1}{n^{4}} (1 + 2 + … + 2n) = \frac{V}{ε^{2}} ∑_{n=1}^{∞} \frac{(2n)(2n+1)}{2n^{4}} < ∞

Nach Borel-Cantelli gilt dann für fast alle ω ∈ Ω, dass sie nur in endlich vielen Mengen {ω ∈ Ω | |S_{m}(ω) − S_{n(m)^{2}}(ω)| ≥ εn(m)^{2}} enthalten sind. ⇒ für fast alle ω ∈ Ω gibt es ein m(ω) mit \frac{1}{n(m)^{2}} |S_{m}(ω) − S_{n(m)^{2}}(ω)| < ε für m ≥ m(ω). Nach 1. Schritt gilt für fast alle ω ∈ Ω und für m ≫ 0: \frac{1}{n(m)^{2}} |S_{n(m)^{2}}| < ε ⇒ für fast alle ω ∈ Ω und für m ≫ 0 gilt

|Z_{m}(ω)| = \frac{1}{m}|S_{m}(ω)| ≤ \frac{1}{n(m)^{2}} |S_{m}(ω)| <^{△-Ungl.} 2ε

Für k ∈ ℕ_{+} wähle ε = \frac{1}{k} und E_{k} = \{ω ∈ Ω | |Z_{m}(ω)| > \frac{1}{k} für unendlich viele m\}

⇒ P (E_{k}) = 0 ⇒ P (Ω \ ⋃_{k≥1} E_{k}) = 1

Für ω ∈ Ω \ ⋃_{k≥1} E_{k} gilt lim_{m→∞} Z_{m}(ω) = 0

⇒ P ({ω ∈ Ω | lim_{m→∞} Z_{m}(ω) = 0}) = 1

□

Beispiel 13.10 (6-er Runs beim Würfeln)

Ein idealer Würfel werde unendlich oft geworfen.

Ω = {1, …, 6}^{ℕ} Ergebnismenge, A = 𝔓(Ω), P : A → [0, 1],

wobei für A ∈ A und n ∈ ℕ_{+} gelte

A_{n} = {(a_{1}, …, a_{n}) ∈ {1, …, 6}^{n} | ∃a_{n+1}, a_{n+2}, … ∈ {1, …, 6} mit

(a_{1}, a_{2}, …) ∈ A\} und A ↦ lim_{n→∞} \underbrace{\frac{#A_{n}}{6^{n}}}_{monoton fallende Folge}.

Für n ∈ ℕ_{+} sei X_{n} : Ω → {0, 1} das Ergebnis des n-ten Versuchs (a_{1}, a_{2}, …) ↦

a_{n} (die Projektion auf die n-te Komponente).

Ein k-Run von 6-ern ist das Ereignis X_{n}(ω) = 1, …, X_{n+k−1}(ω) = 1 für ein n ∈ ℕ_{+}.

1. Aus dem Lemma von Borel-Cantelli folgt, dass für jedes N ∈ ℕ_{+} fast jedes ω ∈ Ω eine Folge von N 6-ern enthält, d.h. einen 6-er Run der Länge N.

2. Das schwache Gesetz der großen Zahlen besagt:

Für jedes ε > 0 gilt

P (|\frac{1}{n}(X_{1} + … + X_{n}) − \frac{1}{6} | > ε) → 0 für n → ∞.

Es wäre aber immer noch möglich, dass für fast jedes ω ∈ Ω beliebig große n mit \frac{1}{n}(X_{1}(ω) + … + X_{n}(ω)) ≈ 1 existieren.

3. Nach dem starken Gesetz der großen Zahl, gilt jedoch für fast alle ω ∈ Ω die Konvergenz \frac{1}{n}(X_{1}(ω) + … + X_{n}(ω)) → \frac{1}{6} ”Fast sicher kommen lange 6-er Runs erst so spät, dass sie die relative Häufigkeit nicht mehr stark beeinflussen.“

Definition 13.11

1. Ist F : ℝ → ℝ eine Funktion, so heißt ∥F ∥ := sup_{x∈ℝ} |F (x)| ∈ ℝ ∪ {∞} die Supremumsnorm von F.

2. Sind F, F_{1}, F_{2}, …: ℝ → ℝ Funktionen mit lim_{n→∞} ∥F − F_{n}∥ = 0, so sagen wirm die Folge (F_{n})_{n≥1} konvergiert gleichmäßig auf ℝ gegen F.

3. Sind X, Y : Ω → ℝ Zufallsvariablen mit Verteilungsfunktionen F_{X}, F_{Y} : ℝ → [0, 1], so schreiben wir d(F_{X}, F_{Y}) := ∥F_{X} − F_{Y} ∥.

Lemma 13.12 Sei Φ : ℝ → [0, 1] die Verteilungsfunktion der Standardnormalverteilung. Sind X, Y : Ω → ℝ zwei Zufallsvariablen, wobei E(Y^{2}) existiere und E(Y) = 0 sei. Dann gilt: d(F_{X+Y} , ϕ) ≤ d(F_{X}, Φ) + 2\sqrt[3]{E(Y^{2})}

Beweis: Für alle x ∈ ℝ gilt Φ′(x) = φ(x) ≤ φ(0) = \frac{1}{\sqrt{2π}} < 1 ⇒ Für alle δ > 0 und für alle x ∈ ℝ gilt |Φ(x ± δ) − Φ(x)| ≤ δ. Sei δ > 0 und x ∈ ℝ. Ist X ≤ x − δ, so ist Y > δ oder X + Y ≤ x. Ist X + Y ≤ x, so ist X ≤ x + δ oder Y < −δ ⇒ P (X ≤ x − δ) − P (Y > δ) ≤ P (X + Y ≤ x) ≤ P (X ≤ x + δ) + P (Y < −δ) ⇒ P (X ≤ x − δ) − Φ(x − δ) − δ − P (Y > δ) ≤ P (X + Y ≤ x) − Φ(x) ≤ P (X ≤ x + δ) − Φ(x + δ) + δ + P (Y < −δ) ⇒ d(F_{X+Y} , Φ) ≤ d(F_{X}, Φ) + δ + P (|Y | > δ). Wähle nun δ = \sqrt[3]{E(Y^{2})}. Dann gilt nach der Tschebyschew-Ungleichung P (|Y | > δ) ≤ \frac{1}{δ^{2}} Var(Y) = \frac{1}{δ^{2}} E(Y^{2}) = \frac{1}{δ^{2}} δ^{3} = δ und wir erhalten d(F_{X+Y} , Φ) ≤ d(F_{X}, Φ) + 2\sqrt[3]{E(Y^{2})} □

Satz 13.13 Für jedes n ∈ ℕ_{+} sei X_{n} : Ω → ℝ eine Zufallsvariable mit endlich

vielen Werten, E(X_{n}) = 0 und Var X_{n} = 1.

Ferner sei {X_{n}}_{n∈ℕ_{+}} unabhängig und es gebe ein B ∈ ℝ_{+} mit |X_{n}(ω)| < B für

alle ω ∈ Ω und n ∈ ℕ_{+}.

Ist dann S_{n}^{∗} = \frac{1}{\sqrt{n}}(X_{1} + … + X_{n}) die Standardisierung von S_{n} = X_{1} + … + X_{n},

so gilt lim_{n→∞} d(F_{S_{n}^{∗}}, Φ) = 0.

Beweis:

1. Schritt:

Sei X_{0} : Ω → ℝ eine weitere Zufallsvariable, die N(0, 1)-verteilt und unabhängig von {X_{n}}_{n≥1} ist. Sei N ∈ ℕ_{+} vorgegeben. Für jedes n ≥ N betracxhten wir Z_{n} := \sqrt{\frac{N}{n}} X_{0} + \sqrt{\frac{1}{n}}(S_{n} − S_{N}) : Ω → ℝ und bezeichnen die Verteilungsfunktion von Z_{n} mit F_{n} : ℝ → [0, 1]. Beachte, dass dabei F_{N} = Φ. Wir studieren zunächst die Folge {d(F_{n}, Φ)}_{n≥N}. Aus der Definition von Z_{n} ergibt sich Z_{n+1} = \sqrt{\frac{n}{n+1}}Z_{n} + \sqrt{\frac{1}{n+1}}X_{n+1}. Sei X_{n+1}(Ω) = {x_{1}, …, x_{k}} und P (X_{n+1} = x_{i}) =: p_{i} für i = 1, …, k. Dann folgt aus der Unabhängigkeit von Z_{n} und X_{n+1} die Formel

F_{n+1}(x) = ∑_{i=1}^{k} P (X_{n+1} = x_{i}, \sqrt{\frac{n}{n+1}}Z_{n} + \sqrt{\frac{1}{n+1}}X_{n+1} ≤ x) =

∑_{i=1}^{k} p_{i}F_{n} (\sqrt{\frac{n+1}{n}}x − \sqrt{\frac{1}{n}}x_{i}) = E(Y_{x})

mit Y_{x} : Ω →^{X_{n+1}} ℝ →^{l_{x}} ℝ →^{F_{n}} ℝ, wobei l_{x}, def. ist durch y ↦ \sqrt{\frac{n+1}{n}}x − \sqrt{\frac{1}{n}}y.

Ebenso betrachte die Zufallsvariable Φ̃_{x} : Ω →^{X_{n+1}} ℝ →^{l_{x}} ℝ →^{Φ} ℝ Es folgt: |F_{n+1}(x) − Φ(x)| ≤ |E(Y_{x}) − E(Φ̃_{x})| + |E(Φ̃_{x}) − Φ(x)| Für i = 1, …, k gilt: |(Y_{x} − Φ̃_{x}(ω)| = |F_{n} (\sqrt{\frac{n+1}{n}}x − \sqrt{\frac{1}{n}}x_{i}) − Φ (\sqrt{\frac{n+1}{n}}x − \sqrt{\frac{1}{n}}x_{i})| ≤ d(F_{n}, Φ) Also folgt:

|E(Y_{x}) − E(Φ̃_{x})| = |E(Y_{x} − Φ̃_{x})| ≤ ∑_{i=1}^{k} p_{i}| … | ≤

(∑_{i=1}^{k} p_{i}) d(F_{n}, Φ) = d(F_{n}, Φ)

Damit erhalten wir

d(F_{n+1}, Φ) ≤ d(F_{n}, Φ) + sup_{x∈ℝ} |E(Φ̃_{x}) − Φ(x)|

2. Abschätzung von |E(Φ̃_{x}) − Φ(x)| Schreibe α := \sqrt{\frac{n+1}{n}} und β := \sqrt{\frac{1}{n}}.

Dann sind die Werte von Φ̃_{x} gegeben durch {Φ(αx − βx_{i})}_{i=1,... ,k} und es gilt

E(Φ̃_{x}) = ∑_{i=1}^{k} p_{i}Φ(αx − βx_{i}).

Die Taylorentwicklung von Φ liefert Φ(αx − βx_{i}) = Φ(αx) − βx_{i}Φ′(αx) + \frac{(βx_{i})^{2}}{2} Φ′′(αx) − \frac{(βx_{i})^{3}}{6} Φ′′′(αx − ϑ_{i}(x)βx_{i}) mit |ϑ_{i}(x)| ≤ 1 (Lagrange-Restglied) Nach Voraussetzung gilt |x_{i}| < B für i = 1, …, k. Die Funktion Φ′′′ = φ′′ ist beschränkt und es gilt β^{3} = n^{− \frac{3}{2}} . ⇒ |−\frac{(βx_{i})^{3}}{6} Φ′′′(αx − ϑ_{i}(x)βx_{i})| = O (n^{− \frac{3}{2}} )

Weiter gilt α = \sqrt{\frac{n+1}{n}} = \sqrt{1 + \frac{1}{n}} = 1+ \frac{2n}{+}O(n^{−2}) und Φ, Φ′ = φ, Φ′′, xΦ′, x^{2}Φ′′ beschränkt. ⇒ Taylorentwicklung von Φ(αx) liefert Φ(αx) = Φ(x + (\frac{1}{2n} + O(n^{−2}))x) = Φ(x)+(\frac{1}{2n} + O(n^{−2})) xΦ′(x)+ \frac{1}{2} (\frac{1}{2n} + O(n^{−2}))^{2} x^{2}Φ′′ (x + ϑ (\frac{1}{2n} + O(n^{−2})) x) mit 0 ≤ |ϑ| ≤ 1 Φ(αx) = Φ(x) + \frac{x}{2n}Φ′(x) + O(n^{−2}) Analog ergibt sich Φ′′(αx) = Φ′′(x) + \frac{x}{2n}Φ′′(x) + \frac{x}{2n}Φ′′′(x) + O(n^{−2}). Insgesamt erhalten wir:

E(Φ̃_{x}) = ∑_{i=1}^{k} p_{i}Φ(αx − βx_{i}) =

∑_{i=1}^{k} p_{i} [Φ(αx) − βx_{i}Φ′(αx) + \frac{(βx_{i})^{2}}{2} Φ′′(αx) + O(n^{− \frac{3}{2}} )] =

∑_{i=1}^{k} p_{i} [Φ(x) + \frac{x}{2n}Φ′(x) − βx_{i}Φ′(αx) + \frac{(βx_{i})^{2}}{2} (Φ′′(x) + \frac{x}{2n}Φ′′′(x)) + O(n^{− \frac{3}{2}} )] =

Φ(x)+\frac{x}{2n}Φ′(x)−\frac{1}{\sqrt{n}}( \underbrace{∑_{i=1}^{n} p_{i}x_{i}}_{=E(X_{n+1})=0} )Φ′(αx)+\frac{1}{2n}( \underbrace{∑_{i=1}^{k} p_{i}x_{i}^{2}}_{=Var(X_{n+1})=1} )Φ′′(x)+O(n^{− \frac{3}{2}} ) =

Φ(x) + \frac{x}{2n}Φ′(x) + \frac{1}{2n}Φ′′(x) + O(n^{− \frac{3}{2}} ) = Φ(x) + O(n^{− \frac{3}{2}} ), weil Φ′′(x) = φ′(x) = −xφ(x) = −xΦ′(x) ⇒ |d(F_{n+1}, Φ) − d(F_{n}, Φ)| ≤ |E(Φ̃_{x}) − Φ(x)| ≤ kn^{− \frac{3}{2}} für ein k > 0 3. Vollendung des Beweises

Es gilt F_{N} = Φ, also d(F_{n}, Φ) = 0 und für n ≥ N folgt

d(F_{n}, Φ) ≤ ∑_{i=N}^{n−1} |d(F_{i+1}, Φ) − d(F_{i}, Φ)| ≤ k ∑_{i=N}^{n−1} i^{− \frac{3}{2}} ≤ k ∑_{i=N}^{∞} i^{− \frac{3}{2}}

Wegen ∑_{i=1}^{∞} i^{− \frac{3}{2}} < ∞ gilt lim_{N→∞} ( ∑_{i=N}^{∞} i^{− \frac{3}{2}} ) = 0.

Also gibt es zu jedem ε > 0 ein N ∈ ℕ_{+} mit d(F_{n}, Φ) < \frac{ε}{2} für n ≥ N.

Es gilt E((S_{n}^{∗} − Z_{n})^{2}) = E ((\frac{1}{\sqrt{n}}S_{n} − \sqrt{\frac{N}{n}} X_{0} − \frac{1}{\sqrt{n}}S_{n} + \frac{1}{\sqrt{n}}S_{N})^{2}) =

\frac{1}{n}E((\sqrt{N}X_{0} − S_{N})^{2}) → 0 für n → ∞ und E(S_{n}^{∗} − Z_{n}) = \frac{1}{\sqrt{n}}E(\sqrt{N}X_{0} − S_{N}) = 0 Nach Lemma 13.12 folgt

d(F_{S_{n}^{∗}}, Φ) = d(F_{Z_{n}+(S_{n}^{∗}−Z_{n})}, Φ) ≤ \underbrace{d(F_{Z_{n}}, Φ)}_{< \frac{ε}{2} für n≫0} + \underbrace{2\sqrt[3]{E((S_{n}^{∗} − Z_{n})^{2})}}_{< \frac{ε}{2} für n≫0} → 0

für n → ∞

□

Theorem 13.14 (Der zentrale Grenzwertsatz)

Sei (Ω, A, P) ein Wahrscheinlichkeitsraum und seien X_{n} : Ω → ℝ für n ∈ ℕ_{+}

unabhängige Zufallsvariablen mit identischen Verteilungen und endlicher Varianz

Var(X_{n}) = σ^{2} ∈ ℝ_{+}.

Ist S_{n} = X_{1} + … + X_{n} und S_{n}^{∗} = \frac{1}{\sqrt{n}σ}(S_{n} − nE(X_{1})), so gilt:

lim_{n→∞} d(F_{S_{n}^{∗}}, Φ) = 0, d.h. die Verteilungsfunktion von S_{n}^{∗} konvergiert gleichmäßig

gegen die Verteilungsfunktion Φ der Standardnormalverteilung.

Beweis: Sei μ := E(X_{1}) = E(X_{2}) = . . .. Für m ∈ ℕ_{+} betrachte f_{m} : ℝ → ℝ,

def. durch x ↦ \{ \begin{matrix}\frac{k}{m} & falls x ∈ [\frac{k}{m}, \frac{k+1}{m}[ und − m^{2} ≤ k ≤ m^{2} \\ 0 & sonst \end{matrix}

Ferner definiere für i, m ∈ ℕ_{+} Zufallsvariable Y_{mi} := f_{m} ∘ ℝ und setze μ_{m} = E(Y_{mi}), sowie σ_{m} = σ(Y_{mi}). Hierbei hängen μ_{m} und σ_{m} nicht von i ab, weil alle Zufallsvariablen X_{i} und damit alle {Y_{mi}}_{i≥1} dieselbe Verteilungsfunktion besitzen. Die Zufallsvariablen Y_{mi} haben nur endlich viele Werte.

Es gilt E(Y_{mi}) = ∑_{−m^{2}≤k≤m^{2}} \frac{k}{m}P (\frac{k}{m} ≤ X_{i} < \frac{k+1}{m})

E(X_{i}) = lim_{m→∞} ∑_{k∈ℤ} \frac{k}{m}P (\frac{k}{m} ≤ X_{i} < \frac{k+1}{m})

Hieraus folgt lim_{m→∞} \underbrace{E(Y_{mi})}_{μ_{m}} = E(X_{i})

Analog sieht man lim_{m→∞} σ_{m}^{2} = σ^{2}.

Ebenso ergibt sich

lim_{m→∞} E(Y_{mi} · X_{i}) = lim_{m→∞} ∑_{k∈ℤ} \frac{k}{m}P (\frac{k}{m} ≤ Y_{mi} · X_{i} < \frac{k+1}{m}) = lim_{m→∞} E(Y_{mi}^{2}) = E(X_{i}^{2}).

Hieraus folgt lim_{m→∞} E((Y_{mi} −X_{i})^{2}) = lim_{m→∞} E(Y_{mi}^{2})−2 lim_{m→∞} E(Y_{mi}X_{i})+E(X_{i}^{2}) = 0

Für i, m ∈ ℕ_{+} sei nun X_{mi} := \frac{1}{σ_{m}} (Y_{mi} − μ_{m}) : Ω → ℝ die Standardisierung von Y_{mi} und für n ∈ ℕ_{+} sei S_{mn}^{∗} = \frac{1}{\sqrt{n}}(X_{m_{1}} + … + X_{mn}). Die Zufallsvariablen {X_{mi}}_{i∈ℕ_{+}} sind unabhängig, haben nur endlich viele Werte, sind standardisiert und erfüllen |X_{mi}(ω)| ≤ \frac{1}{σ_{m}} (m + |μ_{m}|) für alle i ∈ ℕ_{+} und alle ω ∈ Ω. Daher zeigt Satz 13.13, dass lim_{n→∞} d(F_{S_{mn}^{∗}}, Φ) = 0 gilt.

Wir berechnen S_{n}^{∗} − S_{mn}^{∗} = \frac{1}{\sqrt{n}σ} ∑_{i=1}^{n}(X_{i} − μ) − \frac{1}{\sqrt{n}σ_{m}} ∑_{i=1}^{n}(Y_{mi} − μ_{m}) =

= \underbrace{(\frac{σ_{m}}{σ} − 1) S_{mn}^{∗}}_{=:A_{mn}} + \underbrace{\frac{1}{\sqrt{n}σ} ∑_{i=1}^{n} [(X_{i} − μ) − (Y_{mi} − μ_{m})]}_{=:B_{mn}}

Es gilt E(A_{mn}^{2}) = (\frac{σ_{m}}{σ} − 1)^{2} E((S_{mn}^{∗})^{2}) = (\frac{σ_{m}}{σ} − 1)^{2} Var(S_{mn}^{∗}) = (\frac{σ_{m}}{σ} − 1)^{2} (*) und E(B_{mn}^{2}) = \frac{1}{nσ^{2}} E(( ∑_{i=1}^{m} \underbrace{[(X_{i} − μ) − (Y_{mi} − μ_{i})]}_{unabhängige, identisch verteilte Zufallsvariablen mit Erwartungswert 0} )^{2}) =

\frac{1}{nσ^{2}} ∑_{i=1}^{n} Var(X_{i} − Y_{mi}) = \frac{1}{σ^{2}} Var(X_{1} − Y_{m1}) ≤

\frac{1}{σ^{2}} E((X_{1} − Y_{m1})^{2}) → 0 für m → ∞. Ebenso: (*)→ 0 für m → ∞ ⇒ E((S_{n}^{∗} − S_{mn}^{∗})^{2}) = E((A_{mn} + B_{mn})^{2}) ≤

E(A_{mn})^{2} + 2|E(A_{mn}B_{mn})| + E(B_{mn}^{2}) ≤^{Cauchy-Schwarz} E(A_{mn}^{2}) + 2\sqrt{E(A_{mn}^{2}) + E(B_{mn}^{2})} + E(B_{mn}^{2}) → 0 für m → ∞ Weiter gilt E(S_{n}^{∗} − S_{mn}^{∗}) = 0. Nach Lemma 13.12 folgt d(F_{S_{n}^{∗}}, Φ) = d(F_{S_{mn}^{∗}+(S_{n}^{∗}−S_{mn}^{∗})}, Φ) ≤ d(F_{S_{mn}^{∗}}, Φ) + 2\sqrt[3]{E((S_{n}^{∗} − S_{mn}^{∗})^{2})} → 0 für m, n → ∞ □

Satz 13.15 (Qualität der Abschätzung im zentralen Grenzwertsatz)

Seien X_{n} : Ω → ℝ für n ∈ ℕ_{+} unabhängige und identisch verteilte Zufallsvaria-

blen und S_{n}^{∗} sei wie in Theorem 13.14.

Ist 0 < σ^{2} := Var(X_{1}) < ∞ und γ := E(|X_{1} − E(X_{1})|^{3}) < ∞, so gilt d(S_{n}^{∗}, Φ) ≤

0, 8\frac{γ}{σ^{3}\sqrt{n}} (mit σ = σ(X_{1})).

(ohne Beweis)

Beispiel 13.16 (Relative Häufigkeiten beim Münzenwurf)

Wie oft muss man eine ideale Münze werfen, damit die relative Häufigkeit von ”Wappen“ von p = \frac{1}{2} mit Wahrscheinlichkeit 95% um höchstens 0,01 abweicht (bzw. 0,001)? Sei Ω = {0, 1}^{N} mit N ≫ 0, sei P die N-te Bernoulli-Verteilung zum Parameter p = \frac{1}{2}, wobei 0 ≅Zahl und 1≅Wappen. Für n ≥ 1, sei S_{n} : Ω → ℝ, def. durch (ω_{1}, …, ω_{N}) ↦ ω_{1} + … + ω_{n} Zahl der Wappen bei den ersten n Versuchen. ⇒ E(S_{n}) = \frac{n}{2}, Var(S_{n}) = n Var(S_{1}) = \frac{n}{4}, σ(S_{n}) = \frac{\sqrt{n}}{2}, σ = σ(S_{1}) = \frac{1}{2} Die Standardisierung ist S_{n}^{∗} = \frac{1}{\sqrt{n}σ}(S_{n} − nE(S_{1})) = \frac{2}{\sqrt{n}}(S_{n} − \frac{n}{2}) = \frac{2}{\sqrt{n}}(S_{n} − \frac{n}{2}) S_{n} = \frac{\sqrt{n}}{2}S_{n}^{∗} + \frac{n}{2} \frac{S_{n}}{n} = \frac{1}{2\sqrt{n}}S_{n}^{∗} + \frac{1}{2} relative Häufigkeit Nach dem zentralen Grenzwertsatz gilt P (0, 5 − ε ≤ \frac{S_{n}}{n} < 0, 5 + ε) = P (0, 5 − ε ≤ \frac{1}{2\sqrt{n}}S_{n}^{∗} + 0, 5 < 0, 5 + ε) = P (−2\sqrt{n}ε ≤ S_{n}^{∗} ≤ 2\sqrt{n}ε) = P (S_{n}^{∗} ≤ 2\sqrt{n}ε) − P (S_{n}^{∗} < −2\sqrt{n}ε) ≈ Φ(2\sqrt{n}ε) − Φ(−2\sqrt{n}ε) = 2Φ(2\sqrt{n}ε) − 1 Im Fall ε = 0, 01 folgt, dass 2Φ(0, 02\sqrt{n}) − 1 ≥ 0, 95 gelten muss, also 0, 02\sqrt{n} ≥ 1, 96 und n ≥ 9604 Im Fall ε = 0, 001 folgt analog, dass n ≥ 960400 gelten muss.

Beispiel 13.17 Die Batterie eines Handys hält durchschnittlich 50 Stunden mit einer Standardabweichung von 30 Stunden. Wieviele Batterien muss man kaufen, damit mit 95% Wahrscheinlichkeit das Handy mindestens 5000 Stunden Betrieb durchhält ? Ω = ℝ, A = B(ℝ), P =Lebesgue-Maß X_{i} : Ω → ℝ Lebensdauer der i-ten Batterie. Die Verteilung von X_{i} sei unbekannt (meist Exponentialverteilung) E(X_{i}) = 50, σ(X_{i}) = 30, Var(X_{i}) = 900 Für n ≥ 1 sei S_{n} = X_{1} + … + X_{n} die Gesamtbetriebszeit des Handys ⇒ E(S_{n}) = 50n, Var(S_{n}) = 900n, σ(S_{n}) = 30\sqrt{n} S_{n}^{∗} = \frac{1}{\sqrt{n}σ(X_{i})}(S_{n} − nE(X_{i})) = \frac{1}{30\sqrt{n}}(S_{n} − 50n) Nach dem zentralen Grenzwertsatz gilt P (S_{n} ≥ 5000) = 1 − P (S_{n} < 5000) = 1 − P (S_{n}^{∗} < \frac{5000−50n}{30\sqrt{n}}) ≈ 1 − Φ (\frac{5000−50n}{30\sqrt{n}}) = Φ (\frac{50n−5000}{30\sqrt{n}}) ≥ 0, 95 ⇔ \frac{50n−5000}{30\sqrt{n}} ≥ 1, 645 ⇔ n ≥ 111

14 Schätztheorie

Gegeben: Wahrscheinlichkeitsexperiment, Versuchsergebnisse, zu schätzende Größe Gesucht: ein geeigneter Wahrscheinlichkeitsraum und / oder eine Menge ”denkbarer“ Wahrscheinlichkeitsverteilungen, parametrisiert durch ϑ ∈ θ.

Definition 14.1

1. Ein (diskretes) Schätzproblem ist ein Tripel (Ω, {P_{ϑ}}_{ϑ∈θ}, g) bestehend aus einer höchstens abzählbaren Menge Ω, einer Menge θ, einer Familie {P_{ϑ}}_{ϑ∈θ} von Wahrscheinlichkeitsverteilungen auf Ω und einer Abbildung g : θ → M mit Werten in einer Menge M.

2. Ist (Ω, \{P \}_{ϑ∈θ}, g) ein Schätzproblem mit g : θ → M, so heißt \underline{jede} Abbildung T : Ω → M ein Schätzer von g.

Beispiel 14.2 (Schätzung von Erfolgswahrscheinlichkeiten) Ein Bernoulli-Versuch mit Erfolgswahrscheinlichkeit p ∈ [0, 1] werde n mal unabhängig durchgeführt. Aus den Versuchsergebnissen soll der Parameter p geschätzt werden. Sei Ω = {0, 1}^{n}, θ = [0, 1], P_{ϑ} = n-te Bernoulli-Verteilung zum Parameter ϑ ∈ θ, d.h. P_{ϑ}((ω_{1}, …, ω_{n})) = ϑ^{ω_{1}+...+ω_{n}}(1 − ϑ)^{n−ω_{1}−ω_{2}−...−ω_{n}} Zu schätzende Funktion: g : θ → ℝ, def. durch ϑ ↦ ϑ Ein möglicher Schätzer ist die relative Häufigkeit: T : Ω → ℝ, def. durch (ω_{1}, …, ω_{n}) ↦ \frac{1}{n}(ω_{1} + … + ω_{n})

Beispiel 14.3 (Panzernummern im 2. Weltkrieg) Aus den Seriennummern erbeuteter Panzer soll die Gesamtzahl N der Panzer des Feindes geschätzt werden. (Annahme: Die Panzer sind mit 1, …, N durchnummeriert.) Es soll n erbeutete Panzer geben. Sei Ω =Menge der n-elementigen Teilmengen von {1, …, N} ≅ {(x_{1}, …, x_{n}) ∈ {1, …, N}^{n} | 1 ≤ x_{1} < … < x_{n} ≤ N} θ = ℕ_{+} =Menge der Zahlen N Für ϑ ∈ θ sei P_{θ} die Gleichverteilung auf Ω. Zu schätzende Funktion g : θ → ℝ, def. durch N ↦ N.

P_{θ}((x_{1}, …, x_{n})) = \frac{1}{\binom{N}{n}}

Mögliche Schätzer:

1. T_{1} : Ω → ℝ (x_{1}, …, x_{n}) ↦ x_{n} ”max. Seriennummer“

2. T_{2} : Ω → ℝ (x_{1}, …, x_{n}) ↦ x_{n} + x_{1} − 1 ”max. Nummer plus erste Lücke“ 3. T_{3} : Ω → ℝ (x_{1}, …, x_{n}) ↦ x_{n} + \frac{x_{n}−n}{n} ”max. Nummer plus durchschnittliche

Lücke“

Definition 14.4 Sei (Ω, {P_{ϑ}}_{ϑ∈θ} ein Schätzproblem mit g : θ → M.

1. Für jedes ω ∈ Ω heißt L_{ω} : θ → [0, 1], def. durch ϑ → P_{ϑ}(ω) die Likelihood-Funktion an der Stelle ω ∈ Ω.

2. Gibt es für jedes ω ∈ Ω ein ϑ_{ω} ∈ θ mit L_{ω}(ϑ_{ω}) = sup_{ϑ∈θ} L_{ω}(ϑ) so heißt der Schätzer L : Ω → M, def. durch ω ↦ g(ϑ_{ω}) ein Maximum-Likelihood-Schätzer.

Beispiel 14.5 (Fortsetzung von 14.2 und 14.3)

1. In Beispiel 14.2 gilt:

L_{ω} : θ = [0, 1] → [0, 1] ist def. durch ϑ ↦ P_{ϑ}(ω) = θ(1 − θ)^{n−i} mit i = ω_{1} + … + ω_{n} für ω = (ω_{1}, …, ω_{n}). Wegen der Monotonie von x ↦ ln x genügt es, das Maximum von ln(L_{ω})(ϑ) = i ln ϑ + (n − i) ln(1 − θ) auf dem Intervall θ = [0, 1] zu finden. Es gilt: \frac{∂}{∂ϑ}(ln L_{ω}(ϑ)) = i\frac{1}{ϑ} − (n − i)\frac{1}{1−ϑ} = 0 ⇔ ϑ = \frac{i}{n} Also ist L = T : Ω ⇒ ℝ ω ↦ \frac{ω_{1}+...+ω_{n}}{n} der Maximum-Likelihood-Schätzer.

2. In Beispiel 14.3 gilt:

L_{ω} : θ = ℕ_{+} → [0, 1] ist def. durch ϑ ↦ P_{ϑ}(ω) = \frac{1}{\binom{ϑ}{n}} ⇒ Die Funktion ist maximal für minimales ϑ. Für ω = (x_{1}, …, x_{n}) muss stets ϑ = N ≥ x_{n} sein. Also ist T_{1} : Ω → ℝ (x_{1}, …, x_{n}) ↦ x_{n} der Maximum-Likelihood-Schätzer. Allerdings ist T_{1} kein sehr guter Schätzer, da er stets unterschätzt.

Definition 14.6 Sei (Ω, {P_{ϑ}}_{ϑ∈θ}, g) ein Schätzproblem mit g : θ → ℝ.

1. Ist T : Ω → ℝ ein Schätzer für g und existiert E_{ϑ}(T) = ∑_{ω∈Ω} T (ω)P_{ϑ}(ω), so heißt E_{ϑ}(T) der Erwartungswert von T bei Parameter ϑ.

2. Der Schätzer T heißt erwartungstreu, wenn E_{ϑ}(T) für alle ϑ ∈ θ existiert und E_{ϑ}(T) = g(ϑ) erfüllt.

3. In der Situation von 2. heißt die Abbildung b_{T} : θ → ℝ, def. durch ϑ ↦ E_{ϑ}(T) − g(ϑ), der Bias von T. Der Schätzer ist also genau dann erwartungstreu, wenn b_{T} = 0 gilt.

Beispiel 14.7

1. In Beispiel 14.2 gilt für T : Ω → ℝ (ω_{1}, …, ω_{n}) ↦ \frac{ω_{1}+...+ω_{n}}{n}, dass

E_{ϑ}(T) = ∑_{ω∈Ω} T (ω)P_{ϑ}(ω) = ∑_{ω∈Ω} \frac{ω_{1}+...+ω_{n}}{n} ϑ^{ω_{1}+...+ω_{n}}(1 − ϑ)^{n−ω_{1}−...−ω_{n}} =

∑_{i=0}^{n} \binom{n}{i} \frac{i}{n}ϑ^{i}(1 − ϑ)^{n−i} = ∑_{i=1}^{n} \binom{n}{i} \frac{i}{n}ϑ^{i}(1 − ϑ)^{n−i} =

∑_{i=1}^{n} \binom{n−1}{i−1}ϑ^{i}(1 − ϑ)^{n−i} = ∑_{i=0}^{n} \binom{n−1}{i}ϑ^{i+1}(1 − ϑ)^{n−1−i} =

ϑ ∑_{i=0}^{n} \binom{n−1}{i}ϑ^{i}(1 − ϑ)^{n−1−i} = ϑ(ϑ + (1 − ϑ))^{n−1} = ϑ · 1^{n−1} = ϑ ist.

Also gilt E_{ϑ}(T) = ϑ = g(ϑ) für alle ϑ ∈ θ, d.h. T ist erwartungstreu.

2. In Beispiel 14.3 gilt für T_{1} : Ω → ℝ (x_{1}, …, x_{n}) ↦ x_{n}, dass E_{ϑ}(T_{1}) =

∑_{1≤x_{1}<...<x_{n}≤N} x_{n} \frac{1}{\binom{N}{n}} ist.

Wie man z.B. im Fall N = n + 1 sofort sieht, ist T_{1} nicht erwartungstreu. Es gilt E_{ϑ}(T_{1}) ≠ N = g(ϑ) Für T_{2} : Ω → ℝ (x_{1}, …, x_{n}) ↦ x_{n} + x_{1} − 1 gilt

E_{ϑ}(T_{2}) = ∑_{1≤x_{1}<...<x_{n}≤N}(x_{1} + x_{n} − 1)\frac{1}{\binom{N}{n}} =

∑_{i=1}^{N−n+1} i\binom{N−i}{n−1} \frac{1}{\binom{N}{n}} + ∑_{i=n}^{N} i\binom{i−1}{n−1} \frac{1}{\binom{N}{n}} − 1 =

\frac{N+1}{n+1} + \frac{n(N+1)}{n+1} − 1 = N ⇒ T_{2} erwartungstreu Für T_{3} : Ω → ℝ (x_{1}, …, x_{n}) ↦ x_{n} + \frac{x_{n}−n}{n} gilt

E_{ϑ}(T_{3}) = ∑_{1≤x_{1}<...<x_{n}≤N} (\frac{n+1}{n} − 1) \frac{1}{\binom{N}{n}} = \frac{n+1}{n} \frac{n(N+1)}{n+1} − 1 = N

⇒ T_{3} erwartungstreu

Bemerkung 14.8 Es braucht beim Schätzproblem keinen erwartungstreuen Schätzer zu geben.

Z.B. sei Ω = {0, …, n} für ein n ∈ ℕ, P_{ϑ} = P_{n,ϑ} =Binomialverteilung zum Parameter ϑ ∈ θ = [0, 1]. Dann gibt es für die Abbildung g : θ = [0, 1] → ℝ, def. durch ϑ ↦ \sqrt{nϑ(1 − ϑ)} (”Standardabweichung“ von X : Ω → ℝ, def. durch i ↦ P_{ϑ}(i), keinen erwartungstreuen Schätzer T : Ω → ℝ, denn E_{ϑ}(T) = ∑_{i=0}^{n} T (i)\binom{n}{i}ϑ(1 − ϑ)^{n−i} ist eine Polynomfunktion in ϑ und g : θ → ℝ ist keine Polynomfunktion (z.B. gilt \frac{∂}{∂ϑ}E_{ϑ}(T)(0) < ∞ und \frac{∂}{∂ϑ}g(0) = ∞)

Beispiel 14.9 (Schätzung von Erwartungswerten und Varianzen) In einem Wahrscheinlichkeitsexperiment (mit abzählbar vielen reellen möglichen Versuchsergebnissen) werden n unabhängige Wiederholungen durchgeführt. Es sind der Erwartungswert und die Varianz zu schätzen. Sei (Ω̃, A, P) ein Wahrscheinlichkeitsraum und für i = 1, …, n beschreibe die Zufallsvariable X_{i} : Ω̃ → ℝ die i-te Wiederholung des Versuchs. Sei Ω = X_{1}(Ω̃) × … × X_{n}(Ω̃). Nach Voraussetzung gilt P_{X_{1}} = … = P_{X_{n}}. Wir nehmen an, dass μ = E(X_{1}) = … = E(X_{n}) und σ^{2} = Var(X_{1}) = … = Var(X_{n}) existieren. Für ϑ ∈ θ sei P_{ϑ} : 𝔓(Ω) → [0, 1] die Wahrscheinlichkeitsverteilung P_{X_{1}} × … × P_{X_{n}}.

1. Für den Erwartungswert g_{1} : θ = ℝ → ℝ, def. durch μ ↦ μ ist der Mittelwert T_{1} = \frac{1}{n}(X_{1} + … + X_{n}) : Ω → ℝ (X_{1}(ω̃_{1}), …, X_{n}(ω̃_{n})) ↦ \frac{1}{n}(X_{1}(ω̃_{1}) + … + X_{n}(ω̃_{n})) ein erwartungstreuer Schätzer, denn E_{μ}(T_{1}) = \frac{1}{n}(E(X_{1}) + … + E(X_{n})) = \frac{1}{n}nμ = μ = g(μ)

2. Für die Varianz g_{2} : θ = ℝ → ℝ, def. durch ϑ = σ^{2} ↦ σ^{2}, ist T_{2} : Ω → ℝ, def.

durch ω = (X_{1}(ω̃_{1}), …, X_{n}(ω̃_{n})) ↦ \frac{1}{n−1} ∑_{i=1}^{n}(X_{i}(ω̃_{i}) − T_{1}(ω))^{2}, ein erwartungs-

treuer Schätzer (nachrechnen!)

Definition 14.10 Sei (Ω, {P_{ϑ}}_{ϑ∈θ}, g) ein Schätzproblem mit g : θ → ℝ und T : Ω → ℝ ein Schätzer.

1. Existiert Var_{ϑ}(T) := E_{ϑ}((T − E_{ϑ}(T))^{2}), so heißt Var_{ϑ}(T) die Varianz des Schätzers T.

2. Existiert E_{ϑ}((T − g(ϑ))^{2}) für jedes ϑ ∈ θ, so heißt R_{T} : θ → ℝ, def. durch ϑ ↦ E_{ϑ}((T − g(ϑ))^{2}) der mittlere quadratische Fehler des Schätzers T.

Satz 14.11 Sei (Ω, {P_{ϑ}}_{ϑ∈θ}, g) ein Schätzproblem mit g : θ → ℝ und sei T : Ω → ℝ ein Schätzer für den Var_{ϑ}(T) und R_{T} existieren (für alle ϑ ∈ θ). Dann gilt R_{T} (ϑ) = Var_{ϑ}(T) + b_{T} (ϑ)^{2}.

Beweis: Es gilt R_{T} (ϑ) = E_{ϑ}(((T − E_{ϑ}(T)) − g(ϑ) − E_{ϑ}(T))^{2}) =

E_{ϑ}((T − E_{ϑ}(T))^{2}) − 2(g(ϑ) − E_{ϑ}(T)) \underbrace{E_{ϑ}(T − E_{ϑ}(T))}_{=0} +(g(ϑ) − E_{ϑ}(T))^{2} =

Var_{ϑ}(T) + b_{T} (ϑ)^{2} □

Beispiel 14.12

1. In Beispiel 14.2 war Ω = {0, 1}^{n}, θ = [0, 1], P_{ϑ}((ω_{1}, …, ω_{n})) = ϑ^{ω_{1}+...+ω_{n}}(1 − ϑ)^{n−ω_{1}−...−ω_{n}}, g : θ → ℝ ϑ ↦ ϑ, T : Ω → ℝ (ω_{1}, …, ω_{n}) ↦ \frac{1}{n}(ω_{1} + … + ω_{n}) Schätzer. ⇒ Var_{ϑ}(T) = E_{ϑ}((T − E_{ϑ}(T))^{2}) = E_{ϑ}((T − ϑ)^{2}) =

∑_{ω∈Ω}(T (ω) − ϑ)^{2}P_{ϑ}(ω) = ∑_{i=0}^{n} \binom{n}{i} (\frac{i}{n} − ϑ)^{2} ϑ^{i}(1 − ϑ)^{n−i} =

\frac{1}{n^{2}} Var(b_{n,ϑ}) = \frac{1}{n}ϑ(1 − ϑ) und R_{T} (ϑ) = Var_{ϑ}(T) + b_{T} (ϑ)^{2} = Var_{ϑ}(T) = \frac{1}{n}ϑ(1 − ϑ) Sei T̃ : Ω → ℝ ein beliebiger erwartungstreuer Schätzer für g : θ = [0, 1] → ℝ, d.h. es gelte E_{ϑ}(T̃) = ϑ für alle ϑ ∈ [0, 1]. Dann kann man zeigen, dass Var_{ϑ}(T̃) ≥ \frac{1}{n}ϑ(1−ϑ) = Var_{ϑ}(T) gilt (vgl. Krengel §4.5) ⇒ ∀ϑ ∈ θ : RT̃(ϑ) ≥ R_{T} (ϑ) ⇒ T ist optimal unter den erwartungstreuen Scbätzern.

2. In Beispiel 14.3 waren T_{2} : Ω → ℝ (x_{1}, …, x_{n}) ↦ x_{n} + x_{1} − 1 und T_{3} : Ω → ℝ (x_{1}, …, x_{n}) ↦ x_{n} + \frac{x_{n}−n}{n} erwartungstreu.

Es gilt Var_{ϑ}(T_{2}) = ∑_{1≤x_{1}<...<x_{n}≤N}(x_{1} + x_{n} − 1 − N)^{2} \frac{1}{\binom{N}{n}} und

Var_{ϑ}(T_{3}) = ∑_{1≤x_{1}<...<x_{n}≤N}(x_{1} + \frac{x_{n}−n}{n} − N)^{2} \frac{1}{\binom{N}{n}}, sowie R_{T_{2}}(ϑ) = Var_{ϑ}(T_{2}) ≥

Var_{ϑ}(T_{3}) = R_{T_{3}}(ϑ) für alle ϑ ∈ θ. Also hat T_{3} einen kleineren mittleren quadratischen Fehler als T_{2}.

Definition 14.13 Sei M eine Menge und sei (Ω, {P_{ϑ}}_{ϑ∈θ}, g) ein Schätzproblem mit g : θ → M und sei α ∈ ℝ_{+}.

1. Ist für jedes ω ∈ Ω eine Menge C(ω) ⊂ M gegeben mit P_{ϑ}({ω ∈ Ω | g(ϑ) ∈ C(ω)}) ≥ 1 − α, so heißt C(ω) ein Konfidenzbereich zum Konfidenzniveau α.

2. Ist g : θ → ℝ und g(θ) ⊂ ℝ ein Intervall und C(ω) ⊂ g(θ) ein Teilintervall, so heißt C(ω) ein Konfidenzintervall zum Niveau α.

Bemerkung 14.14 (Bedeutung der Konfidenzintervalle) Sei {C(ω)}_{ω∈Ω} eine Familie von Konfidenzintervallen für g : θ → ℝ zum Niveau α ∈ ℝ_{+}.

1. Für jedes ω ∈ Ω und g(ϑ) ∈ g(θ) gilt entweder g(ϑ) ∈ C(ω) oder nicht. Für die Menge {ϑ ∈ θ | g(ϑ) ∈ C(ω)} gibt es keine ”Wahrscheinlichkeit“. Es gibt also keine Wahrscheinlichkeit dafür, dass C(ω) den Wert g(ϑ) enthält.

2. Vielmehr geben wir eine Familie von Konfidenzintervallen an und behaupten mit Wahrscheinlichkeit≥ 1 − α liefert das aus der Beobachtung von ω ∈ Ω berechnete Intervall C(ω) ein Resultat mit g(ϑ) ∈ C(ω).

Bemerkung 14.15 (Konstruktion von Konfidenzintervallen) Sei g : θ → ℝ der zu schätzende Parameter. Die Angabe einer Familie {C(ω)}_{ω∈Ω} ist gleichbedeutend mit der Angabe der Menge C = {(ω, ϑ) ∈ Ω × θ | ϑ ∈ C(ω)} und daher mit der Angabe der Familie {A(ϑ)}_{ϑ∈θ} mit A(ϑ) = {ω ∈ Ω | (ω, ϑ) ∈ C} = {ω ∈ Ω | ϑ ∈ C(ω)} Offenbar gilt P_{ϑ}({ω ∈ Ω | ϑ ∈ C(ω)}) ≥ 1 − α ⇔ P_{ϑ}(A(ϑ)) ≥ 1 − α. Also genügt es, für jedes ϑ ∈ θ eine Menge A(ϑ) ⊂ Ω anzugeben mit P_{ϑ}(A(ϑ)) ≥ 1 − α. Damit die Konfidenzintervalle C(ω) möglichst klein sind, ist A(ϑ) möglichst ”klein“ zu wählen, z.B. indem wir in A(ϑ) die Ereignisse ω ∈ Ω wählen, für die P_{ϑ}(ω) maximal ist. Verfahren:

1. Für jedes ϑ ∈ θ sortiere Ω = {ω_{1}, ω_{2}, … }, so dass P_{ϑ}(ω_{1}) ≥ P_{ϑ}(ω_{2}) ≥ … gilt.

2. Wähle A(ϑ) = {ω_{1}, …, ω_{k} | P_{ϑ}(ω_{1}) + … + P_{ϑ}(ω_{k}) ≥ 1 − α mit k minimal }.

3. Bestimme die C(ω) aus den A(ϑ).

Definition 14.16 1. Sei θ eine Menge und sei (Ω, A_{ϑ}, P_{ϑ})_{ϑ∈θ} eine Familie von Wahrscheinlich-

keitsräumen. Ferner sei (Ω′, B) ein messbarer Raum und eine Abbildung X : Ω → Ω′ sei bzgl. allen (A_{ϑ}, B) messbar. Dann induziert X für jedes ϑ ∈ θ eine Wahrscheinlichkeitsverteilung P_{ϑ} von (Ω′, B) (d.h. für B ∈ B sei P_{ϑ}(B) = P̃_{ϑ}(X^{−1}(B)) ). Schließlich sei M eine Menge und g : θ → M eine Abbildung. Dann heißt (Ω′, X, {P_{ϑ}}_{ϑ∈θ}, g) ein (allgemeines) Schätzproblem und jede Abbildung T : X(Ω) → M heißt ein Schätzer.

Beispiel 14.17 Die Zufallsvariablen X_{(μ,σ^{2})} : Ω → ℝ seien N(μ, σ^{2})-verteilt mit ϑ = (μ, σ^{2}) ∈ θ = ℝ × ℝ_{+}.

1. Gesucht sei ein Schätzer für g : θ → ℝ (μ, σ^{2}) ↦ μ.

Dazu benötigen wir für jedes ϑ = (μ, σ^{2}) ∈ θ das Maximum der Funktion ℝ → [0, ∞[ x ↦ f_{(μ,σ^{2})}(x) = \frac{1}{\sqrt{2π}σ}e^{− \frac{(x−μ)^{2}}{2σ^{2}}} . Dieses liegt bei μ = x, d.h. der Maximum-Likelihood-Schätzer ist L : Ω → ℝ ω ↦ x = X_{(μ,σ^{2})}(ω). Der Schätzer L ist erwartungstreu, d.h. E_{ϑ}(L) = E(X_{(μ,σ^{2})}) = μ = g(ϑ). Die Zufallsvariable Y_{μ} : Ω → ℝ ω ↦ \frac{X_{(μ,σ^{2})}−μ}{σ}, also Y_{μ} = (X_{(μ,σ^{2})}^{∗}), ist N(0, 1) verteilt. Sei z.B. α = 0, 005 vorgegeben. Wegen Φ(1, 96) = 0, 975 gilt dann P_{(μ,σ^{2})}(|Y_{μ}| ≤ 1, 96) = Φ(1, 96) − Φ(−1, 96) = 0, 95. Sei für jedes ω ∈ Ω der Konfidenzbereich C(ω) definiert durch C(ω) = {μ ∈ ℝ | |X(ω) − μ| ≤ 1, 96σ}. Dann gilt μ ∈ C(ω) ⇔ |Y_{μ}(ω)| ≤ 1, 96, also P_{(μ,σ^{2})}({μ ∈ ℝ | μ ∈ C(ω)}) = P_{(μ,σ^{2})}(|Y_{μ}| ≤ 1, 96) = 0, 95, d.h. C(ω) ist ein Konfidenzintervall zum Niveau 0,05.

2. Der Maximum-Likelihood-Schätzer für g : θ → ℝ (μ, σ^{2}) ↦ σ^{2} ist analog gegeben durch L : Ω → ℝ ω ↦ (X_{(μ,σ^{2})}(ω) − μ)^{2}. Auch er ist erwartungstreu.

Beispiel 14.18 (Die Methode der kleinsten Quadrate) Aufgabe: Ausgehend von einer Größe x ∈ ℝ wird eine Größe y ∈ ℝ gemessen und zwar n-mal unabhängig voneinander.

Man erhält n Messpunkte (x_{1}, y_{1}), …, (x_{n}, y_{n}) ∈ ℝ^{2}. Es soll eine bestimmte Kurve (z.B. Gerade, Parabel, Exponentialkurve …) so bestimmt werden, dass sie möglichst nahe an den Punkten vorbei geht. Mathematischer Ansatz: Seien ϑ_{1}, …, ϑ_{p} ∈ ℝ Parameter und φ_{(ϑ_{1},... ,ϑ_{p})} : ℝ → ℝ die zu bestimmende Funktion mit y_{i} ≈ φ_{(ϑ_{1},... ,ϑ_{p})}(x). Die Methode der kleinsten Quadrate besagt, dass man (ϑ_{1}, …, ϑ_{p}) ∈ ℝ^{p} so

wählen soll, dass Q(ϑ_{1}, …, ϑ_{p}) = ∑_{i=1}^{n}(g_{i} − φ_{(ϑ_{1},... ,ϑ_{p})}(x_{i}))^{2} minimal ist.

Mathematische Begründung: Für i = 1, …, n sei ξ_{i} = φ_{(ϑ_{1},... ,ϑ_{p})}(x_{i}) der ”wirkliche“ zu messende Wert und z_{i} = y_{i} − ξ_{i} der ”Messfehler“. Sei Ω = ℝ und für i = 1, …, n sei Y_{i} : Ω → ℝ t ↦ y_{i}(x_{i}, t) das Ergebnis der Messung von y_{i} (abhängig von x_{i}) zur Zeit t. Ferner sei Y = (Y_{1}, …, Y_{n}) : Ω → ℝ^{n} x ↦ (y_{1}(t), …, y_{n}(t)). Die Verteilungen von Y_{1}, …, Y_{n} sind unbekannt. Angenommen die Zufallsvariablen Y_{1}, …, Y_{n} sind unabhängig und Y_{i} ist N(ξ, σ^{2})- verteilt für i = 1, …, n. ⇒ nach Satz 12.17 ist die Dichte von Y gegeben durch

f : ℝ^{n} → [0, ∞[ (y_{1}, …, y_{n}) ↦ (\frac{1}{\sqrt{2π}σ})^{n} e^{− \frac{1}{2σ^{2}} ( ∑_{i=1}^{n}(y_{i}−ξ_{i})^{2})}.

Also ist f(y_{1}, …, y_{n}) maximal genau dann, wenn

Q(ϑ_{1}, …, ϑ_{p}) = ∑_{i=1}^{n} (y_{i} − φ_{(ϑ_{1},... ,ϑ_{p})}(x_{i}))^{2} = ∑_{i=1}^{n}(y_{i} − ξ_{i})^{2} minimal ist.

⇒ der Maximum-Likelihood-Schätzer für g : θ → ℝ^{p} (ϑ_{1}, …, ϑ_{p}) ↦ (ϑ_{1}, …, ϑ_{p}) ist T : ℝ^{n} → ℝ^{p} (y_{1}, …, y_{n}) ↦ (ϑ_{1}, …, ϑ_{p}) mit Q(ϑ_{1}, …, ϑ_{p}) minimal.

Beispiel 14.19 (Die Regressionsgerade) Den Messpunkten (x_{1}, y_{1}), …, (x_{n}, y_{n}) ∈ ℝ^{2} soll eine Gerade φ_{(α,β)} : ℝ → ℝ x ↦ α + βx möglichst gut angepasst werden. Es ist also Q(α, β) = ∑_{i=1}^{n}(y_{i} − (α + βx_{i}))^{2} zu minimieren.

⇒ \frac{∂Q}{∂α} = 0 liefert ∑_{i=1}^{n}(y_{i} − α − βx_{i}) = 0 und \frac{∂Q}{∂β} = 0 liefert ∑_{i=1}^{n} x_{i}(y_{i} − α − βx_{i}) = 0.

Definiere \overline{x} = \frac{1}{n}(x_{1} + … + x_{n}), \overline{y} = \frac{1}{n}(y_{1} + … + y_{n}), \overline{xy} = \frac{1}{n}(x_{1}y_{1} + … + x_{n}y_{n}), \overline{x^{2}} = \frac{1}{n}(x_{1}^{2} + … + x_{n}^{2}) Die Bedingungen lauten:

\overline{y} = α + β\overline{x}, \overline{xy} − α\overline{x} − β\overline{x^{2}} = 0 ⇒ der Maximum-Likelihood-Schätzer für g : ℝ^{2} → ℝ^{2} (α, β) ↦ (α, β) lautet T : ℝ^{n} → ℝ^{2} (y_{1}, …, y_{n}) ↦ (α̂, β̂) = (\overline{y} − γ\overline{x}, γ) mit γ = \frac{\overline{xy}−\overline{x} \overline{y}}{\overline{x^{2}}−\overline{x} \overline{x}} Die Gerade y = α̂ + β̂x heißt Regressionsgerade. Die Zahl γ heißt der Regressionskoeffizient. Der Schätzer T ist erwartungstreu.

15 Testtheorie

Beispiel 15.1 Ein Wünschelrutengänger behauptet, er könne Wasseradern orten (mit ”an Sicherheit grenzender Wahrscheinlichkeit“). Versuchsaufbau: Eine Wasserleitung wird in einer Wiese verlegt. Darüber wird ein Zelt aufgebaut. Der Wünschelrutengänger schreitet n-mal über die Wasserleitung, wobei er nicht weiß, ob gerade Wasser fließt. (Letzteres wird zufällig bestimmt). Er gibt das Ergebnis seiner ”Ortung“ bekannt. Kann man seine Behauptung widerlegen ? Mathematisches Modell: Ω = {0, 1}^{n} =Menge der Versuchsergebnisse mit ”an der i-ten Stelle“ entspricht ”i-te Ortung war korrekt“. Sei p die wirkliche Wahrscheinlichkeit, mit der der Wünschelrutengänger korrekt ortet. ”Nullhypothese“ p = \frac{1}{2} ”Alternative“ p > \frac{1}{2} Für ϑ ∈ [\frac{1}{2}, 1] = θ sei P̃_{ϑ} die n-te Bernoulli-Verteilung zum Parameter θ und X : Ω → ℝ (ω_{1}, …, ω_{n}) ↦ ω_{1} + … + ω_{n} ⇒ P_{X,ϑ} = b_{n,θ} Binomialverteilung Es soll nun zu einem gewissen Signifikanzniveau α ∈ ℝ_{+} ein kritischer Wert t ∈ ℕ so festgelegt werden, dass

1. unter der Nullhypothese gilt P (X ≥ t) ≤ α.

2. im Fall X(ω) > t wir die Behauptung des Wünschelrutengängers akzeptiert, d.h. die Nullhypothese wird verworfen.

3. Im Fall X(ω) < t wir die Behauptung des Wünschelrutengängers als nicht erwiesen betrachtet, d.h. die Nullhypothese wird akzeptiert. (Sie ist nicht ”bewiesen“).

Definition 15.2

1. Ein Testproblem (Ω, {P̃_{ϑ}}_{ϑ∈θ}, X, H) besteht aus folgenden Daten: 1. einer abzählbaren Menge Ω

2. einer Menge θ

3. einer Familie von Wahrscheinlichkeitsverteilungen {P̃_{ϑ}}_{ϑ∈θ} auf Ω, P̃_{ϑ} : A_{ϑ} → [0, 1]

4. einer Zufallsvariablen X : Ω → M mit Werten in einem messbaren Raum (M, M)

5. einer echten nichtleeren Teilmenge ∅ ≠ H ⊊ θ (genannt Hypothese oder Nullhypothese)

Im Folgenden sei (Ω, {P̃_{ϑ}}_{ϑ∈θ}, X, H) ein Testproblem.

2. Für jedes ϑ ∈ θ betrachten wir die Wahrscheinlichkeitsverteilung P_{ϑ} : M → [0, 1] N ↦ P̃_{ϑ}(X^{−1}(N)). Die Menge K = θ \ H heißt die Alternative.

3. Jede Abbildung T : X(Ω) → {H, K} heißt ein Test (oder ein Testverfahren). Gilt T (X(ω)) = H für ein ω ∈ Ω, so nennen wir dies die Annahme der Hypothese. Gilt T (X(ω)) = K für ein ω ∈ Ω, so nennen wir dies das Verwerfen der Hypothese.

4. Ist T : X(Ω) → {H, K} ein Test, so heißt R = T^{−1}(K) der Verwerfungsbereich (oder der kritische Bereich). Die Angabe von R ist äquivalent zur Angabe von T.

5. Ist X(Ω) ⊂ ℝ und gibt es eine Funktion T̃ : ℝ → ℝ mit R = {x ∈ ℝ | T̃(x) ≥ t} für ein t ∈ ℝ, so heißt T̃ eine Teststatistik für T und t ein kritischer Wert.

6. Die Abbildung β : θ → [0, 1] ϑ ↦ P_{ϑ}(X ∈ R) heißt der Gütefaktor von T.

Beispiel 15.3 In der Situation von 15.1 gilt: Ω = \{0, 1\}^{n}, θ = [\frac{1}{2}, 1], P̃_{ϑ} = n-te Bernoulli-Verteilung zum Parameter ϑ ∈ θ. X : Ω → ℝ (ω_{1}, …, ω_{n}) ↦ ω_{1} + … + ω_{n}, X(Ω) = {0, …, n}, P_{ϑ} = B_{n,ϑ} =Binomialverteilung H = \{\frac{1}{2}\}, K =]\frac{1}{2}, 1], T : X(Ω) → \{H, K\} sei gegeben durch R = T^{−1}(K) = \{X ≥ t} für ein t ∈ ℝ (mit Teststatistik T̃ : ℝ → ℝ x ↦ x), d.h. die Behauptung des Wünschelrutengängers wird nur dann akzeptiert, wenn er mindestens t korrekte Ortungen vornimmt. Die Gütefunktion β : [\frac{1}{2}, 1] → [0, 1] erfüllt β(ϑ) = P_{ϑ}(X ≥ t) = b_{n,ϑ}(t) + b_{n,ϑ}(t + 1) + … + b_{n,ϑ}(n). Wünscht man im Fall n = 5 etwa β(ϑ) ≤ 0, 05 für alle ϑ ∈ θ, so muss man t = 5 wählen, denn für t = 4 ist P_{ϑ}(X ≥ 4) ≈ 0, 187 > α.

Definition 15.4 Sei (Ω, {P̃_{ϑ}}_{ϑ∈θ}, X, H) ein Testproblem, d.h. θ Menge, (Ω, A_{ϑ}, P̃_{ϑ})_{ϑ∈θ} Familie von Wahrscheinlichkeitsräumen, X : Ω → Ω′ Zufallsvariable, P_{ϑ} = P̃_{ϑ} ∘ X^{−1} für ϑ ∈ θ, H ⊂ θ Hypothese, K = θ \ H Alternative.

1. Ein randomisierter Test T ist eine messbare Abbildung T : X(Ω) → [0, 1]. Wird dabei x ∈ X(Ω) beobachtet, so sei T (x) die Wahrscheinlichkeit, mit der H verworfen wird.

2. Ist ϑ ∈ H und wird H verworfen, so spricht man von einem Fehler 1. Art.

3. Ist ϑ ∈ K und wird H akzeptiert, so spricht man von einem Fehler 2. Art.

4. Ist α ∈ ℝ_{+} mit β(ϑ) ≤ α für alle ϑ ∈ H, so sagt man, der Test habe das Signifikanzniveau α. Die Wahrscheinlichkeit eines Fehlers 1. Art ist dann maximal α.

5. Ist α ∈ ℝ_{+}, so sagt man, der Test habe die Macht 1 − α, wenn für alle ϑ ∈ K gilt β(ϑ) ≥ 1 − α.

Bemerkung 15.5 Im Folgenden sei (Ω, {P_{ϑ}}_{ϑ∈θ}, X, H) ein Testproblem.

1. Ist T : X(Ω) → {H, K} ein Test im Sinne von Def. 15.2, so ist T : X(Ω) → {H, K} → [0, 1] H ↦ 0, K ↦ 1. In diesem Sinne werden wir ab jetzt nur noch randomisierte Tests betrachten.

2. Ist T : X(Ω) → [0, 1] ein randomisierter Test, so ist die Gütefunktion β : θ → [0, 1] gegeben durch ϑ ↦ E_{ϑ}(T) = ∑_{x∈X(Ω)} T (x)P_{ϑ}(x), denn mit Wahrscheinlichkeit P_{ϑ}(x) wird x beobachtet und dann wird H mit Wahrscheinlichkeit T (x) verworfen.

3. Hat ein (gewöhnlicher) Test T : X(Ω) → [0, 1] das Signifikanzniveau α ∈ ℝ_{+}, so ist die Wahrscheinlichkeit eines Fehlers 1. Art kleiner oder gleich α, denn Für ϑ ∈ H gilt P_{ϑ}({x ∈ X(Ω) | T (x) = 1}) = β(ϑ) ≤ α.

4. Hat ein (gewöhnlicher) Test T : X(Ω) → [0, 1] die Macht 1−α für ein α ∈ ℝ_{+}, so ist die Wahrscheinlichkeit eines Fehlers 2. Art kleiner oder gleich α, denn für ϑ ∈ K gilt P_{ϑ}({x ∈ X(Ω) | T (x) = 0}) = 1 − P_{ϑ}({x ∈ X(Ω) | T (x) = 1}) = 1 − β(ϑ) ≤ α

Beispiel 15.6 (Fortsetzung von 15.1 ”Wünschelrutengänger“) Sei Ω = \{0, 1\}^{n}, θ = [\frac{1}{2}, 1], P̃_{ϑ} = n-te Bernoulli-Verteilung zum Parameter ϑ, X : Ω → ℝ (ω_{1}, …, ω_{n}) ↦ ω_{1} + … + ω_{n} mit X(Ω) = {0, …, n} und P_{ϑ} = b_{n,ϑ}, H = \{\frac{1}{2}\}, K =]\frac{1}{2}, 1]. Sei T : X(Ω) → [0, 1] mit imT ⊂ {0, 1} und R = T^{−1}(1) = {X ≥ t} für ein

t ∈ ℝ, def. durch x ↦ \{ \begin{matrix}1 & falls x ≥ t \\ 0 & sonst \end{matrix} .

Im Folgenden sei n = 5 und t = 5 (notwendig für Niveau α = 0, 05) Die Gütefunktion ist β : θ → [0, 1] ϑ ↦ P_{ϑ}(X ≥ t).

1. β(0, 6) = 0, 08 d.h. bei Trefferquote 0,6 wird die Hypothese nur mit Wahrscheinlichkeit 0,08 verworfen.

2. β(0, 9) = 0, 59 d.h. … Man kann so herausfinden, wie groß n sein muss, damit eine Abweichung von der Nullhypothese mit großer Wahrscheinlichkeit festgestellt wird. Beim Fehler 2. Art kann man in diesem Beispiel nicht für alle ϑ ∈ K erreichen, dass 1 − β(ϑ) klein ist, denn lim_{ϑ→^{>} \frac{1}{2}}(1 − β(ϑ)) = 1 − β(\frac{1}{2}) ≥ 1 − α für kleine α

unmöglich. Man kannn aber z.B. erreichen, dass für alle ϑ ≥ 0, 6 ein Fehler 2. Art mit Wahrscheinlichkeit≤ 0, 05 eintritt.

Definition 15.7

1. Die Hypothese H ⊂ θ heißt einfach, wenn es ein ϑ_{H} ∈ θ gibt mit H = {ϑ_{H}}. In diesem Fall schreiben wir P_{H} = P_{ϑ_{H}}. Andernfalls heißt H zusammengesetzt. Analog heißt die Alternative K = θ \ H einfach, wenn es ein ϑ_{K} ∈ θ gibt mit K = {ϑ_{K}}. Wieder schreiben wir P_{K} = P_{ϑ_{K}}.

2. Sind H, K ⊂ θ einfach, so heißt ein Test T : X(Ω) → [0, 1] ein Neyman-Pearson-Test, wenn es ein c ∈ [0, ∞] gibt mit T : X(Ω) → [0, 1] x ↦

\{ \begin{matrix}1 & falls & P_{K}(x) > cP_{H}(x) \\ 0 & falls & P_{K}(x) < cP_{H}(x) \end{matrix}

(Für x ∈ X(Ω) mit P_{K}(x) = cP_{H}(x) kann man T (x) beliebig fortsetzen).

Bemerkung 15.8 Sind H, K ⊂ θ einfach und ist T : X(Ω) → [0, 1] ein Test, so ist E_{H}(T) = ∑_{x∈X(Ω)} T (x)P_{H}(x) das minimale Niveau von T und E_{K}(T) = ∑_{x∈X(Ω)} T (x)P_{K}(x) die minimale Macht von T. Dabei heißt T schärfer als ein Test T′ : X(Ω) → [0, 1], wenn E_{K}(T) > E_{K}(T′)

Satz 15.9 (Der Satz von Neyman-Pearson) Sei (Ω, {P_{ϑ}}_{ϑ∈θ}, X, H) ein Testproblem mit H, K ⊂ θ einfach (und mit Ω abzählbar).

1. Ist T : X(Ω) → [0, 1] ein Neyman-Pearson-Test, so ist T mindestens so scharf wie alle anderen Tests T′ : X(Ω) → [0, 1] mit E_{H}(T′) = E_{H}(T).

2. Zu jedem α ∈ [0, 1] gibt es einen Neyman-Pearson-Test T : X(Ω) → [0, 1] mit E_{H}(T) = α.

Beweis:

1. Sei A = {x ∈ X(Ω) | T (x) > T′(x)}.

Für x ∈ A gilt T (x) > 0, also P_{K}(x) ≥ cP_{H}(x).

Sei B = {x ∈ X(Ω) | T (x) < T′(x)}.

Für x ∈ B gilt T (x) < 1, also P_{K}(x) ≤ cP_{H}(x).

⇒ E_{K}(T) − E_{K}(T′) = ∑_{x∈X(Ω)}(T (x) − T′(x))P_{K}(x) ≥

∑_{x∈A}(T (x) − T′(x))cP_{H}(x) + ∑_{x∈B}(T (x) − T′(x))cP_{H}(x) =

c ∑_{x∈X(Ω)}(T (x) − T′(x))P_{H}(x) = c(E_{H}(T) − E_{H}(T′)) = 0

⇒ E_{K}(T) ≥ E_{K}(T′)

2. 1. Fall: α = 0 ⇒ c = ∞ liefert E_{H}(T) = 0 2. Fall: α > 0: Betrachte f : [0, ∞[→ ℝ c ↦ P_{H}({x ∈ X(Ω) | P_{K}(x) > cP_{H}(x)}) mit q(x) = \frac{P_{K}(x)}{P_{H}(x)} und g : [0, ∞[→ ℝ c ↦ P_{H}(\{x ∈ X(Ω) | q(x) ≥ c\}) Es gilt:

1. g(0) = 1

2. f monoton fallend, lim_{c→∞} f(c) = 0 3. f rechtsstetig

4. lim_{c̃→^{<}c} f(c̃) = g(c)

Dann sei c^{∗} = inf{c ∈ ℝ | f(c) ≤ α}

⇒ g(c^{∗}) ≥ α ≥ f(c^{∗})

Im Fall g(c^{∗}) = f(c^{∗}) sei γ := 0.

Im Fall g(c^{∗}) − f(c^{∗}) sei γ := \frac{α−f(c^{∗})}{g(c^{∗})−f(c^{∗})}.

Damit definieren wir T : X(Ω) → ℝ durch

x ↦ \{ \begin{matrix}1 & falls & P_{K}(x) > c^{∗}P_{H}(x) \\ 0 & falls & P_{K}(x) < c^{∗}P_{H}(x) \\ γ & sonst \end{matrix}

Es folgt E_{H}(T) = ∑_{x∈X(Ω)} T (x)P_{H}(x) =

P_{H}({x ∈ X(Ω) | q(x) > c^{∗}}) + γP_{H}({x ∈ X(Ω) | q(x) = c^{∗}}) = f(c^{∗}) + γ(g(c^{∗}) − f(c^{∗})) = α

□

Beispiel 15.10 Sei wieder Ω = {0, 1}^{n}, X : Ω → ℝ (ω_{1}, …, ω_{n}) ↦ ω_{1} +…+ω_{n} mit X(Ω) = \{0, …, n\}, P_{ϑ} = b_{n,ϑ} ϑ ∈ θ = \{\frac{1}{2}, 1\}. Zuerst behandeln wir den Fall H = \{\frac{1}{2}\} = \{p_{H}\}, K = \{p_{k}\} mit \frac{1}{2} < p_{K} ≤ 1 θ′ = {H, K}. Wie im Beweis von 15.9 2. betrachte q(x) = \frac{P_{K}(x)}{P_{H}(x)} = \frac{\binom{n}{x}p_{K}^{x}(1−p_{K})^{n−x}}{\binom{n}{x}p_{H}^{x}(1−p_{H})^{n−x}} = (2p_{K})^{x}(2 − 2p_{K})^{n−x} = (2p_{K})^{x}(2 − 2p_{k})^{n−x} Die Funktion q(x) ist wegen p_{K} > \frac{1}{2} streng monoton wachsend für x ∈ X(Ω) = {0, …, n} Also gilt {x ∈ X(Ω) | q(x) ≥ c} = {t, t + 1, …, n} für ein t ∈ {0, …, n + 1}.

Der optimale Test erfüllt somit T : X(Ω) → [0, 1] x ↦ \{ \begin{matrix}1 & falls & x ≥ t \\ 0 & falls & x < t − 1 \\ γ & falls & x = t − 1 \end{matrix}

mit γ = \{ \begin{matrix}0 & falls & q(t − 1) < c \\ ∈ [0, 1] beliebig & falls & q(t − 1) = c \end{matrix}

Sein Niveau ist E_{H}(T) = P_{H}(X ≥ t) + γP_{H}(X = t − 1). Hiermit kann man t und γ aus E_{H}(t) = α berechnen. In der Gleichung E_{H}(t) = α kommt aber p_{K} gar nicht vor. ⇒ der Test T ist schärfster Test für die Hypothese H = \{\frac{1}{2}\} gegen K =]\frac{1}{2}, 1] zum Niveau α.

Bemerkung 15.11 (Allgemeine Vorgehensweise zur Bearbeitung eines Testproblems)

1. Schritt: Vorüberlegungen: Was soll getestet werden ?

Welches X : Ω → Ω′ entspricht der realen Hypothese ?

Welche Verteilungen kommen für X in Frage ?

Welches Signifikanzniveau ist gefragt ?

2. Schritt: Erhebung der Daten

3. Schritt: Auswertung der Daten und Interpretation

Definition 15.12 Sei (Ω, {P_{ϑ}}_{ϑ∈θ}, X, H) ein Testproblem, für das X : Ω → ℝ eine Dichte besitzt. Für jedes x ∈ X(Ω) sei L_{x} : Ω → [0, ∞[ ϑ ↦ P_{ϑ}(x) die Likelihood-Funktion an der Stelle x.

1. Die Abbildung X(Ω) → ℝ x ↦ \frac{sup\{L_{x}(ϑ)|ϑ∈K\}}{sup\{L_{x}(ϑ)|ϑ∈H\}} heißt der Likelihood-Quotient.

2. Ein Test T : X(Ω) → [0, 1] heißt Likelihood-Quotienten-Test, wenn es ein

c ∈ ℝ gibt mit T (x) = \{ \begin{matrix}1 & falls & q(x) > c & (Nullmenge wird verworfen) \\ 0 & falls & q(x) < c \end{matrix} .

Korollar 15.13 Ist (Ω, {P_{ϑ}}_{ϑ∈θ}, X, H) ein Testproblem, für das X : Ω → ℝ eine Dichte besitzt und sind H, K ⊂ θ einfach, so existiert zu jedem α ∈ [0, 1] ein Likelihood-Quotienten-Test zum Niveau α.

Beweis: Der Beweis von Satz 15.9 überträgt sich auf die vorliegende Situation. □ Zahlreiche wichtige Tests lassen sich als Likelihood-Quotiententests darstellen und so als ”optimal“ nachweisen.

Definition 15.14

1. Für n ∈ ℕ_{+} heißt die durch die Dichte f : ℝ → [0, ∞[ x ↦ \frac{1}{\sqrt{nπ}}Γ (\frac{n}{2})^{−1} Γ (\frac{n+1}{2}) (1 + \frac{x^{2}}{n} )^{− \frac{n+1}{2}} die t_{n}-Verteilung.

2. Für n ∈ ℕ_{+} heißt die durch die Dichte

f : ℝ → [0, ∞[ x ↦ \{ \begin{matrix}Γ (\frac{n}{2})^{−1} 2^{− \frac{n−2}{2}} x^{− \frac{x}{2}} & für & x ≥ 0 \\ 0 & für & x < 0 \end{matrix} gegebene Verteilung

auf ℝ die χ_{n}^{2}-Verteilung.

Satz 15.15 Sei (Ω, A, P) ein Wahrscheinlichkeitsraum.

1. Sind X_{1}, …, X_{n} : Ω → ℝ unabhängige, N(0, 1)-verteilte Zufallsvariable, so ist X_{1}^{2} + … + X_{n}^{2} : Ω → ℝ eine χ_{n}^{2}-verteilte Zufallsvariable.

2. Ist X : Ω → ℝ eine N(0, 1)-verteilte Zufallsvariable und Y : Ω → ℝ eine von X unabhängige χ_{n}^{2}-verteilte Zufallsgröße, so ist Z : Ω → ℝ

ω ↦ \{ \begin{matrix}\frac{X(ω)}{\sqrt{Y (ω)/n}} & falls & Y (ω) > 0 \\ 0 & sonst \end{matrix}

eine t_{n}-verteilte Zufallsvariable.

3. Sind X_{1}, …, X_{n} : Ω → ℝ N(μ, σ^{2})-verteilte Zufallsvariable und ist Y : Ω → ℝ ω ↦ \frac{\sqrt{n}}{s(ω)} [\frac{1}{n}(X_{1}(ω) + … + X_{n}(ω)) − μ] mit s : Ω → ℝ

ω ↦ \sqrt{\frac{1}{n−1} ∑_{i=1}^{n}(X_{i}(ω) − \frac{1}{n}(X_{1}(ω) + … + X_{n}(ω)))}, so ist Y eine t_{n−1}-verteilte

Zufallsvariable.

Beispiel 15.16 (Der t-Test) Sei (Ω, A, P) ein Wahrscheinlichkeitsraum und seien X_{1}, …, X_{n} : Ω → ℝ unabhängige, N(μ, σ^{2})-verteilte Zufallsvariable mit unbekannten Parametern μ ∈ ℝ, σ^{2} ∈ ℝ_{+}. Für ein geeignetes μ_{0} ∈ ℝ ist zu testen, ob μ = μ_{0} gilt. ⇒ θ = {(μ, σ^{2}) | μ ∈ ℝ, σ^{2} ∈ ℝ_{+}}, H = {(μ, σ^{2}) ∈ θ | μ = μ_{0}}, K = {(μ, σ^{2}) ∈ θ | μ ≠ μ_{0}} Sei X = (X_{1}, …, X_{n}) : Ω → ℝ^{n} ω ↦ (X_{1}(ω), …, X_{n}(ω)).

Dann hat X die Dichte f : ℝ^{n} → [0, ∞[ (x_{1}, …, x_{n}) ↦ (\frac{1}{\sqrt{2π}σ})^{n} e^{− \frac{1}{2σ^{2}} ∑_{i=1}^{n}(x_{i}−μ)^{2}}

⇒ man kann den Likelihood-Quotiententest ausrechnen und erhält T : X(Ω) →

[0, 1] x ↦ \{ \begin{matrix}1 & falls & |Y (ω)| > t \\ 0 & falls & |Y (ω)| < t \end{matrix} für ein gewisses t ∈ ℝ, wobei Y die Funktion

aus 15.15 3. bezeichnet. (vgl. Krengel S. 171) Der Test T heißt der t-Test. Bestimmung von t: Für β ∈ ℝ heißt die Zahl t_{n−1,β} mit P (Y ≤ t_{n−1,β}) = β das β-Quantil von t_{n−1}. Um einen Test zum Niveau α ∈ [0, 1] zu erhalten, muss man t = t_{n−1,1− \frac{α}{2}} wählen. (vgl. Krengel S.174)

Beispiel 15.17 (Der χ^{2}-Test)

Sei Ω̃ = {1, …, r} und P̃ : Ω̃ → [0, 1] mit P̃(i) = p_{i} und p_{1} + … + p_{r} = 1. Für i = 1, …, n seien X_{i} : Ω → ℝ unabhängige Zufallsvariablen mit X(Ω) = Ω̃ und Verteilung P_{X_{i}} = P̃. Die Wahrscheinlichkeiten p_{1}, …, p_{r} seien daher unbekannt, d.h. θ = {(p_{1}, …, p_{r}) ∈ [0, 1]^{n} | p_{1} + …, p_{r} = 1} Für einen gegebenen Vektor (π_{1}, …, π_{r}) ∈ [0, 1]^{r} mit π_{1} + … + π_{r} = 1 ist zu testen, ob (p_{1}, …, p_{r}) = (π_{1}, …, π_{r}) gilt. Dazu wird n ≫ 0 gewählt und eine Approximation durchgeführt. Für i = 1, …, r sei Y_{i} : Ω → ℝ ω ↦ #{j | X_{j}(ω) = i} die Häufigkeit des i-ten Versuchsergebnisses. Weiter sei X = (Y_{1}, …, Y_{r}) → ℝ^{r}. Dann gilt Ω̃ = X(Ω) = {(x_{1}, …, x_{r}) ∈ ℕ^{r} | x_{1} + … + x_{r} = n}. Die Verteilung P_{ϑ} für ϑ = (p_{1}, …, p_{r}) ∈ θ ist die Multinomialverteilung mit Parametern p_{1}, …, p_{r}.

Für n ≫ 0 gilt P_{ϑ}((x_{1}, …, x_{r})) ≈ (\frac{1}{\sqrt{2πn}})^{r−1} \frac{1}{\sqrt{p_{1}·...·p_{r}}} e^{− \frac{1}{2} ∑_{i=1}^{r} \frac{1}{np_{i}} (X_{i}−np_{i})^{2}}.

(vgl. Zitate im Krengel) Wieder kann man für n ≫ 0 den Likelihood-Quotienten-Test ausrechnen und

erhält T : X(Ω) → [0, 1] (x_{1}, …, x_{r}) ↦ \{ \begin{matrix}1 & falls & V^{r}(x_{1}, …, x_{r}) > c_{α} \\ 0 & sonst \end{matrix} mit

einer Funktion V^{r} : ℝ^{r} → ℝ (x_{1}, …, x_{r}) ↦ ∑_{i=1}^{r} \frac{(x_{i}−nπ_{i})^{2}}{nπ_{i}}

(vgl. Krengel S. 179) Der Test T heißt der χ^{2}-Test. Die Zahl c_{α} hängt vom gewählten Signifikanzniveau α ab. Ist F_{r−1} : ℝ → [0, 1] die Verteilungsfunktion der χ_{r−1}^{2}-Verteilung, so gilt P_{ϑ}(V^{r} ≤ n) → F_{r−1}(n) für n → ∞. Zur Bestimmung von c_{α} kann man das (1 − α)-Quantil von χ_{r−1}^{2} wählen, d.h. den Wert F_{r−1}(c_{α}) = 1 − α. Die Approximation ist hinreichend gut, wenn n · max{π_{1}, …, π_{r}} ≥ 3 gilt. Für r ≥ 10 genügt auch schon n · max{π_{1}, …, π_{r}} ≥ 1.

Fakultät für Mathematik 6. Mai 1998 Universität Regensburg

Übungen zur Vorlesung

Einführung in die Wahrscheinlichkeitstheorie

Blatt 1: Kombinatorik

Aufgabe 1: (Einfache Urnenmodelle) In einer Urne befinden sich m ≥ 1 paarweise verschiedene Kugeln, aus denen Stichproben bestehend aus je n ∈ {1, …, m} Kugeln gezogen werden. Geben Sie in den folgenden Fällen eine Menge an, die die möglichen Versuchsergebnisse beschreibt, und bestimmen Sie die Anzahl der möglichen Versuchsergebnisse.

a) Geordnete Stichproben mit Rücklegen.

b) Geordnete Stichproben ohne Rücklegen.

c) Ungeordnete Stichproben mit Rücklegen.

d) Ungeordnete Stichproben ohne Rücklegen.

Aufgabe 2: (Eigenschaften von Binomialkoeffizienten) Seien m, n ∈ ℕ. Beweisen Sie die folgenden Formeln.

a) \binom{m}{n} = \binom{m}{m−n}

b) \binom{m}{n} = \binom{m−1}{n} + \binom{m−1}{n−1}

c) ∑_{n=0}^{m} \binom{m}{n} = 2^{m}

d) ∑_{n=0}^{m}(−1)^{n}\binom{m}{n} = 0 für m ≥ 1

e) ∑_{n=0}^{m} n \binom{m}{n} = m 2^{m−1}

Aufgabe 3: Seien k, ℓ, m, n ∈ ℕ mit k ≤ ℓ + m. Beweisen Sie die Formel

∑_{n=0}^{m} \binom{m}{n}\binom{ℓ}{k − n} = \binom{ℓ + m}{k}

Aufgabe 4: (Siebformel) Beweisen Sie Satz 1.10 der Vorlesung.

Sei M eine Menge, seien r, n ∈ ℕ_{+}, und seien N_{1}, …, N_{r} ⊆ M Teilmengen.

Ferner sei eine Funktion f : 𝔓(M) ⟶ ℝ gegeben mit f(A ∪ B) = f(A) + f(B)

für disjunkte Teilmengen A, B ∈ 𝔓(M). Schließlich sei

S_{n} = {x ∈ M | x ∈ N_{i} für genau n Indizes 1 ≤ i ≤ r}

Dann gilt

f(S_{n}) = ∑_{i=n}^{r}(−1)^{i−n}\binom{i}{n} ∑_{\{j_{1},...,j_{i}\}⊆\{1,...,r\} i−elementigeTeilmenge} f(N_{j_{1}} ∩ ⋯ ∩ N_{j_{i}})

Aufgabe 5: (Das 8-Damenproblem)

a) Wie viele Möglichkeiten gibt es, acht Türme so auf ein Schachbrett zu stellen, daß sich keine zwei gegenseitig bedrohen?

b) Schreiben Sie ein Maple-Programm Rooks(), das die Möglichkeiten in a) alle berechnet und ihre Summe ausgibt. Repräsentieren Sie dazu jedes Feld als Paar (i, j) mit 1 ≤ i, j ≤ 8 und jede Lösung von a) als array(1..8, 1..2). Die Summe ist komponentenweise zu bilden, und die Felder (i, j) jeder Lösung sind nach aufsteigendem i anzuordnen.

c) Schreiben Sie ein Maple-Programm Queens(), das alle Möglichkeiten berechnet und ausgibt, acht Damen so auf ein Schachbrett zu stellen, daß sich keine zwei gegenseitig bedrohen. Hinweise: Verwenden Sie a). Schreiben Sie erst ein Programm DiagCheck(F eld1, F eld2), das prüft, ob sich zwei Damen diagonal bedrohen. Letzteres ist genau dann der Fall, wenn F eld1 − F eld2 ein Vielfaches von (1, 1) oder (1, −1) ist.

Übungen zur Vorlesung

Einführung in die Wahrscheinlichkeitstheorie

Blatt 2: Bedingte Wahrscheinlichkeiten

Aufgabe 6: a) Ein Prüfer hat 50 Standardfragen, von denen er in jeder Prüfung sechs zufällig auswählt. Ein Student kennt die Antwort auf 30 Fragen. Wie groß ist die Wahrscheinlichkeit, daß er die Prüfung besteht, wenn er dazu mindestens drei Fragen richtig beantworten muß?

b) In einer Überraschungseiersaison gibt es 120 verschiedene Spielzeuginhalte. Wie groß ist die Wahrscheinlichkeit, daß man von jedem Inhalt mindestens ein Exemplar hat, wenn man 500 Überraschungseier kauft?

Aufgabe 7: a) Von drei Münzen hat eine zwei silberne Seiten, eine zwei goldene, und eine eine silberne und eine goldene. Die Münzen werden zufällig auf drei Fächer verteilt. Man öffnet ein Fach und erblickt eine goldene Seite. Mit welcher Wahrscheinlichkeit ist die andere Seite dieser Münze ebenfalls golden?

b) Bei einem Fernsehquiz befindet sich hinter genau einer von drei Türen ein Preis, und der Showmaster weiß hinter welcher. Der Kandidat wählt eine Tür. Dann öffnet der Showmaster eine der beiden anderen Türen, hinter der sich kein Preis verbirgt. Der Kandidat kann nun die gewählte Tür öffnen oder die andere noch verschlossene Tür. Lohnt es sich für ihn zu wechseln?

Aufgabe 8: Karl und Zacharias werfen wiederholt eine Münze. Wenn Kopf kommt, erhält Karl einen Punkt, wenn Zahl kommt Zacharias. Wer zuerst N Punkte hat gewinnt. Wie groß ist Karls Gewinnwahrscheinlichkeit, wenn er gerade n Punkte hat und Zacharias m?

Aufgabe 9: Gewisse Würfel haben jeweils gleichwahrscheinliche Seiten mit Augenzahlen aus {1, 2, …, 6}, die sich zu 21 addieren. Wir sagen, ein Würfel besiege den anderen, wenn er bei genügend vielen Würfen öfter eine höhere Augenzahl zeigt als der andere. Entscheiden Sie (evtl. mit Hilfe von Maple), ob es drei solcher Würfel gibt, die sich reihum besiegen.

Aufgabe 10: (Der große Aktienzock) Ein Sparer besitze x ∈ {0, 1, 2, …, 1000000} Euro. Um sein Sparziel “1 Million Euro” zu erreichen, habe er zwei Strategien zur Auswahl: (I) Der große Aktienzock: Ist x ≤ 500000 Euro, so kauft der Sparer für x Euro eine riskante Aktie. Nach einem Jahr steigt die Aktie mit Wahrscheinlichkeit p auf das Doppelte, und mit Wahrscheinlichkeit 1 − p verliert der Sparer sein Geld vollständig. Ist 500000 < x < 1000000, so riskiert der Sparer 1000000 − x Euro. Nach einem Jahr wiederholt er das Verfahren. (II) Die Sparbuchtaktik: Der Sparer legt alles aufs Sparbuch. Mit Wahrscheinlichkeit p erhält er 1, 5 Prozent Zins im Jahr, und mit Wahrscheinlichkeit 1−p verliert er 1, 5 Prozent des Angesparten, weil mittlerweile die Inflation stark angezogen hat. Sei f_{p} : [0, 1000000] ⟶ [0, 1] die Funktion, für die f_{p}(x) angibt, mit welcher Wahrscheinlichkeit der Sparer im Fall (I) irgendwann sein Ziel erreicht.

a) Beschreiben Sie f_{p}(x) rekursiv. Berechnen Sie f_{p}(400000) explizit.

b) In Abhängigkeit von p, bestimmen Sie die maximale Anzahl von Rekursionen, die notwendig ist, um f_{p}(x) auf zehn Nachkommastellen genau zu berechnen.

c) Schreiben Sie eine Maple-Prozedur Zock(p, x), die f_{p}(x) auf zehn Nachkommastellen genau berechnet. (Können Sie auch eine Prozedur schreiben, die f_{p}(x) für ganze Zahlen x exakt berechnet?)

d) Beweisen Sie, daß die Funktion f_{p}(x) stetig und monoton steigend ist. e)^{∗} Zeigen Sie, daß die Funktion f_{p}(x) fast überall differenzierbar ist und f′_{p}(x) = 0 erfüllt. f)^{∗} In Abhängigkeit von p, bestimmen sie die für den Sparer günstigere Strategie. Überlegen Sie sich zuerst, was günstiger hier überhaupt heißen könnte. Implementieren Sie auch die Gewinnwahrscheinlichkeit bei (II) und vergleichen Sie sie für verschiedene p und x mit f_{p}(x).

Übungen zur Vorlesung Einführung in die Wahrscheinlichkeitstheorie

Blatt 3: Klassische Wahrscheinlichkeitsverteilungen

Aufgabe 11: Beim Spiel “Mensch ärgere Dich nicht” darf die Figur eines Spielers erst dann auf das Feld, wenn dieser eine Sechs würfelt.

a) Wie groß ist die Wahrscheinlichkeit, daß ein Spieler nach zehn Runden immer noch nicht draußen ist?

b) Wieviele Runden müssen vier Spieler mindestens spielen, bis mit 90 Prozent Wahrscheinlichkeit alle vier draußen sind? Aufgabe 12: Für n ≥ 2 sei Ω = {0, 1}^{n} der n-te Bernoulli-Raum mit Bernoulli-Verteilung P zum Parameter p ∈ [0, 1]. Wir betrachten die Ereignisse A_{i} = {X_{i} = 1} für i = 1, …, n und B = {(ω_{1}, …, ω_{n}) ∈ Ω | ω_{1} + ⋯ + ω_{n} ungerade }.

a) Berechnen Sie P (B). Stellen Sie P (B) mit Hilfe der Werte der Binomialverteilung dar und folgern Sie eine Formel für Binomialkoeffizienten.

b) Welche der Familien F_{1} = {A_{1}, …, A_{n}}, F_{2} = F_{1} ∪{B} und F_{3} = {A_{2}, …, A_{n}, B} sind unabhängig? Aufgabe 13: Der Korrektor einer Staatsexamensklausur stellte in 10 Prozent der Fälle einen Fehler in der Lösung einer Aufgabe fest. Ein Nachkorrektor fand heraus, daß dabei eine fehlerhafte Lösung mit 94 Prozent Wahrscheinlichkeit als solche erkannt wurde, und eine korrekte Lösung wurde mit 4,2 Prozent Wahrscheinlichkeit als falsch bezeichnet.

a) Wie groß ist die Wahrscheinlichkeit dafür, daß eine als falsch bezeichnete Lösung tatsächlich falsch ist?

b) Mit welcher Wahrscheinlichkeit kommt eine fehlerhafte Lösung unerkannt durch?

c) Arbeitet das Korrekturverfahren zufriedenstellend?

d) Wie ändern sich die Ergebnisse von a), b) und c), wenn es einen unabhängigen Zweitkorrektor gibt, der mit derselben (Un-) Zuverlässigkeit arbeitet, und wenn nur Lösungen verworfen werden, die von beiden Korrektoren bemängelt wurden?

Aufgabe 14: Sei (Ω, P) der Stufenraum, der das Urnenmodell von Polya beschreibt, sei ω = (ω_{1}, …, ω_{n}) ∈ Ω, und sei k = #{i | ω_{i} = w}.

a) Beweisen Sie die Formel

P (ω) = \frac{w(w+c)···(w+(k−1)c) · s(s+c)···(s+(n−k−1)c)}{(w+s)(w+s+c)···(w+s+(n−1)c}

b) Folgern Sie, daß für jede Permutation σ von {1, …, n} die Gleichung P (ω) = P ((ω_{σ(1)}, …, ω_{σ(n)})) gilt. Aufgabe 15: (Das Josephus-Problem) Während des jüdischen Aufstands gegen Rom (70 n. Chr.) wurden n Juden in einer Höhle eingeschlossen. Um der Sklaverei zu entgehen, vereinbarten sie sich gegenseitig wie folgt zu vernichten. Sie stellten sich entlang eines Kreises auf und numerierten sich mit 1 bis n durch. Beginnend mit Nummer k, wurde jede kte Person niedergemacht, wobei sich der Kreis sofort wieder schloß. Der spätere Geschichtsschreiber Flavius Josephus stellte sich so auf, daß er als letzter übrig blieb, schreckte dann aber vor dem vereinbarten Selbstmord zurück.

a) Zeigen Sie, daß man die Nummer der s-ten eliminierten Person mit folgendem Algorithmus finden kann:

1) Setze x_{0} := 1 + k(n − s) und q := \frac{k}{k−1}.

2) Für i = 1, 2, … berechne x_{i} := ⌈qx_{i−1}⌉, wobei ⌈y⌉ für y ∈ ℝ die kleinste ganze Zahl ≥ y bezeichne.

3) Ist a = max{x_{i} | x_{i} ≤ kn}, so gib kn + 1 − a als Ergebnis zurück.

b) Schreiben Sie eine Maple-Prozedur Josephus(n, k, s), die die Nummer der sten umgebrachten Person ermittelt und ausgibt. Berechnen Sie

Josephus(40, 7, 40),

die Nummer, die angeblich dem historischen Fall entspricht.

c) Beweisen Sie, daß im Fall k = 2 der letzte Überlebende die Nummer 1+2n−2^{m} hat, wobei m = ⌊log_{2}(n)⌋ + 1 ist. (Für y ∈ ℝ sei dabei ⌊y⌋ die größte ganze Zahl ≤ y.) d)^{∗} Die Nummer einer bestimmten Person bei der ersten Zählung sei y_{1}, bei der zweiten Zählung y_{2}, etc. Beweisen Sie y_{i+1} = y_{i} + n − ⌊\frac{y_{i}}{k} ⌋, falls y_{i+1} definiert ist.

Zeigen Sie hiermit y_{i} = ⌊\frac{(y_{i+1}−n)k−1}{k−1}⌋ und folgern Sie einen schnellen Algorithmus zur Berechnung von Josephus(n, k, s). Implementieren Sie diesen.

Übungen zur Vorlesung

Einführung in die Wahrscheinlichkeitstheorie

Blatt 4: Diskrete Wahrscheinlichkeitsräume

Aufgabe 16: Beweisen Sie, daß die Pascal-Verteilung normiert ist.

Aufgabe 17: Ein Buch mit 400 Seiten enthalte 400 Druckfehler, die zufällig verteilt sind.

a) Wie groß ist (approximativ) die Wahrscheinlichkeit dafür, daß auf den beiden ersten Seiten je genau ein Druckfehler vorkommt.

b) Geben Sie eine Abschätzung für die Wahrscheinlichkeit dafür an, daß auf den letzten 100 Seiten mehr als 120 oder weniger als 80 Druckfehler sind.

Aufgabe 18: (Verdoppelungsstrategie beim Roulette) Beim Roulette (“Monte-Carlo-Roulette”) wird eine der Zahlen in {0, 1, …, 36} ausgespielt. Setzt man auf “einfache Chance” (z.B. auf die ungeraden Zahlen “Impair”), so erhält man das Doppelte des Einsatzes im Erfolgsfall und die Hälfte des Einsatzes, wenn null (“Zero”) kommt. Andernfalls ist der Einsatz weg. Ein Spieler geht folgendermaßen vor: er setzt stets auf “Impair” und beginnt mit einer Einheit (“Jeton”). Verliert er seinen Einsatz ganz oder teilweise, so setzt er in der nächsten Runde das Doppelte. Gewinnt er, so beginnt er wieder mit einer Einheit. Die Zufallsvariable X beschreibe den Reingewinn einer Serie von Spielen, die bis zum ersten Erfolg oder bis zum Erreichen des Höchsteinsatzes des Casinos dauert. Berechnen Sie die Verteilung und den Erwartungswert von X, wenn

a) es keinen Höchsteinsatz und unbeschränktes Kapital gibt,

b) der Höchsteinsatz 1024 Jetons beträgt.

Aufgabe 19: (Die Ü-Eier-Sammlung)

a) In einer bestimmten Ü-Eier-Saison gebe es n verschiedene Spielzeuginhalte. Ein Sammler besitze bereits m verschiedene Inhalte. Wieviele Ü-Eier muß er im Durchschnitt kaufen, bis er ein neues Spielzeug findet?

b) Zeigen Sie, daß der Sammler im Durchschnitt n(1+ \frac{1}{2} + \frac{1}{3} +⋯+ \frac{1}{n}) Eier kaufen muß, bis seine Sammlung vollständig ist, wenn er bei null anfängt. (Was ergibt sich im realistischen Fall n = 120?)

Aufgabe 20: (Die Vietnam-Lotterie 1970) Im Jahre 1970 wurde in den USA die Einberufung von Rekruten zum Einsatz im Vietnamkrieg folgendermaßen durchgeführt. Den Tagen des Jahres wurden “zufällig” die Ränge 1, 2, …, 366 zugeordnet. Die beigefügte Maple-Datei Vietnam.mws enthält diesen “Zufallskalender”. Nacheinander wurden nun die Männer mit den Rängen 1, 2, … einberufen, solange bis die Armee genügend Rekruten hatte. Männer mit Geburtstagen niedriger Ränge wurden fast sicher einberufen, solchen mit hohen Rängen praktisch nie.

a) Schreiben Sie ein Maple-Programm Mittelwerte(K), das die Liste der zwölf Mittelwerte der Ränge der Tage jedes Monats berechnet. Diese Mittelwerte sollten “zufällig” um 183 schwanken. Formulieren Sie einige Beobachtungen.

b) Nun sei σ die Permutation von {1, 2, …, 12}, für die σ(i) die Anzahl der Monate angibt, deren Mittelwert kleiner oder gleich dem Mittelwert des i-ten Monats ist. Berechnen Sie σ sowie die Anzahl C der Paare (i, j) ∈ {1, 2, …, 12}^{2} mit i < j und σ(i) < σ(j).

c) Beweisen Sie, daß die durchschnittliche Anzahl solcher Paare bei einer zufälligen Permutation von {1, 2, …, 12} gleich 33 ist.

d) Mit welcher Wahrscheinlichkeit hat eine zufällig gewählte Permutation von {1, 2, …, 12} höchstens C solcher Paare?

e) Schreiben Sie ein Maple-Programm SimulPairs(), die möglichst viele Zufallskalender erzeugt, die Monatsmittelwerte berechnet und die Anzahl der steigenden Paare bestimmt. Finden Sie so einen Näherungswert für die Wahrscheinlichkeit dafür, daß sich höchstens C steigende Paare ergeben. Welche Schlußfolgerungen ziehen Sie?

Fakultät für Mathematik 4. Juni 1998 Universität Regensburg

Übungen zur Vorlesung

Einführung in die Wahrscheinlichkeitstheorie

Blatt 5: Erwartungswerte und Standardabweichungen

Aufgabe 21: Sei r ∈ ℝ vorgegeben. Gibt es einen diskreten Wahrscheinlichkeitsraum (Ω, P) und eine Folge von Zufallsvariablen X_{n} : Ω ⟶ ℝ für n ∈ ℕ, so daß für alle n ∈ ℕ der Erwartungswert E(X_{n}) existiert und gleich r ist, und so daß lim_{n→∞} E(exp ∘ X_{n}) = ∞ gilt? Hierbei bezeichne exp : ℝ ⟶ ℝ die Exponentialfunktion.

Aufgabe 22: Eine Zufallsvariable X : Ω ⟶ ℝ sei hypergeometrisch verteilt mit Parametern n, w, s, d.h. für i = 0, …, n gelte P_{X}(i) = \binom{w}{i}\binom{s}{n−i}/\binom{w+s}{n}. Beweisen Sie:

a) E(X) = \frac{nw}{w−s}

b) Var(X) = \frac{nws(w+s−n)}{(w+s)^{2}(w+s−1)}

Aufgabe 23: Zu der Weihnachtsfeier eines Vereins bringt jedes der n erschienenen Mitglieder ein Geschenk mit. Diese Geschenke werden dann unter den Anwesenden verlost, so daß jeder ein Geschenk erhält.

a) Mit welcher Wahrscheinlichkeit erhalten genau m Mitglieder ihr eigenes Geschenk zurück?

b) Wie kann man diese Wahrscheinlichkeit im Fall n >> 0 (z.B. 1. FC Bayern München) approximieren?

c) Wieviele Mitglieder erhalten durchschnittlich ihr Geschenk zurück?

Aufgabe 24: In der Losschachtel des Standes “Glückshafen” beim Volksfest befinden sich n Lose, unter denen sich m Gewinne (und n−m Nieten!) verbergen. Ein Volksfestbesucher kauft solange ein Los und öffnet es, bis er (endlich!) einen Gewinn findet. Wieviele Lose muß er durchschnittlich kaufen?

Aufgabe 25: (Die moderne Portfoliotheorie (MPT) nach Markowitz) Eine Summe von 1 Million Euro (EU) soll auf n verschiedene Anlageformen (z.B. Aktien, festverzinsliche Wertpapiere, Festgelder, Immobilien) verteilt werden. Der Ertrag einer Anlage in einem gewissen Zeitraum sei definiert als ihr Wert am Ende des Zeitraums geteilt durch den Anfangswert. Für eine Reihe von Zeiträumen {t_{1}, …, t_{r}} seien die Erträge der n Anlageformen bekannt und werden durch Zufallsvariable X_{i} : {t_{1}, …, t_{r}} ⟶ ℝ beschrieben (i = 1, …, n). Das Ziel der MPT ist es, die Summe so auf die Anlageformen zu verteilen (“ein Portfolio zusammenzustellen”), daß der erwartete Gesamtertrag maximiert und die Standardabweichung (“das Risiko des Portfolios”) minimiert wird. Man geht dabei von der naiven Annahme aus, daß sich von den vergangenen Erträgen und Korrelationen auf die zukünftigen schließen läßt.

a) Berechnen Sie den erwarteten Gesamtertrag und die Varianz des Portfolios aus den einzelnen Anlagesummen. Stellen Sie ein Gleichungssystem auf, das die “optimalen” Portfolios charakterisiert.

b) Zeigen Sie, daß es i.a. genau ein minimales Risiko σ_{0} für das Portfolio gibt, und daß es für jedes σ ≥ σ_{0} genau ein Portfolio mit Risiko σ gibt, für das der erwartete Ertrag maximal ist.

c) Berechnen Sie mit Hilfe des Maple-Pakets stats die erwarteten Erträge, Standardabweichungen und Korrelationskoeffizienten der folgenden Anlageformen:

1) US-Aktien auf DM-Basis (S&P 500 Index),

2) deutsche Aktien (CDax Index bzw. Vorläufer davon),

3) deutsche Anleihen (5%ige Pfandbriefe),

4) das gute alte Sparbuch,

5) Gold !!! Die Erträge dieser Anlageformen in den Jahren 1950 bis 1997 finden Sie in der beigefügten Datei “Markowitz.mws”.

d) Berechnen Sie mit Maple im Fall c) das risikoärmste Portfolio sowie die Kurve der Erträge der optimalen Portfolios E(σ) (die sogenannte “efficient frontier”). Verwenden Sie das Paket plot, um letztere graphisch darzustellen. Bestimmen Sie für einige Werte σ ≥ σ_{0} die zugehörigen optimalen Portfolios, z.B. für σ = 0, 1 und σ = 0, 15.

Übungen zur Vorlesung Einführung in die Wahrscheinlichkeitstheorie

Blatt 6: Erzeugende Funktionen

Aufgabe 26: Eine Zufallsvariable X : Ω ⟶ ℝ, die auf einem diskreten Wahrscheinlichkeitsraum (Ω, P) definiert ist, sei Pascal-verteilt zu den Parametern p ∈]0, 1] und r ∈ ℕ_{+}, d.h. es gelte X(Ω) ⊆ ℕ und P_{X}(k) = \binom{k+r−1}{k}p^{r}(1 − p)^{k} für jedes k ∈ ℕ.

a) Bestimmen Sie eine geschlossene Formel für die erzeugende Funktion g_{X} von X.

b) Verwenden Sie g_{X}, um den Erwartungswert E(X) und die Varianz Var(X) zu berechnen. Aufgabe 27: Eine Zufallsvariable X : Ω ⟶ ℝ, die auf einem diskreten Wahrscheinlichkeitsraum (Ω, P) definiert ist, sei hypergeometrisch verteilt mit Parametern n, w, s.

a) Bestimmen Sie eine Formel für die erzeugende Funktion g_{X} von X.

b) Verwenden Sie g_{X}, um den Erwartungswert E(X) und die Varianz Var(X) zu berechnen.

c) Zu einer vorgegebenen Zahl p ∈]0, 1] sei s = \frac{1−p}{p} w. Beweisen Sie, daß die Formel lim_{w→∞} P_{X}(k) = b_{n,p}(k) für k = 0, …, n gilt, d.h. daß die Binomialverteilung ein Grenzwert der hypergeometrischen Verteilung ist.

d) Interpretieren Sie das Ergebnis von c) anschaulich mit Hilfe eines geeigneten Urnenmodells. Aufgabe 28: Die Lösungszeit, die ein Student durchschnittlich für eine Übungsaufgabe benötigt, sei zwei Stunden. Die Standardabweichung liege dabei aber bei sechs Stunden. Wieviele Übungsaufgaben kann der Professor seinen Studenten jede Woche aufbrummen, wenn er wünscht, daß durchschnittlich mindestens 95 % der Studenten alle Aufgaben lösen können?

Hinweis: Der Professor nimmt an, daß seine Studenten Tag und Nacht arbeiten, abzüglich täglich acht Stunden Schlaf, wöchentlich sechs Stunden Vorlesung bzw. Übungen, sowie zwei Stunden Biergarten nach der Freitagsvorlesung.

Aufgabe 29: Sei (Ω, P) ein diskreter Wahrscheinlichkeitsraum, sei X : Ω ⟶ ℝ eine reellwertige Zufallsvariable, sei ϵ > 0, und sei f : [0, ∞[⟶ [0, ∞[ eine monoton wachsende Funktion mit f(ϵ) > 0. Zeigen Sie

P (| X − E(X) |≥ ϵ) ≤ \frac{1}{f(ϵ)}E(f(| X − E(X) |)).

Aufgabe 30: (Simulation einer Kernreaktion) Trifft ein Neutron auf den Kern eines Uranatoms, so kann es diesen spalten und dabei neue Neutronen erzeugen. Für jedes k ∈ ℕ sei p_{k} die Wahrscheinlichkeit, daß genau k Neutronen entstehen. Diese treffen nach τ Sekunden auf weitere Uranatome. Für n ∈ ℕ beschreibe die Zufallsvariable X_{n} : Ω ⟶ ℝ die Anzahl der Neutronen, die bei den Kernspaltungen nach nτ Sekunden entstehen, wobei wir von X_{0} = 1 ausgehen.

a) Bestimmen Sie g_{X_{1}}(t) und beweisen Sie, daß die erzeugende Funktion von X_{n} gegeben ist durch g_{X_{n}}(t) = \underbrace{g_{X_{1}} ∘ ⋯ ∘ g_{X_{1}}}_{n mal}(t)

b) Berechnen Sie E(X_{n}) aus E(X_{1}) sowie Var(X_{n}) aus Var(X_{1}), falls die letztere Varianz existiert.

c) Zeigen Sie, daß die Kettenreaktion mit der Wahrscheinlichkeit q = inf{t ≥ 0 | g_{X_{1}}(t) − t = 0} zum Stillstand kommt. (Letzteres bedeutet X_{n}(Ω) = {0} für n >> 0.) Bestimmen Sie diese Wahrscheinlichkeit für den Fall, daß X_{1} geometrisch verteilt ist.

d) Zeigen Sie, daß die Bedingung q < 1 damit äquivalent ist, daß E(X_{1}) > 1 oder p_{1} = 1 gilt.

e) Schreiben Sie eine Maple-Prozedur Kettenreaktion(L), die die Werte der Zufallsvariablen X_{1}, X_{2}, …, X_{100} bei einer vorgegebenen endlichen Liste von Wahrscheinlichkeiten L = [p_{0}, p_{1}, …, p_{n}] simuliert. Verifizieren Sie durch oftmalige Anwendung dieser Prozedur das Ergebnis von c). f)^{∗} Im folgenden sei E(X_{1}) > 1 vorausgesetzt. Betrachten Sie für i ≥ 1 die Zufallsvariable Y_{i} : Ω ⟶ ℝ mit Y_{i}(ω) = X_{i}(ω)/E(X_{1})^{i} für ω ∈ Ω. Überzeugen Sie sich durch Simulation mittels Kettenreaktion(L), daß die Folge Y_{1}(ω), Y_{2}(ω), … für eine Menge Ω′ von Elementen ω ∈ Ω mit P (Ω′) = 1 gegen einen festen Wert Y (ω) konvergiert. Können Sie Formeln für den Erwartungswert und die Varianz der Zufallsvariablen Y : Ω′ ⟶ ℝ erraten? g)^{∗} Beweisen Sie die in f) empirisch gefundenen Formeln. Welche Folgerungen ergeben sich für das Wachstumsverhalten der Folge X_{0}, X_{1}, X_{2}, …?

Übungen zur Vorlesung Einführung in die Wahrscheinlichkeitstheorie

Blatt 7: Stetige Wahrscheinlichkeitsverteilungen

Aufgabe 31: Sei Ω eine Menge und A ⊆ 𝔓(Ω). Zeigen Sie, daß A genau dann eine σ-Algebra ist, wenn die folgenden vier Eigenschaften erfüllt sind.

1) Ω ∈ A

2) Ist A ∈ A, so gilt auch Ω \ A ∈ A.

3) Sind A, B ∈ A, so gilt auch A ∩ B ∈ A.

4) Sind für n ≥ 1 paarweise disjunkte Mengen A_{n} ∈ A gegeben, so gilt ∪·_{n≥1} A_{n} ∈ A. Aufgabe 32: a) Zeigen Sie, daß alle offenen und alle abgeschlossenen Teilmengen von ℝ Borel-meßbar sind.

b) Beweisen Sie, daß die von allen offenen Intervallen und die von allen offenen Teilmengen von ℝ erzeugten σ-Algebren in ℝ mit B(ℝ) übereinstimmen. Aufgabe 33: Zeigen Sie, daß durch die folgenden Funktionen Dichten gegeben sind, die Wahrscheinlichkeitsverteilungen auf ℝ definieren.

a) Für α, β > 0 ist die Weibull-Verteilung mit Parametern α, β gegeben durch die Dichte

\begin{matrix}f : ℝ & ⟶ & [0, ∞[ \\ x & ⟼ & \{ \begin{matrix}αβx^{β−1}e^{−αx^{β}} & für x ≥ 0, \\ 0 & für x < 0. \end{matrix} \end{matrix}

b) Für κ > 0 und φ ∈ ]0, 2π] ist die von-Mises-Verteilung mit Parametern κ, φ gegeben durch die Dichte

f : ℝ ⟶  [0, ∞[
x ⟼ \{ \begin{matrix}\frac{1}{2πI_{0}(κ)} · e^{κ cos(x−φ)} & für x ∈ [−π, π[, \\ 0 & sonst, \end{matrix}

wobei I_{0}(κ) = ∑_{i=0}^{∞} \frac{1}{(i!)^{2}} (\frac{κ}{2})^{2i} gelte.

Aufgabe 34: a) Die Abbildung Γ : ℝ_{+} ⟶ ℝ_{+} mit Γ(t) = ∫_{0}^{∞} x^{t−1}e^{−x}dx heißt die Gammafunktion. Zeigen Sie Γ(n) = (n − 1)! für n ≥ 1 sowie Γ(\frac{1}{2}) = \sqrt{π}, und finden Sie eine Formel für Γ(\frac{n}{2}) bei ungeradem n ∈ ℕ_{+}.

Beweisen Sie, daß durch die folgenden Funktionen Dichten gegeben sind, die Wahrscheinlichkeitsverteilungen auf ℝ definieren.

b) Für α, ν ∈ ℝ_{+} ist die Gamma-Verteilung mit Parametern α, ν gegeben durch die Dichte

\begin{matrix}f : ℝ & ⟶ & [0, ∞[ \\ x & ⟼ & \{ \begin{matrix}Γ(ν)^{−1}α^{ν}x^{ν−1}e^{−αx} & für x ≥ 0, \\ 0 & für x < 0. \end{matrix} \end{matrix}

c) Für n ∈ ℕ_{+} ist die χ_{n}^{2}-Verteilung gegeben durch die Dichte

\begin{matrix}f : ℝ & ⟶ & [0, ∞[ \\ x & ⟼ & \{ \begin{matrix}Γ(\frac{n}{2})^{−1}2^{−n/2}x^{(n−2)/2}e^{−x/2} & für x ≥ 0, \\ 0 & für x < 0. \end{matrix} \end{matrix}

d) Für n ∈ ℕ_{+} ist die t-Verteilung (oder Student-Verteilung) mit n Freiheitsgraden gegeben durch die Dichte

\begin{matrix}f : ℝ & ⟶ & [0, ∞[ \\ x & ⟼ & \frac{1}{\sqrt{nπ}} Γ(\frac{n}{2})^{−1}Γ(\frac{n+1}{2})(1 + \frac{x^{2}}{n})^{−(n+1)/2} \end{matrix}

Aufgabe 35: (Simulation geometrischer Wahrscheinlichkeiten) Im folgenden sind die passenden Zufallsexperimente als Maple-Prozeduren zu implementieren und jeweils mindestens 10000mal zu wiederholen, um so gute Schätzungen für die gesuchten Erwartungswerte zu erhalten.

a) Wählt man zwei Punkte zufällig im Einheitskreis, so beträgt ihr erwarteter Abstand etwa d_{1} ≈ 0, 90541. b)^{∗} Beweisen Sie die exakte Formel d_{1} = \frac{128}{45π}.

c) Wählt man zwei Punkte zufällig im Einheitsquadrat, so beträgt ihr erwarteter Abstand etwa d_{2} ≈ 0, 52141. d)^{∗} Beweisen Sie die exakte Formel d_{2} = \frac{1}{15}(2 + \sqrt{2} + 5 ln(1 + \sqrt{2})).

e) Wählt man zwei Punkte zufällig in einem gleichseitigen Dreieck mit Seitenlänge eins, so beträgt ihr erwarteter Abstand etwa d_{3} ≈ 0, 36479. f)^{∗} Beweisen Sie die exakte Formel d_{3} = \frac{1}{5} + \frac{3}{20} ln 3. g) Wählt man zwei Punkte zufällig im Einheitswürfel, so beträgt ihr erwarteter Abstand etwa d_{4} ≈ 0, 5844. h)^{∗} Beweisen Sie die exakte Formel d_{4} = \frac{1}{105}(4 + 17\sqrt{2} − 6\sqrt{3} + 21 ln(1 + \sqrt{2}) + 42 ln(2 + \sqrt{3}) − 7π).

Übungen zur Vorlesung

Einführung in die Wahrscheinlichkeitstheorie

Blatt 8: Stetige Zufallsvariable

Aufgabe 36: (Woher der Wind weht) Die an einer Wetterstation gemessenen Windrichtungen genügen der von-Mises-Verteilung mit Parametern κ = \frac{1}{2} und φ = 2π, wobei die vorherrschende Windrichtung Westen sei. Mit welcher Wahrscheinlichkeit stimmt ein zufällig erzeugter Wetterbericht, der “Wind aus östlichen Richtungen” (also zwischen SO und NO) vorhersagt?

Aufgabe 37: (Der Super-GAU bei der Fußball-WM) Für ein Fernsehgerät, das bereits t Jahre alt ist, sei die Wahrscheinlichkeit, innerhalb der nächsten kurzen Zeit Δt auszufallen, annähernd gleich r(t)Δt. Die Funktion r : ℝ_{+} ⟶ [0, ∞[ heißt dabei die Ausfallrate. Zeigen Sie die folgenden Behauptungen.

a) Besitzt die Verteilung der Lebensdauer des Fernsehers eine stetige Dichte f, so gilt r(t) = f(t)/P (]t, ∞[) für alle t ∈ ℝ_{+} mit P (]t, ∞[) ≠ 0.

b) Ist r(t) proportional zu t^{ϱ} für ein ϱ > −1, so ist die Lebensdauer des Fernsehers Weibull-verteilt.

c) Die Lebensdauer eines t Minuten alten Fernsehgeräts sei Weibull-verteilt mit Parametern α = 1 und β = 2. Mit welcher Wahrscheinlichkeit fällt das Gerät gerade während der 90 Minuten des Endspiels der Fußball-WM aus?

Aufgabe 38: (Die Dauer des Elfmeterschießens) Bei einem Elfmeterschießen werden n Elfmeter ausgeführt. Bestimmen Sie die Dichte, den Erwartungswert und die Varianz der Zufallsvariablen, die die Dauer des Elfmeterschießens beschreibt, wenn die Dauer eines einzelnen Elfmeters exponentialverteilt ist zum Parameter λ ∈ ℝ_{+}.

Aufgabe 39: Beweisen Sie, daß jede Verteilungsfunktion auf ℝ höchstens an abzählbar vielen Stellen unstetig ist.

Aufgabe 40: (Die Irrfahrt des Raumschiffs Voyager) Der Weltraum. Unendliche Weiten. Wir schreiben das 24. Jahrhundert. Dies sind die Abenteuer des Sternenschiffes U.S.S. Voyager, welches sich nach dem Zusammentreffen mit einer riesigen Strahlungswelle in einer fernen Galaxis wiederfindet, mehr als 70000 Lichtjahre von zu Hause entfernt.

a) Die Wissenschaftler an Bord der U.S.S. Voyager haben einen neuen Hyper-Warp-Antrieb entdeckt, der das gesamte Schiff innerhalb einer Folge der Sendung an einen 10000 Lj. entfernten Ort beamt. Leider gibt es noch keinerlei Möglichkeit, die Richtung der Fortbewegung zu kontrollieren. Schreiben Sie eine Maple-Prozedur HyperWarp(P), die zufällig einen Ort auf der Sphäre mit Radius 10000 Lj. um den Punkt P = [x, y, z] auswählt und ausgibt. (Verwenden Sie die Gleichverteilung auf der Sphäre.)

b) Finden Sie durch Simulation mittels einer Maple-Prozedur EThome(N) die Wahrscheinlichkeit dafür, daß die Serie nach höchstens N = 50 Folgen abgebrochen werden muß, weil das Raumschiff zufällig in die Nähe der Heimat gebeamt wird. (Am Anfang der Serie sei die U.S.S. Voyager am Nullpunkt. Die Umgebung des Sonnensystems bilde eine Kugel vom Radius 10000 Lj. um den Punkt [70000, 0, 0].)

c) Sei D_{n} die Distanz der U.S.S. Voyager von ihrem Startpunkt [0, 0, 0] nach n Folgen. Bestimmen Sie durch Simulation Näherungswerte für den Erwartungswert E(D_{n}) und die Standardabweichung σ(D_{n}) für einige n . Können Sie von n abhängige Formeln erraten?

Fakultät für Mathematik 3. Juli 1998 Universität Regensburg

Übungen zur Vorlesung

Einführung in die Wahrscheinlichkeitstheorie

Blatt 9: Erwartungswerte stetiger Zufallsvariablen

Aufgabe 41: (Warten auf das “Golden Goal”) Bei einem Spiel der Fußball-WM kommt es zur Verlängerung. Die Zeit, die es dauert, bis Spieler i ∈ {1, …, 22} ein Tor erzielt, sei exponentiell verteilt zum Parameter λ_{i} > 0. Bestimmen Sie die durchschnittliche Dauer der Verlängerung sowie die Wahrscheinlichkeit dafür, daß es zu einem Elfmeterschießen kommt.

Aufgabe 42: Eine reellwertige Zufallsvariable X : Ω ⟶ ℝ auf einem Wahrscheinlichkeitsraum (Ω, A, P) besitze eine der folgenden Verteilungen. Entscheiden Sie jeweils, ob ihr Erwartungswert und ihre Varianz existieren, und berechnen Sie diese gegebenenfalls.

a) X ist Gamma-verteilt mit Parametern α, ν ∈ ℝ_{+}.

b) X ist χ_{n}^{2}-verteilt mit n ∈ ℕ_{+}.

c) X ist t-verteilt mit n ∈ ℕ_{+} Freiheitsgraden.

Aufgabe 43: Sei n ∈ ℕ_{+}, und seien X_{1}, …, X_{n} : Ω ⟶ ℝ unabhängige, standardnormalverteilte Zufallsvariable auf einem Wahrscheinlichkeitsraum (Ω, A, P). Berechnen Sie die Dichte der Zufallsvariablen X = X_{1}^{2} + ⋯ + X_{n}^{2} : Ω ⟶ ℝ. Um welche Verteilung handelt es sich bei P_{X}?

Aufgabe 44: Sei (Ω, A, P) ein Wahrscheinlichkeitsraum, und seien X, Y : Ω ⟶ ℝ zwei unabhängige Zufallsvariable, deren Erwartungswerte existieren. Beweisen Sie, daß dann auch E(XY) existiert, und es gilt E(XY) = E(X)E(Y). (Hinweis: Betrachten Sie zunächst den Fall, daß es ein n ∈ ℕ_{+} gibt mit X(Ω) ∪ Y (Ω) ⊆ [1, n].)

Aufgabe 45: (Das Blitzschachmatch) Beim Blitzschach erhält jeder Spieler eine Gesamtbedenkzeit von fünf Minuten pro Partie, so daß an einem Abend eine Reihe von Partien ausgetragen werden kann. Im direkten Vergleich zweier Schachspieler besitze Spieler A die Gewinnwahrscheinlichkeit p ∈]0, 1[ und Spieler B die Gewinnwahrscheinlichkeit 1−p, wobei Remisen (d.h. unentschiedene Partien) nicht mitgerechnet werden. Bestimmen Sie in den folgenden Fällen jeweils durch Simulation mit Hilfe geeigneter Maple-Prozeduren für möglichst viele Fälle p, m, n die gesuchten Wahrscheinlichkeiten.

a) (Das Standardmatch) Der Verlierer zahlt dem Gewinner einer Partie eine DM. Mit welcher Wahrscheinlichkeit P_{0} verliert Spieler A irgendwann sein ganzes Geld, wenn er m DM dabei hat und Spieler B hat n DM.

b) Beweisen Sie P_{0} = \frac{n}{m+n} im Fall p = \frac{1}{2} sowie P_{0} = \frac{(1−p)^{m+n}−(1−p)^{m}p^{n}}{(1−p)^{m+n}−p^{m+n}} im Fall p ≠ \frac{1}{2}.

c) (Das Zockermatch) Um den Umsatz und den Nervenkitzel zu erhöhen, beschließen die Spieler nach einer Weile, die Gesamtbedenkzeit pro Partie und Spieler auf zwei Minuten zu verkürzen und den Einsatz auf zwei DM zu erhöhen. Später spielen Sie sogar mit einer Minute Bedenkzeit um fünf DM Einsatz. Berechnen Sie wieder die Wahrscheinlichkeit dafür, daß sich Spieler A ruiniert. Bestimmen Sie auch das Grenzwertverhalten dieser Wahrscheinlichkeit bei weiteren Erhöhungen des Einsatzes.

d) (Raketenschach) Die beiden Spieler starten mit je fünf Minuten Bedenkzeit. Der Sieger erhält bei der nächsten Partie jeweils eine Minute Bedenkzeit weniger. Besitzt Spieler A irgendwann i Minuten Bedenkzeit und Spieler B hat j Minuten, so gewinnt Spieler A mit Wahrscheinlichkeit \frac{pi}{pi+(1−p)j}. Das Match ist beendet, sobald einer der Spieler auf fünf Siege kommt. Mit welcher Wahrscheinlichkeit gewinnt Spieler A das Match?

Übungen zur Vorlesung

Einführung in die Wahrscheinlichkeitstheorie

Blatt 10: Grenzwertsätze

Aufgabe 46: Eine reellwertige Zufallsvariable X : Ω ⟶ ℝ auf einem Wahrscheinlichkeitsraum (Ω, A, P) sei Weibull-verteilt mit Parametern α, β ∈ ℝ_{+}. Zeigen Sie, daß die Zufallsvariable X^{β} : Ω ⟶ ℝ exponentialverteilt ist.

Aufgabe 47: Der Einstellungstest einer Firma besteht aus 99 Fragen, die nach aufsteigendem Schwierigkeitsgrad angeordnet sind. Die Wahrscheinlichkeit dafür, daß ein gewisser Kandidat die i-te Frage richtig beantwortet, sei 1 − \frac{i}{100}. Mit welcher Wahrscheinlichkeit wird er eingestellt, wenn dazu die korrekte Antwort auf mindestens 60 Fragen verlangt wird?

Aufgabe 48: (Bier ist Bier und Schnaps ist Schnaps) Ein Bartender schenkt Schnaps aus einer großen 3-Liter-Flasche aus. Ein Drink (“Stamperl”) enthält durchschnittlich 5 cl Schnaps mit einer Standardabweichung von 0,5 cl. Mit welcher Wahrscheinlichkeit reicht die Flasche für 65 Drinks?

Aufgabe 49: Ein Bernoulli-Versuch mit Erfolgswahrscheinlichkeit p ∈]0, 1[ werde unendlich oft wiederholt. Für n ∈ ℕ sei A_{n} das Ereignis, daß zwischen dem 2^{n}- ten Versuch (einschließlich) und dem 2^{n+1}-ten Versuch (ausschließlich) ein Run der Länge n auftritt. Mit welcher Wahrscheinlichkeit treten unendlich viele der Ereignisse A_{n} ein?

Aufgabe 50: (Die MEL-Regel) In der Situation der modernen Portfoliotheorie (vgl. Übungsaufgabe 25) sei X : Ω ⟶ ℝ die Zufallsvariable, die für Ω = ℕ den Gesamtertrag des Portfolios im n-ten Anlagezeitraum beschreibt, und W : Ω ⟶ ℝ gebe den Wert des Portfolios nach n Anlagezeiträumen an. a) Zeigen Sie, daß fast sicher

lim_{n→∞} \frac{1}{n} ln(\frac{W_{n}}{W_{0}} ) = E(ln(X))

gilt. Folgern Sie, daß ein Portfolio mit Ertrag X : Ω ⟶ ℝ ein anderes mit Ertrag Y : Ω ⟶ ℝ auf lange Sicht fast sicher übertrifft (d.h. sein Gesamtwert nach n >> 0 Anlageperioden ist höher), wenn E(ln(X)) > E(ln(Y)) gilt. Die MEL-Regel (“Maximum Expected Log”) besagt, daß unter den optimalen Portfolios aus Aufgabe 25 dasjenige zu wählen ist, für das E(ln(X)) maximal ist.

b) Beweisen Sie die Näherungsformel

E(ln(X)) ≈ ln E(X) − \frac{1}{2} \frac{Var(X)}{E(X)^{2}}

(Hinweis: Schreiben Sie X = 1 + Y und berechnen Sie die Taylor-Entwicklung an der Stelle E(X) = 1 + E(Y).)

c) Stellen Sie sich vor, Sie seien verantwortlich für die Verwaltung eines Aktienfonds, der nur in Indexzertifikate der folgenden Länder investieren darf:

1) Deutschland 2) Frankreich 3) Großbritannien 4) Japan 5) USA Die historischen Jahreserträge (von 1950 bis 1997, in DM) dieser Wertpapiere liegen in der Datei “laender.mws” vor. Schreiben Sie eine Maple-Prozedur MELrule(L), die das optimale Portfolio berechnet, das die MEL-Regel erfüllt. Wie ist die Anlagesumme prozentual auf die einzelnen Indexzertifikate zu verteilen?

Übungen zur Vorlesung

Einführung in die Wahrscheinlichkeitstheorie

Blatt 11: Schätztheorie

Aufgabe 51: Bei einer Qualitätsprüfung wurden 100 Computerchips geprüft, von denen sich vier als defekt erwiesen. Bestimmen Sie eine Maximum-Likelihood-Schätzung für die Anzahl der defekten Chips in einer Lieferung von 10000 Stück.

Aufgabe 52: (Schätzung eines Fischbestandes) Ein Teich enthält eine unbekannte Zahl N von Fischen, die geschätzt werden soll. Dazu werden n Fische gefangen, markiert und wieder ausgesetzt. Nach einer Weile werden wieder n Fische gefangen, unter denen m markierte Fische sind.

a) Bestimmen Sie den Maximum-Likelihood-Schätzer T für N.

b) Ist T erwartungstreu? Berechnen Sie den Bias b_{T}.

c) Berechnen Sie die Varianz von T sowie den mittleren quadratischen Fehler R_{T}.

d) Geben Sie für n ≤ 5 Konfidenzintervalle zum Niveau 0,95 an.

Aufgabe 53: Ein Gerät enthält die störanfälligen Teile A_{1}, A_{2} und B. Es funktioniert, wenn B und mindestens eines der Teile A_{1}, A_{2} funktioniert. Aus Untersuchungen der einzelnen Bauteile sind Konfidenzintervalle für die Wahrscheinlichkeiten p_{A} und p_{B} bekannt, daß ein Teil vom Typ A bzw. B nach einem Jahr noch funktioniert. Leiten Sie unter der Annahme, daß Störungen in den Bauteilen unabhängig voneinander auftreten, zu einem eventuell kleineren Niveau ein möglichst kleines Konfidenzintervall für die Wahrscheinlichkeit her, daß das Gerät nach einem Jahr noch funktioniert.

Aufgabe 54: Unter der Annahme, daß Knaben- und Mädchengeburten gleich wahrscheinlich sind, sei 1 − ϑ die Wahrscheinlichkeit, daß ein Knabe rot-grün-blind ist. Nach einem genetischen Modell ist dann (1−ϑ)^{2} die Wahrscheinlichkeit dafür, daß ein Mädchen rot-grün-blind ist. Es sind 8870 Männer und 9140 Frauen untersucht worden, und davon waren 670 Männer und 40 Frauen rot-grün-blind. Bestimmen Sie eine Maximum-Likelihood-Schätzung für ϑ.

Aufgabe 55: Je zehn Messungen der Winkel α, β, γ eines Dreiecks ergeben folgende Mittelwerte: \overline{α} = 61, 3^{∘}, \overline{β} = 44, 6^{∘}, \overline{γ} = 73, 4^{∘}. Die Winkelsumme ist auf Grund der Meßfehler nicht 180^{∘}. Berechnen Sie mit Hilfe der Methode der kleinsten Quadrate Schätzungen für α, β, γ mit Winkelsumme 180^{∘}.

Übungen zur Vorlesung Einführung in die Wahrscheinlichkeitstheorie

Blatt 12: Testtheorie

Aufgabe 56:^{∗} Bestimmen Sie unter Verwendung der Normalapproximation den Verwerfungsbereich eines Tests zum Niveau 0,05, der bei 1000 Würfen einer Münze entscheiden soll, ob die Münze fair ist. Aufgabe 57:^{∗} Es wird vermutet, daß bei gewissen Pferderennen auf einer kreisförmigen Rennbahn die Startposition einen Einfluß auf die Gewinnchancen hat. In 144 Rennen hatten die Sieger die Startpositionen 1, 2, …, 8 mit den folgenden Häufigkeiten: 29,19,18,25,17,10,15,11. Testen Sie die Hypothese, daß alle Startpositionen die gleiche Siegwahrscheinlichkeit besitzen, zum Signifikanzniveau 0,05. Aufgabe 58:^{∗} In einer fernen Galaxie bricht zu einem unbekannten Zeitpunkt ϑ eine Supernova aus und sendet einen Lichtblitz der Dauer t. Es sei bekannt, daß die Dauer solcher Lichtblitze exponentialverteilt ist zu einem bereits gemessenen Parameter λ. Nur das Ende des Lichtblitzes konnte zeitlich bestimmt werden. Beschreiben Sie einen schärfsten Test zum Niveau α = 0, 05 für die Hypothese ϑ ≤ 3 gegen die Alternative ϑ > 3. Aufgabe 59:^{∗} Bei Rouletterädern tritt manchmal ein gewisser Defekt auf, so daß eine bestimmte Zahlenkombination nicht mit Wahrscheinlichkeit p, sondern mit Wahrscheinlichkeit q ≠ p ausgespielt wird. Zeigen Sie, daß es für n >> 0 stets einen Test gibt, der aus n unabhängigen Wiederholungen des Spiels besteht, und der mit einem Niveau ≤ 0, 05 sowie einer Macht ≥ 0, 95 prüft, ob ein gegebenes Rouletterad in Ordnung ist. Aufgabe 60:^{∗} (Darwins Versuch) Charles Darwin hatte 15 Paare von Maissamen in 15 Töpfe gepflanzt. Der eine Samen war jeweils durch Kreuzung, der andere durch Selbstbefruchtung entstanden. Für i = 1, …, 15 verglich er nach einiger Zeit die Höhe x_{i} der gekreuzten Pflanze mit der Höhe y_{i} der selbstbefruchteten Pflanze und erhielt die folgenden Unterschiede z_{i} = x_{i} − y_{i} (in \frac{1}{8}-inch):

6, 8, 14, 16, 23, 24, 28, 29, 41, −48, 49, 56, 60, −67, 75

Es soll die Hypothese “Es gibt keinen Unterschied zwischen den beiden Samenarten” gegen die Alternative “Gekreuzte Samen entwickeln stärkere Pflanzen” getestet werden.

a) Ist n ∈ ℕ_{+} und D = {d_{1}, …, d_{n}} ∈ ℤ, so sei q(t, D) für t ∈ ℤ die Anzahl aller Teilmengen von D, deren Summe höchstens t ist. Finden Sie eine rekursive Beschreibung der Zahlen q(t, D).

b) Schreiben Sie eine Maple-Prozedur, die die Funktion q(t, D) berechnet.

c) Berechnen Sie die Wahrscheinlichkeit dafür, daß unter der Hypothese die Summe der negativen Höhendiffenrenzen höchstens 115 ist.

d) Formulieren Sie ganz allgemein eine Testmethode, die die obige Vorgehensweise mathematisch beschreibt.