lesson14.tex

\addcontentsline{toc}{chapter}{Занятие 14. Сходимость последовательностей случайных величин}
\chapter*{Занятие 14. Сходимость последовательностей случайных величин}

\addcontentsline{toc}{section}{Контрольные вопросы и задания}
\section*{Контрольные вопросы и задания}

\subsubsection*{Приведите определение видов сходимости случайных величин; какая связь между ними?}

Последовательность $ \left\{ \xi_n: \, n \geq 1 \right\} $ сходится к случайной величине $ \xi $ почти наверное (с вероятностью 1),
если $ \exists \Omega_0 \subset \Omega, \, \Omega_0 $ ---
случайное событие $ \left( \Omega_0 \in \mathcal{F} \right): \, P \left( \Omega_0 \right) = 1$ и
$ \forall \omega \in \Omega_0:
\xi_n \left( \omega \right) \rightarrow \xi \left( \omega \right),
n \rightarrow \infty $
(поточечная сходимость на множестве полной вероятности), т.е. $P \left\{ \lim \limits_{n \to \infty} \xi_n \left( \omega \right) = \xi \left( \omega \right) \right\} = 1$.

Последовательность случайных величин $ \left\{ \xi_n \right\} $ сходится по вероятности к случайной величине $ \xi $,
если $ \forall \epsilon > 0 \, P \left\{ \left| \xi_n - \xi \right| > \epsilon \right\} \rightarrow \infty, \, n \rightarrow \infty $.

Лемма.
Пусть $ \xi_n \overset{almost sure (a.s.)}{ \rightarrow } \xi, \, n \rightarrow \infty $, тогда $ \xi_n \overset{P}{ \rightarrow } \xi, \, n \rightarrow \infty $,
т.е. их сходимости почти наверное следует сходимость по вероятности.

Лемма Рисса.
Пусть $ \xi_n \overset{P}{ \rightarrow } \xi, \, n \rightarrow \infty $.
Тогда существует подпоследовательность: $ \left\{ \xi_{n_k}: \, k \geq 1 \right\} $ такая, что $ \xi_{n_k} \overset{a.s.}{ \rightarrow } \xi, \, k \rightarrow \infty $.

Лемма (характеризация сходимости по вероятности).
Если последовательность $ \left\{ \xi_n \right\} $ и случайная величина $ \xi $ таковы,
что их любой подпоследовательности $ \left\{ \xi_{n_k}: \, k \geq 1 \right\} $ можно выбрать подподпоследовательность
$$ \left\{ \xi_{n_{k_j}}: \, j \geq 1 \right\} $$
такую,
что $ \xi_{n_{k_j}} \overset{a.s.}{ \rightarrow } \xi, \, j \rightarrow \infty $, то сама $ \xi_n \overset{P}{ \rightarrow } \xi, \, n \rightarrow \infty $.

\subsubsection*{Приведите определение эквивалентных случайных величин.}

Две случайные величины $ \xi $ и $ \eta $ называются эквивалентными, если вероятность соотношения $ \xi \neq \eta $ равна нулю.

\subsubsection*{Сформулируйте лемму Бореля-Кантелли.}

\begin{enumerate}
\item Если
$$ \sum \limits_{n=1}^{ \infty } P \left( A_n \right) < + \infty,$$
то $P \left( \varlimsup \limits_{n \to \infty } A_n \right) = 0$.
\item Если $ \left\{ A_n \right\} $ --- независимы и
$$ \sum \limits_{n=1}^{ \infty } P \left( A_n \right) = + \infty $$
(ряд из вероятностей расходится), то $P \left( \varlimsup \limits_{n \to \infty } A_n \right) = 1$.
\end{enumerate}

\subsubsection*{Запишите неравенства Чебышева, Ляпунова, Гёльдера, Минковского.}

Неравенство Чебышева.
\begin{enumerate}
\item Пусть есть неотрицательная случайная величина $ \xi \geq 0$ с
$$M \xi < + \infty, \,
c > 0.$$
Тогда
$$P \left\{ \xi \geq c \right\} \leq \frac{M \xi }{c}.$$
\item Пусть $ \xi $ --- случайная величина, такая, что $M \xi^2 < + \infty, \, c > 0$.
Тогда
$$P \left\{ \left| \xi - M \xi \right| \geq c \right\} \leq \frac{D \xi }{c^2}.$$
\end{enumerate}

Неравенство Гёльдера.
Пусть еть числа $p, \, q > 1$ такие, что
$$ \frac{1}{p} + \frac{1}{q} = 1.$$
Случайные величины $ \xi $ и $ \eta: \, M \left| \xi \right|^p < + \infty, \, M \left| \eta \right|^q < + \infty $.
Тогда
$$M \left| \xi \eta \right| \leq [p]\sqrt{M \left| \xi \right|^p} \cdot [q]\sqrt{M \left| \eta \right|^q}.$$

Общее вероятностное пространство, одна из случайных величин равна единице.
Будет расстатривать 2 числа: $0 < r_1 < r_2$.
Есть какая-то случайная величина
$$ \zeta, \,
\xi = \left| \zeta \right|^{r_1}, \,
\eta = 1, \,
p = \frac{r_2}{r_1} > 1, \, 
\frac{1}{p} + \frac{1}{q} = 1.$$
Применим неравенство Гёльдера $M \left| \zeta \right|^{r_1} \leq \left( M \left| \zeta \right|^{r_2} \right)^{ \frac{r_1}{r_2}}$ или
$$ \left( M \left| \zeta \right|^{r_1} \right)^{ \frac{1}{r_1}} \leq \left( M \left| \zeta \right|^{r_2} \right)^{ \frac{1}{r_2}}$$
--- неравенство Ляпунова.

Неравенство Минковского.
Если $p \geq 1$ и $M \left| \xi \right|^p < + \infty, \, M \left| \eta \right|^p < + \infty $,
то $[p]\sqrt{M \left| \xi + \eta \right|^p} \leq [p]\sqrt{M \left| \xi \right|^p} + [p]\sqrt{M \left| \eta \right|^p}$.

\addcontentsline{toc}{section}{Аудиторные задачи}
\section*{Аудиторные задачи}

\subsubsection*{14.3}

\textit{Задание.} Пусть $ \left\{ \xi_n \right\}_{n \geq 1}$ --- последовательность нормально распределённых случайных величин,
$$ \xi_n \sim N \left( a, \frac{1}{n} \right).$$
Докажите, что:
\begin{enumerate}[label=\alph*)]
\item $ \xi_n \overset{P}{ \rightarrow } a$;
\item $ \xi_n \overset{L_2}{ \rightarrow } a$;
\item $ \xi_n \overset{L_p}{ \rightarrow } a, p \geq 1$.
\end{enumerate}

\textit{Решение.}
\begin{enumerate}[label=\alph*)]
\item Запишем определение сходимости по вероятности
$$ \forall \epsilon > 0,
\qquad P \left\{ \left| \xi_n - a \right| > \epsilon \right\} \rightarrow 0$$
при $n \rightarrow \infty $.

Неравенство Чебышева
$$P \left\{ \left| \xi_n - a \right| > \epsilon \right\} =
P \left\{ \left| \xi_n - a \right|^2 > \epsilon^2 \right\} \leq
\frac{M \left| \xi_n - a \right|^2}{ \epsilon^2} =
\frac{1}{n \epsilon^2} \rightarrow
0$$
при $n \to \infty $.
Сходимость по вероятности есть;
\item $ \xi_n \overset{L_2}{ \rightarrow } a$.
Это означает, что $M \left| \xi_n - a \right| \rightarrow 0$.
Имеем
$$M \left| \xi_n - a \right| =
\frac{1}{n} \rightarrow
0;$$
\item неравенство Ляпунова
$ \left( M \left| \zeta \right|^{r_1} \right)^{ \frac{1}{r_1}} \leq \left( M \left| \zeta \right|^{r_2} \right)^{ \frac{1}{r_2}},$ где $ \zeta = \xi_n - a$.

В этом случае
$$M \left| \xi_n - a \right|^{2k} =
\frac{ \left( 2k-1 \right)!!}{n^{2k}} \rightarrow
0.$$

Случайная величина имеет распределение $ \xi \sim N \left( 0, \sigma^2 \right) $.
Из этого следует, что $M \xi^{2k} = \left( 2k-1 \right)!! \cdot \sigma^{2k}$,
где двойной факториал означает произведение всех нечётных целых положительных числе до $ \left( 2k-1 \right) $.
Получаем, что в любом $L_{2k}$ есть сходимость.
\end{enumerate}

\addcontentsline{toc}{section}{Домашнее задание}
\section*{Домашнее задание}

\subsubsection*{14.18}

\textit{Задание.} Пусть $ \xi_n \overset{P}{ \rightarrow } \xi, \eta_n \overset{P}{ \rightarrow } \eta$.
Докажите, что:
\begin{enumerate}[label=\alph*)]
\item $ \xi_n + \eta_n \overset{P}{ \rightarrow } \xi + \eta$;
\item $ \left| \xi_n \right| \overset{P}{ \rightarrow } \left| \xi \right| $;
\item $ \xi_n \eta_n \overset{P}{ \rightarrow } \xi \eta $.
\end{enumerate}

\textit{Решение.}
\begin{enumerate}[label=\alph*)]
\item Из неравенства треугольника
$ \left| \xi_n - \xi + \eta_n - \eta \right| \leq \left| \xi_n - \xi \right| + \left| \eta_n - \eta \right| $.
Отсюда следует, что
$$ \left\{ \left| \xi_n - \xi + \eta_n - \eta \right| > \epsilon \right\} \subseteq
\left\{ \left| \xi_n - \xi \right| + \left| \eta_n - \eta \right| > \epsilon \right\}.$$
Разобъём на объединение двух множеств
$$ \left\{ \left| \xi_n - \xi + \eta_n - \eta \right| > \epsilon \right\} \subseteq
\left\{ \left| \xi_n - \xi \right| > \frac{ \epsilon }{2} \right\} \cup \left\{ \left| \eta_n - \eta \right| > \frac{ \epsilon }{2} \right\}.$$

Тогда вероятность, которая фигурирует в определении сходимости по вероятности
\begin{equation*}
\begin{split}
P \left\{ \left| \xi_n - \xi + \eta_n - \eta \right| > \epsilon \right\} \leq
P \left\{ \left| \xi_n - \xi \right| + \left| \eta_n - \eta \right| > \epsilon \right\} \leq \\
\leq P \left\{ \left| \xi_n - \xi \right| > \frac{ \epsilon }{2} \right\} + P \left\{ \left| \eta_n - \eta \right| > \frac{ \epsilon }{2} \right\}.
\end{split}
\end{equation*}
По условию каждая из этих вероятностей стремится к нулю при
$$n \rightarrow \infty,$$
поэтому и всё выражение стремится к нулю при $n \rightarrow \infty $;
\item оценим вероятность
$P \left( \left| \left| \xi_n \right| - \left| \xi \right| \right| < \epsilon \right) \geq
P \left( \left| \xi_n - \xi \right| < \epsilon \right) \rightarrow
1$
по условию;
\item выпишем нужную вероятность
$$P \left( \left| \xi_n \eta_n - \xi \eta \right| > \epsilon \right) =
P \left( \left| \xi_n \eta_n - \xi \eta_n + \xi \eta_n - \xi \eta \right| > \epsilon \right).$$
Сгруппируем слагаемые
\begin{equation*}
\begin{split}
P \left( \left| \xi_n \eta_n - \xi \eta \right| > \epsilon \right) =
P \left( \left| \eta_n \left( \xi_n - \xi \right) + \xi \left( \eta_n - \eta \right) \right| > \epsilon \right) \leq \\
\leq P \left( \left| \eta \right| \cdot \left| \xi_n - \xi \right| > \frac{ \epsilon }{2} \right) +
P \left( \left| \xi_n \right| \cdot \left| \eta_n - \eta \right| > \frac{ \epsilon }{2} \right) \rightarrow
0,
\end{split}
\end{equation*}
так как по условию каждая из этих вероятностей стремится к нулю.
\end{enumerate}

\subsubsection*{14.19}

\textit{Задание.} Пусть $ \left( \xi_n - \xi \right) \overset{P}{ \rightarrow } 0$.
Докажите, что $ \xi_n^2 \overset{P}{ \rightarrow } \xi^2$.

\textit{Решение.} Оценим вероятность
$$P \left\{ \left| \xi_n^2 - \xi^2 \right| > \epsilon \right\} =
P \left\{ \left| \xi_n^2 - 2 \xi_n \xi + \xi^2 + 2 \xi \xi_n - 2 \xi^2 \right| > \epsilon \right\}.$$
Сгруппируем слагамые
\begin{equation*}
\begin{split}
P \left\{ \left| \xi_n^2 - \xi^2 \right| < \epsilon \right\} =
P \left\{ \left| \left( \xi_n - \xi \right)^2 + 2 \xi \left( \xi_n - \xi \right) \right| > \epsilon \right\} \leq
P \left\{ \left| \xi_n - \xi \right|^2 > \frac{ \epsilon }{2} \right\} + \\
+ P \left\{ 2 \xi \left| \xi_n - \xi \right| > \frac{ \epsilon }{2} \right\} \rightarrow
0,
\end{split}
\end{equation*}
так как каждая из вероятностей стремится к нулю при $n \rightarrow \infty $ по условию.

\subsubsection*{14.20}

\textit{Задание.} Пусть $ \xi_n \overset{P}{ \rightarrow } \xi, \eta_n \overset{P}{ \rightarrow } \eta $ и случайные величины $ \xi, \eta $ эквивалентны.
Докажите, что $ \xi_n - \eta_n \overset{P}{ \rightarrow } 0$. 

\textit{Решение.} Оценим вероятность $P \left( \left| \xi_n - \eta_n \right| > \epsilon \right) $.
Прибавим и отнимем <<единицу>> $P \left( \left| \xi_n - \eta_n \right| > \epsilon \right) = P \left( \left| \xi_n - \xi - \eta_n + \xi \right| > \epsilon \right) $.
Применим неравенство треугольника
$P \left( \left| \xi_n - \eta_n \right| > \epsilon \right) \leq
P \left( \left| \xi_n - \xi \right| + \left| \xi - \eta_n \right| > \epsilon \right) $.
Так как $ \xi $ и $ \eta $ --- эквивалентные случайные величины, то есть $P \left( \xi \neq \eta \right) = 0$,
то
\begin{equation*}
\begin{split}
P \left( \left| \xi_n - \eta_n \right| > \epsilon \right) \leq
P \left( \left| \xi_n - \xi \right| + \left| \eta_n - \eta \right| > \epsilon \right) \leq
P \left( \left| \xi_n - \xi \right| > \frac{ \epsilon }{2} \right) + \\
+ P \left( \left| \eta_n - \eta \right| > \frac{ \epsilon }{2} \right) \rightarrow
0, n \rightarrow \infty,
\end{split}
\end{equation*}
как как каждая из этих вероятностей стремится к нулю по условию.

\subsubsection*{14.21}

\textit{Задание.} Пусть $ \left\{ \xi_n \right\}_{n \geq 1}$ --- последовательность нормально распределённых случайных величин с параметром $ \alpha = n$.
Докажите, что $ \left\{ \xi_n \right\}_{n \geq 1}$ сходится к нулю в среднем квадратическом.

\textit{Решение.}
Запишем плотность распределения
$$p_{ \xi_n } \left( x \right) =
\lambda e^{- \lambda x} \cdot \mathbbm{1} \left( x \geq 0 \right) =
ne^{-nx} \cdot \mathbbm{1} \left( x \geq 0 \right).$$

Второй момент по определения равен
$$M \left| \xi_n \right|^2 =
\int \limits_{- \infty }^{+ \infty } x^2 \cdot p_{ \xi_n} \left( x \right) dx =
\int \limits_{- \infty }^{+ \infty } x^2 \cdot n \cdot e^{-nx} \cdot \mathbbm{1} \left( x \geq 0 \right) dx =
n \int \limits_0^{+ \infty } x^2 \cdot e^{-nx} dx.$$
Проинтегрируем по частям 
$$u = x^2,
du = 2xdx,
dv = e^{-nx}dx,
v = - \frac{1}{n} \cdot e^{-nx}.$$
Получим
$$M \left| \xi_n \right|^2 =
n \left( \left. - \frac{1}{n} \cdot e^{-nx} \cdot x^2 \right|_0^{+ \infty } + \frac{1}{n} \int \limits_0^{+ \infty } e^{-nx} \cdot 2xdx \right).$$
Раскроем скобки и упростим
$$M \left| \xi_n \right|^2 =
\left. -x^2 \cdot e^{-nx} \right|_0^{+ \infty } + 2 \int \limits_0^{+ \infty } xe^{-nx} dx.$$
Проинтегрируем второй раз по частям
$$u = x,
du = dx,
dv = e^{-nx}dx,
v = - \frac{1}{n} \cdot e^{-nx}.$$
Получим
$$M \left| \xi_n \right|^2 =
\left. -x^2 \cdot e^{-nx} \right|_0^{+ \infty } +
2 \left( \left. - \frac{1}{n} \cdot e^{-nx} \cdot x \right|_0^{+ \infty } + \frac{1}{n} \int \limits_0^{+ \infty } e^{-nx} dx \right).$$
Первые 2 слагаемых зануляются, вычисляем интеграл
$$M \left| \xi_n \right|^2 =
\left. \frac{2}{n} \left( - \frac{1}{n} \right) \cdot e^{-nx} \right|_0^{+ \infty } =
\left. - \frac{2}{n^2} \cdot e^{-nx} \right|_0^{+ \infty } =
\frac{2}{n^2} \rightarrow 0, n \rightarrow \infty.$$