Теория вероятностей. Лекция 1

О курсе

Это довольно стандартный курс теории вероятностей, с одним отличием. Обычно курс читается тогда, когда слушатели ещё только начинают изучать теорию меры и интеграл Лебега, поэтому в нём делают большую дискретную часть, чтобы оттянуть момент появления настоящей вероятностной меры и настоящего математического ожидания как интеграла Лебега. Мы тянуть не будем: предполагается, что мера и интеграл Лебега известны: не «слышали, что это», а знаете, как строится мера, как строится интеграл, основные теоремы о предельном переходе, теорему Фубини, что такое абсолютно непрерывная мера и теорема Радона–Никодима. На первых двух лекциях это не понадобится (сегодня лекция почти школьная), а потом довольно быстро окажется, что всё это надо знать. Если этого не было, большая часть курса будет трудной, причём не по существу дела, а из-за незнакомства с языком.

Из того, что обычно не входит в стандартное изложение: теорема Колмогорова о согласованных семействах; кроме неравенства Чебышёва будет неравенство Бернштейна, которое теперь считается очень важным в приложениях; характеристическая функция в контексте преобразования Фурье, то есть откуда она берётся, а не просто «странная функция с полезными свойствами». Будет раздел про сходимости (закон больших чисел, сходимость рядов из независимых случайных величин) и в конце центральная предельная теорема с разными способами её доказательства.

Четыре листочка, объёмных; письменный экзамен. Зачёт по листочкам: $80%$ от всего, что можно было сдать, и ни одного пустого листка; курс зачтён с оценкой экзамена.

Совет

Учебники по теории вероятностей:

А. Н. Ширяев. Вероятность. Отличный учебник, только толстый; пользоваться им как книгой, где находишь нужный раздел, а не читаешь от корки до корки. У Ширяева есть и Задачи по теории вероятностей, интересная подборка.
Дж. Ламперти. Вероятность. Тоненькая книжка маленького формата, читается как беллетристика, при этом охватывает основные разделы; предполагает знание меры и интеграла Лебега. Переведена в семидесятые С. А. Молчановым, с его дополнением.
В. Феллер. Введение в теорию вероятностей и её приложения, два тома. Старая книга, середины прошлого века, но в ней много сюжетов, которых нет в других учебниках: позже книги писались по лекциям, трудные вещи с лекций уходили, а здесь они собраны; огромное количество разобранных примеров и большие подборки задач.
А. Шень. Вероятность: примеры и задачи (МЦНМО): тоненькая брошюра для школьников, для тех, кто не хочет высшей математики, но хочет порешать симпатичные задачи; закон больших чисел там есть, и много исторических сюжетов. Кто решит оттуда всё, у того уровень «даже ничего».

Что будем использовать из анализа и теории меры:

В. И. Богачёв, О. Г. Смолянов. Действительный и функциональный анализ. Первую главу настоятельно советую прочитать один раз всем, заодно проверить, что известно из базового анализа; теория меры это главы 2–4; дальше функциональный анализ, который тоже понадобится (контрпримеры через теорему Хана–Банаха).
В. И. Богачёв. Основы теории меры, два тома: за специальными сведениями.
В. И. Богачёв. Слабая сходимость мер: к концу курса; небольшая книга, примерно как «Сходимость вероятностных мер» Биллингсли, чуть современнее.

Ещё: О. Калленберг, Foundations of Modern Probability; А. А. Боровков, Теория вероятностей; Н. Алон, Дж. Спенсер, Вероятностный метод: о том, как вероятность применяется вне самой вероятности.

Вероятностное пространство

Примем следующее представление о том, как возникает теория вероятностей. Есть эксперимент, который мы можем, хотя бы умозрительно, воспроизводить без изменений столько раз, сколько нравится. У эксперимента есть исходы. Исходы мы обычно объединяем в группы; наборы исходов называются событиями. Каждому событию мы хотим приписать число, вероятность, и смысл этого числа в том, чтобы описывать, как часто наступает событие при многократном воспроизведении эксперимента.

Вероятность она про частоту. Ничего строгого в этом нет: мы надеемся построить модель, в которой так будет, и когда мы одолеем закон больших чисел, это и будет момент, когда мы поймём, что построили то, что хотели. Больше ничего мы сюда не вкладываем.

Часть про эксперимент к математике не относится, это как жизнь даст. А дальше математика описывает всё.

Определение (Конечное вероятностное пространство). $Ω$ есть конечное множество, множество исходов. Событие это любое подмножество $Ω$ ; множество событий есть $2^{Ω}$ . Вероятность (вероятностная мера) есть функция

P : 2^{Ω} \to [0, 1],

удовлетворяющая двум условиям:

$P (Ω) = 1$ ;
правило суммы: если $A \cap B = \emptyset$ , то $P (A \cup B) = P (A) + P (B)$ .

Оба условия естественны. Если взять все исходы и сложить частоты их появления, должно получиться $100%$ . Если события не пересекаются (исходы отдельно здесь, отдельно там), то частота появления «хотя бы одного из них» есть сумма частот: в $n$ экспериментах исходы из $A$ появились $5$ раз, из $B$ $10$ раз, значит, объединение $(5 + 10) / n$ . Буквально так.

Говорят «вероятностная мера на $Ω$ », и это сленг; в реальности она задана на $2^{Ω}$ .

Пять свойств вероятности

Что можно сказать про такую функцию, как она устроена? Следующие свойства позволяют понять это лучше. Их пять, и после них можно считать, что про вероятность вы знаете всё, причём с доказательствами.

Договоримся об обозначении: $A ⊔ B$ и $⨆_{k} A_{k}$ означают объединение множеств, которые попарно не пересекаются, чтобы не писать каждый раз «попарно непересекающихся».

Теорема (Свойства вероятности). Пусть $P$ – вероятностная мера на $2^{Ω}$ , $A, B, A_{1}, \dots, A_{n} \subset Ω$ .

$P (A \cup B) = P (A) + P (B) - P (A \cap B)$ .
Если $A \subset B$ , то $P (A) \leq P (B)$ .
Формула включения–исключения:
$P (k = 1 ⋃ n A_{k}) = k \sum P (A_{k}) - k < l \sum P (A_{k} \cap A_{l}) + k < l < m \sum P (A_{k} \cap A_{l} \cap A_{m}) - \dots + (- 1)^{n + 1} P (A_{1} \cap \dots \cap A_{n}) .$
Если события попарно не пересекаются, то $P (⨆_{k = 1}^{n} A_{k}) = \sum_{k = 1}^{n} P (A_{k})$ .
$P (⋃_{k = 1}^{n} A_{k}) \leq \sum_{k = 1}^{n} P (A_{k})$ .

Доказательство. 1. Единственное, что мы умеем, это правило суммы, поэтому объединение надо представить через непересекающиеся множества: $A \cup B = (A ∖ B) ⊔ B$ , откуда $P (A \cup B) = P (A ∖ B) + P (B)$ . Это пока не то, но $A = (A ∖ B) ⊔ (A \cap B)$ , значит, $P (A ∖ B) = P (A) - P (A \cap B)$ . Подставляем.

2. $B = A ⊔ (B ∖ A)$ , поэтому $P (B) = P (A) + P (B ∖ A) \geq P (A)$ , так как вероятность неотрицательна.

3. Индукция по $n$ ; при $n = 2$ это свойство 1. Пусть формула верна для $n$ . Отделим первые $n$ событий и применим свойство 1:

P (k = 1 ⋃ n + 1 A_{k}) = P (k = 1 ⋃ n A_{k}) + P (A_{n + 1}) - P (k = 1 ⋃ n (A_{k} \cap A_{n + 1})) .

Первое слагаемое по предположению индукции даёт все члены формулы, в которых $A_{n + 1}$ не участвует; второе даёт член $P (A_{n + 1})$ ; третье снова объединение $n$ событий, к которому применима формула для $n$ , и оно даёт (со сменой знака) все пересечения, в которых участвует $A_{n + 1}$ . Шаг индукции сделан.

4. Если события не пересекаются, все пересечения в формуле включения–исключения пусты, а $P (\emptyset) = 0$ : действительно, $\emptyset = \emptyset ⊔ \emptyset$ , поэтому $P (\emptyset) = 2 P (\emptyset)$ , что возможно только для нуля. Остаётся первая сумма.

5. Из формулы включения–исключения это не видно: там плюсы и минусы. Но объединение, в котором события могут пересекаться, всегда можно представить в виде объединения без пересечений: первое оставляем, от второго только то, что не учтено в первом, от третьего только то, что не относится к первым двум, и так далее:

k = 1 ⋃ n A_{k} = A_{1} ⊔ (A_{2} ∖ A_{1}) ⊔ (A_{3} ∖ (A_{1} \cup A_{2})) ⊔ \dots

Вероятность есть сумма вероятностей кусков, а каждый кусок, начиная со второго, есть подмножество своего $A_{k}$ , поэтому по свойству 2 сумма не превосходит $\sum_{k} P (A_{k})$ .

Замечание (зачем нужна формула включения–исключения). Сама эта формула рассказывает почти всё, что нужно знать при решении задач на вычисление вероятностей. Задачу полезно разбивать на подзадачи, нужные исходы на более мелкие события, и разбиение делается фиксацией какого-то параметра: «рассмотрим случаи, когда результат первого броска такой-то». Разбиение не обязано быть дизъюнктным: как удобно, так и разбили. А дальше не надо сидеть и думать «учёл я этот исход или нет, вроде здесь перемножал и учёл, а там делил и не учёл»; так вы не поймёте, решили задачу или нет. Схема одна: разделяй и властвуй. Разделили на кусочки так, чтобы удобно было считать; собираем по этой формуле. В пересечениях фиксируется ещё больше параметров, задача становится ещё конкретнее, и чем дальше, тем проще.

Все вероятностные меры на конечном множестве

Пять свойств означают, что про $P$ мы можем сказать всё.

Теорема (Описание вероятностных мер на конечном множестве). Пусть $Ω = {ω_{1}, \dots, ω_{n}}$ .

Если $P$ – вероятностная мера на $2^{Ω}$ , то найдутся числа $p_{1}, \dots, p_{n} \geq 0$ с $\sum_{k} p_{k} = 1$ такие, что для всякого $A \subset Ω$
$P (A) = k : ω_{k} \in A \sum p_{k} .$
При этом $p_{k} = P ({ω_{k}})$ .
Обратно, для любых чисел $p_{1}, \dots, p_{n} \geq 0$ с $\sum_{k} p_{k} = 1$ эта формула задаёт вероятностную меру на $2^{Ω}$ .

Доказательство. 1. $A = ⨆_{k : ω_{k} \in A} {ω_{k}}$ ; правило суммы (свойство 4) даёт формулу с $p_{k} = P ({ω_{k}})$ . Числа неотрицательны, так как $P \geq 0$ ; сумма всех равна $P (Ω) = 1$ .

2. Надо проверить две вещи. Подставим $Ω$ : суммируются все $p_{k}$ , получается единица. Правило суммы: если $A$ и $B$ не пересекаются, то и множества индексов, участвующие в формуле, не пересекаются, и сумма разбивается на две.

В конечном случае в вероятностной мере нет никакой загадки: это полностью ясный объект, математически ничего особенного. Исходам приписаны веса, вероятность события есть сумма весов попавших в него исходов.

Равновозможные исходы

Определение (Равновозможные исходы). Важный частный случай: все $p_{k}$ равны. Тогда

P (A) = \frac{∣ A ∣}{∣Ω∣}

число исходов в $A$ , делённое на число всех исходов. Говорят, что исходы равновозможны.

Равновозможность не само собой разумеющееся предположение, а часть вашей модели. Вероятность начинается после того, как появилось вероятностное пространство: сказано, каково $Ω$ и как событиям приписывается вероятность. Пока этого не сказано, разговаривать не о чем. Решать задачи в стиле «ну понятно, $1/2$ на $1/3$ , получается $1/6$ , это ответ» не разговор: нет такой науки, где просто перемножают числа. От того, как построено вероятностное пространство, зависит, какие числа складывать, какие перемножать и почему ответ такой.

Пример (кубик с цветными гранями). Кубик, три грани красные, две синие, одна жёлтая. Бросаем, смотрим цвет выпавшей грани. Исход эксперимента: цвет. Математики в этом пока нет; она наступает, когда говорят «хочу посчитать вероятность»: надо предъявить вероятностное пространство.

Модель 1. Три исхода (красный, синий, жёлтый); самая простая модель: равновозможные, $1/3$ каждый. Ставите штамп организации, несёте заказчику. Заказчик бросает сто раз, красный выпадает сильно чаще трети, приходит: «что-то не то». А где ошибка? Сумма единица, числа неотрицательны, в математике всё хорошо. Плохо с моделью, то есть с контактом с заказчиком.

Модель 2. Шесть исходов (грани) по $1/6$ ; цвета это события: $3/6$ , $2/6$ , $1/6$ . Заказчик побросает, сходится.

Априори ни одна модель не лучше другой, обе математически имеют право быть. Какая правильная, определяется соответствием эксперименту, и это должно быть прописано в условии задачи: «грани равновозможны».

Почему хочется сводить задачу к равновозможным исходам? Потому что считать проще: делишь нужное количество на всё, комбинаторика вместо теории вероятностей. Всегда ли это можно сделать? Если равновозможность понимать чуть шире, то всегда, и это будет одна из замечательнейших теорем курса: все разумные распределения получаются из равномерного закона. В дискретном случае это видно чисто математически.

Замечание (сведение к равновозможным исходам). Пусть вероятности $p_{1}, \dots, p_{n}$ рациональные дроби. Приведём их к общему знаменателю $N$ : $p_{k} = m_{k} / N$ . Перейдём к новому пространству из $N$ равновозможных исходов, в котором прежний исход $ω_{k}$ стал событием из $m_{k}$ новых исходов. Никакого смысла за этим переходом не стоит (в отличие от перехода от цветов к граням), но технически он всегда возможен. Если вероятности иррациональны, их можно приблизить рациональными, и сведение будет приближённым, с зазорчиком; а если разрешить бесконечное пространство исходов, то и точным.

За этим техническим моментом скрывается мысль: основные вероятностные законы можно смотреть в равновозможной ситуации (фактически брать их из комбинаторики, из умения считать количества), а использовать в общей. Правило произведения, формула полной вероятности, формула Байеса, сформулированные как вероятностные теоремы, на самом деле выражают способы подсчёта долей. Мы вправе переносить их на общее вероятностное пространство именно потому, что любую ситуацию либо точно, либо приближённо сводим к равновозможной. Это не философская договорённость «условную вероятность считай так и никак иначе».

Классические парадоксы: выбор модели

Выбор модели не очевиден. С кубиком всё более-менее понятно, но есть исторические примеры, которые были загадкой для людей; их долго называли парадоксами, потому что не было науки, не было понятно, как вообще строится общая схема. Всё это до Колмогорова, до аксиоматики.

Пример (две игральные кости). Бросаются две кости, смотрится сумма очков. Что выпадает чаще, $9$ или $10$ ? Наивно: суммы от $2$ до $12$ , все возможны, почему бы им быть разными. Но в кабаках и портах кости бросали часто и наблюдали, что девятка чаще. Значит, модель что-то не учитывает, например что костей две.

Делаем то же, что с кубиком: спускаемся к более первичному объекту, физически более симметричному. Исход это не сумма, не обработка данных, а прямо то, что наблюдается: пара выпавших чисел. Тогда $36$ равновозможных исходов по $1/36$ , и

10 = 4 + 6 = 5 + 5 = 6 + 4, 9 = 3 + 6 = 4 + 5 = 5 + 4 = 6 + 3,

то есть $P (сумма 10) = 3/36$ , $P (сумма 9) = 4/36$ .

Почему $5 + 5$ не считать два раза? Потому что мы объявили исходами клетки таблицы и приняли их равновозможными. «А почему они равновозможны, может, на диагонали вес побольше?» На это математика не ответит; если сумма единица, всё в порядке. Обе модели математически неразличимы; мотивация идёт от эксперимента.

TikZ diagram — Исходы это клетки таблицы $6 \times 6$ , по $1/36$ каждая. Сумму $9$ дают четыре клетки, сумму $10$ три.

Пример (раздел ставки). Древняя задача, XV–XVI века. Играли в орлянку до шести побед: орёл значит выиграл первый, решка второй. Сыграли восемь раундов, первый выиграл пять, второй три, и не доиграли. В какой пропорции делить приз?

Вопрос даже не математический. «Одному пять частей, другому три», а почему? «Мне не везло, а теперь всё будет наоборот» тоже может быть.

Первый способ: мысленно доиграть. Варианты доигрывания: О (первый выиграл сразу); РО; РРО; РРР (выиграл второй). Четыре варианта, в трёх побеждает первый, делим $3 : 1$ . Некоторые считали, что это правильный ответ.

Потом задумались: что это за случаи? Фактически они получаются, если бросать три раза, но в первом варианте после орла остальные броски «на счёт не идут». Попасть в цель с первого раза и три раза подряд совсем разные дела; считать эти варианты равновозможными не хочется. Чтобы построить равновозможные исходы, надо считать, что монету эффективно бросали три раза (восемь исходов, нули и единицы на трёх позициях), хотя принять это трудно: зачем бросать, если игра закончена? Мы подразбиваем исходы, чтобы перейти к равновозможным. Тогда вариант О это $4$ исхода из $8$ , РО $2$ , РРО $1$ , РРР $1$ : первый выигрывает с вероятностью $7/8$ , второй $1/8$ , делим $7 : 1$ . Второму первая модель нравилась больше, но эта адекватнее тому, что мы понимаем под равновозможными исходами.

Разные математики давали разные ответы, и за это шли споры. В листочке есть задача Банаха о спичках; там придётся сделать то же самое: спички могут закончиться на разных количествах вытягиваний, а исходы надо доразбить до общего числа.

Пример (парадокс Бертрана). Это уже бесконечное пространство исходов, но проблема та же, так что расскажем здесь и возвращаться не будем. В начале XX века это всё ещё оставалось парадоксом.

В окружности случайно проводится хорда. Какова вероятность, что она длиннее стороны правильного вписанного треугольника? Сторона фиксирована, вопрос разумный. Но что значит «случайно проводится хорда»? Тут начинается простор для фантазии.

Один конец хорды зафиксируем (ситуацию всегда можно повернуть), второй выбираем случайно на окружности; вероятность есть длина нужного множества, делённая на длину окружности. Чтобы хорда была длиннее стороны, второй конец должен попасть в среднюю треть дуги. Ответ $1/3$ .
Бросаем точку в круг, проводим через неё хорду перпендикулярно радиусу. Хорда длиннее стороны, когда точка попала внутрь вписанной в треугольник окружности радиуса $1/2$ ; вероятность есть отношение площадей. Ответ $1/4$ .
Поворачиваем так, чтобы хорда была перпендикулярна данному радиусу, и случайно выбираем на радиусе точку, середину хорды. Нужно попасть в половину радиуса, ближнюю к центру. Ответ $1/2$ .

Все три ответа разумны. Какой правильный? Вопрос бессмысленный: с точки зрения математики все хороши. Хотите узнать, какой правильный? Экспериментируйте. Споры шли, пока не было осознано, что спорить не о чем: математики могут спорить только после того, как зафиксировано вероятностное пространство, а здесь их три разных: точка на окружности, точка в круге, точка на отрезке.

Может казаться, что какой-то из вариантов «правильнее», скажем две точки, брошенные равномерно на окружность. Но правильный для кого? Различия между вариантами есть, например распределение середины хорды в вариантах 2 и 3 разное, это то же отличие, что при переходе к полярным координатам, где надо умножать на $r$ . Но это вопрос к распределению точки, а мы обсуждаем распределение хорды, которая строится сложнее. Почему одно отличие говорит, что один вариант хуже другого, непонятно. Ответом за всем этим может стоять только эксперимент.

Условная вероятность

Пусть на $2^{Ω}$ задана вероятностная мера, не обязательно равновозможная.

Определение (Условная вероятность). Пусть $P (B) > 0$ . Условная вероятность события $A$ при условии $B$ это

P (A ∣ B) = \frac{P ( A \cap B )}{P ( B )} .

Это определение; оно может нравиться или не нравиться. Смысл, который мы хотим вложить: вероятность $A$ , если уже известно, что имеют место только исходы из $B$ . Мотивируется формула через равновозможные исходы. Если все исходы равновозможны, $P (A) = ∣ A ∣/∣Ω∣$ . Если известно, что произошло $B$ , эксперимент заканчивается только результатами из $B$ , а они между собой по-прежнему неразличимы; значит, надо делить число исходов $A$ , относящихся к $B$ , на число исходов $B$ . Мы перенормировали: раньше исход весил $1/∣Ω∣$ , теперь $1/∣ B ∣$ , а равновозможными исходы как были, так и остались. Иначе говоря,

\frac{∣ A \cap B ∣}{∣ B ∣} = \frac{∣ A \cap B ∣/∣Ω∣}{∣ B ∣/∣Ω∣}

то есть условная вероятность есть доля $A$ среди $B$ . Только говорить так не хотим, а почему-то говорим «условная вероятность». А затем берём это правило и объявляем: пусть теперь так всегда. Переход адекватен, потому что общую ситуацию можно свести к равновозможной, взять оттуда мотивированную формулу и вернуться.

Формулу тут же переписывают в виде

P (A \cap B) = P (A ∣ B) P (B)

и называют правилом произведения. Для равновозможных исходов это обычное правило вычисления долей, которое проходят в начальной школе: чтобы найти, какую долю от всего составляет кусочек $B$ , относящийся к $A$ , надо долю $B$ умножить на долю этого кусочка внутри $B$ .

Пример (два шара без возвращения). В коробке $n$ шаров, из них $m$ белых. Вытаскивают без возвращения два шара; какова вероятность, что оба белые? Многие начинают так: первый белый с вероятностью $m / n$ ; если вытащили белый, белых стало на один меньше и всех на один меньше, получаем $(m - 1) / (n - 1)$ ; перемножаем. А где здесь теория вероятностей?

На самом деле вы подсознательно проходите весь путь. Вы объявили исходами упорядоченные пары вытащенных шаров и приняли их равновозможными, поэтому вероятности считаете долями. Среди всех пар доля тех, у которых первый шар белый, равна $m / n$ . Внутри каждой «строчки» с фиксированным первым белым шаром доля пар со вторым белым равна $(m - 1) / (n - 1)$ , и эта доля одинакова во всех строчках, значит, такая же и во всём множестве. В одной формуле, никому ничего не говоря, вы ввели вероятностное пространство, объявили исходы равновозможными, произвели не самый очевидный подсчёт долями, и назвали это правилом произведения. Так можно, но при сдаче первого листочка придётся всё проговорить: какое пространство, почему равновозможно. Если исходы неравновозможны, долями считать нельзя.

Замечание (порочный круг). В конкретной задаче условная вероятность определяется через вероятность пересечения, а вероятность пересечения по правилу произведения вычисляется через условную, как ветер дует, потому что деревья качаются. Перемножая « $m / n$ на $(m - 1) / (n - 1)$ », откуда вы взяли условную вероятность? По определению для этого надо было посчитать пересечение. Вы это делаете, апеллируя к равновозможной ситуации и забыв про всю теорию вероятностей: тупо исчисляете доли. Цель этого разговора про элементарную вероятность в том, чтобы дожать понимание, что за каждым шагом стоит определённая логика, а не философская договорённость.

Во многих задачах условные вероятности даются априори. Возникает вопрос: а есть ли вероятностная мера, для которой они условные вероятности? С чего вы взяли, что она всегда есть? Ответ даёт следующая формула.

Формула полной вероятности

Теорема (Формула полной вероятности). Пусть $Ω = A_{1} ⊔ \dots ⊔ A_{n}$ , $P (A_{k}) > 0$ . Тогда для всякого события $B$

P (B) = k = 1 \sum n P (B ∣ A_{k}) P (A_{k}) .

Доказательство. $B = ⨆_{k} (B \cap A_{k})$ по правилу суммы, а каждое пересечение по правилу произведения равно $P (B ∣ A_{k}) P (A_{k})$ . Это не больше, чем правило суммы, скоординированное с определением условной вероятности.

Формула не только позволяет считать, но и кое-что объясняет. Типичная ситуация жанровых задач: две фирмы торгуют компьютерами, у одной вероятность брака такая, у другой такая, известны доли фирм на рынке; вы купили компьютер; какова вероятность брака? По формуле полной вероятности, и вроде всё понятно. Но что произошло? Все исходы разбили на две части, приписали частям положительные числа с суммой единица, и внутри каждой части ввели свою вероятность. А с чего вы решили, что задача есть, что для этих данных существует вероятностная мера? Подвох таких задач в том, что вероятностное пространство в них не дано; его существование где-то в космосе надо принять на веру.

Теорема (Мера по условным вероятностям). Пусть $Ω = A_{1} ⊔ \dots ⊔ A_{n}$ ; даны числа $q_{1}, \dots, q_{n} > 0$ с $\sum_{k} q_{k} = 1$ и вероятностные меры $P_{1}, \dots, P_{n}$ на $2^{Ω}$ такие, что $P_{k} (A_{k}) = 1$ (то есть вне $A_{k}$ мера $P_{k}$ равна нулю). Тогда существует единственная вероятностная мера $P$ на $2^{Ω}$ , для которой

P (A_{k}) = q_{k}, P (B ∣ A_{k}) = P_{k} (B) для всех B \subset Ω, k = 1, \dots, n .

Доказательство. Положим

P (B) = k = 1 \sum n P_{k} (B) q_{k} .

Это вероятностная мера: при $B = Ω$ все $P_{k} (Ω) = 1$ и сумма равна $\sum_{k} q_{k} = 1$ ; правило суммы выполнено для каждого слагаемого. Подадим на вход $A_{k}$ : все слагаемые, кроме $k$ -го, зануляются, так как $P_{l} (A_{k}) = 0$ при $l \neq = k$ , а $k$ -е даёт $P_{k} (A_{k}) q_{k} = q_{k}$ . Условная вероятность:

P (B ∣ A_{k}) = \frac{P ( B \cap A _{k} )}{P ( A _{k} )} = \frac{P _{k} ( B \cap A _{k} ) q _{k}}{q _{k}} = P_{k} (B),

поскольку $B \cap A_{k} \subset A_{k}$ обнуляет все слагаемые, кроме $k$ -го, а $P_{k}$ сама берёт от $B$ только ту часть, что лежит в $A_{k}$ . Единственность следует из формулы полной вероятности: мера любого $B$ определяется условными вероятностями и вероятностями условий.

Задачи, в которых заданы вероятности условий $A_{k}$ и условные вероятности, действительно корректны: по этим данным восстанавливается вероятностная мера. Формула полной вероятности это второй способ задавать вероятность. Первый: приписать каждому исходу вес; второй: разбить пространство на части, задать вероятности частей и вероятностную меру внутри каждой, и собрать меру по формуле полной вероятности. Так что формула не банальное применение правила суммы, а очень важное наблюдение.

Формула Байеса

Теорема (Формула Байеса). Пусть $P (A) > 0$ , $P (B) > 0$ . Тогда

P (A ∣ B) = \frac{P ( B ∣ A ) P ( A )}{P ( B )} .

Доказательство. Вероятность пересечения записывается двумя способами: $P (A \cap B) = P (A ∣ B) P (B) = P (B ∣ A) P (A)$ . Это всё доказательство.

Вероятность романтическая наука, названия придуманы красивые, начиная с самого слова. Слушаешь: «знали вероятность $B$ при условии $A$ , и можете узнать вероятность $A$ при условии $B$ ; условие и событие меняются местами»; отдаёт фантастикой. А если подойти меркантильно, как к счёту долей, это банальная вещь: доля $A$ среди $B$ и доля $B$ среди $A$ считаются через одно и то же, $∣ A \cap B ∣$ , только перенормированное на $∣ B ∣$ или на $∣ A ∣$ . Вот и вся формула Байеса. Кто-то разочаровался.

Пример (классификатор). Дальше всё зависит от вашей испорченности; дальше маркетинг: простую вещь каждый мог бы сделать, но не каждый может продать. Надо научить машину, увидев человека, здороваться «здравствуй, математик» или «здравствуй, физик». Машина смотрит рост, габариты, задаёт вопросы («сколько будет дважды два», «тонет ли кирпич») и по ответам должна сделать вывод; детерминированно по такому списку это не определить. Что она знает: долю математиков и долю физиков вообще, и долю таких ответов среди математиков и среди физиков. Ей надо наоборот: сколько математиков среди всех, ответивших так, и сколько физиков. Кого среди так ответивших больше, тот, наверное, и есть. Естественная вещь; если рассказать так, звучит слишком просто. А можно рассказать: «применяем формулу Байеса, вычисляем вероятности наоборот, сравниваем с $1/2$ ».

За формулой нет никакой тайной науки, доступной избранным; это обычное исчисление долей, перенесённое на общую ситуацию. В этом и её замечательность: она правильная не только потому, что мы её вывели из определения, а потому, что верна для обычного подсчёта количеств. Поэтому мы в неё верим.

Независимость

Пока весь разговор был про исчисление количеств и долей, которые зачем-то красиво называем вероятностью; если бы это было всё, это был бы странный разговор про комбинаторику. Настоящая теория вероятностей начинается, когда вводится понятие независимости. Именно оно делает из комбинаторики и из теории меры вероятность; без него это просто разделы дискретной математики или теории меры и интеграла.

Определение (Независимость двух событий). События $A$ и $B$ независимы, если

P (A \cap B) = P (A) P (B) .

Красивое симметричное определение и красивое слово. Но что от чего не зависит? У векторов понятно: один выражается через другой, значит зависимы. Здесь независимость в другом смысле: не в том, что одна величина зависит от другой, а в смысле влияния на исчисление вероятностей. Если $P (B) > 0$ , определение равносильно

P (A ∣ B) = P (A) :

доля $A$ среди $B$ такая же, как среди всех.

Это наводит на грустные мысли: независимости вообще не бывает. Зависимо ли то, что вы любите мороженое, с тем, что вы ходите в Независимый университет? Скорее всего, зависимо: доля любителей мороженого в НМУ навряд ли совпадёт с долей на всей планете. Независимость чрезвычайно жёсткое ограничение.

Пример (делимость на и на). Из первых $100$ чисел выбирается одно, все равновозможны. $A$ : делится на $2$ , $B$ : делится на $5$ . Доля делящихся на $2$ равна $1/2$ , на $5$ равна $1/5$ , на $10$ равна $1/10$ :

\frac{10}{100} = \frac{50}{100} \cdot \frac{20}{100} .

Независимы. Теперь возьмём первые $101$ число. Число $101$ не делится ни на $2$ , ни на $5$ , оно ни на что не влияет. Но доли стали $50/101$ , $20/101$ , $10/101$ , и

\frac{10}{101} \neq = \frac{50}{101} \cdot \frac{20}{101} .

По определению зависимы. Интуиции здесь нет никакой: ладно бы добавили число, делящееся на $5$ , а добавка была безобидной для обоих событий.

Независимость как равенство долей: очень странно думать, что такое должно наблюдаться в жизни. Изучая независимые события, вы перешли в абстракцию, в идеальную ситуацию; предположение о независимости это идеализация, математическая модель, и не самоочевидность. Если в условии задачи не написано, что события независимы, а вы собираетесь перемножить вероятности, это ваша проблема, и вы должны объяснить, почему они независимы.

В следующий раз подробнее о том, что означает независимость событий.

Related works