А.Н.Соболевский

Введение в теорию вероятностей и математическую статистику

Предлагаемый односеместровый вводный курс теории вероятностей основан на курсе, который автор читал в 2006–2009гг. на физическом факультете МГУ им. М.В.Ломоносова студентам кафедры квантовой статистики и теории поля и весной 2009г. в Независимом Московском университете.

Общей целью при разработке курса было добиться широкого охвата материала и ясного показа взаимосвязи различных областей теории. Изложение проведено в минимально необходимой степени общности (как правило, для совокупностей независимых одинаково распределенных случайных величин) и дополнено разбором типичных примеров и контрпримеров. Аппарат теории меры, как правило, не используется. Подчеркнут вычислительный аспект теории.

Центральное место в курсе занимает комплекс асимптотических результатов теории вероятностей, включающий, наряду с законом больших чисел и классической центральной предельной теоремой, обобщение последней для устойчивых законов и теоремы о предельных распределениях экстремальных значений и больших уклонений.

Назначение раздела, посвященного математической статистике — ознакомить слушателей с основными концепциями и постановками задач математической статистики и показать связь математической статистики и теории информации с теорией вероятностей, прежде всего с теорией больших уклонений. Заключительный раздел курса содержит традиционный материал по основам теории цепей Маркова.

Краткая программа курса

* Теория распределений: Случайные величины, принимающие значения в Z и R, и их распределения вероятности. Функция плотности вероятности и кумулятивная функция распределения. Интеграл Римана-Стильтьеса, математическое ожидание и моменты, дисперсия. Производящие функция дискретных распределений вероятности, характеристические функции в скалярном и векторном случае. Теоремы Бохнера-Хинчина и Марцинкевича (без доказательства). Совместное распределение пары и вектора случайных величин, маргинальные и условные распределения, матрица ковариации. Независимость случайных величин (попарная и в совокупности), аддитивность дисперсии, факторизация распределения вероятности, производящих и характеристических функций.; Примеры дискретных распределений: биномиальное, геометрическое, отрицательное биномиальное, пуассоново. Предельная теорема Пуассона. Примеры абсолютно непрерывных распределений: равномерное, показательное, гамма-распределение (хи-квадрат распределение), распределение Гаусса в скалярном и векторном случае, распределения Коши, Стьюдента, Гумбеля, Фреше, Вейбулла. Канторова лестница, фрактальные и мультифрактальные меры.
* Асимптотические теоремы теории вероятностей: Слабая сходимость распределений. Закон больших чисел. Сходимость характеристических функций. Центральная предельная теорема. Обобщенная центральная предельная теорема и устойчивые распределения. Безгранично делимые распределения, формула Леви-Хинчина (с наброском доказательства). Статистика экстремальных значений, предельная теорема Фишера-Типпета-Гнеденко (с наброском доказательства). Большие уклонения в последовательности испытаний Бернулли, асимптотическое равнораспределение, теорема Санова. Большие уклонения в последовательности непрерывно распределенных величин, теорема Крамера.
* Энтропия, информация, статистический вывод: Энтропия, относительная энтропия, взаимная информация распределений вероятности. Проверка простой гипотезы. G-статистика, статистика хи-квадрат, биномиальная статистика для малых выборок. Выбор между альтернативными гипотезами. Ошибки первого и второго рода, теорема Неймана-Пирсона. Отношение правдоподобия. Асимпотика вероятности ошибок и теория больших уклонений. Статистическое оценивание параметров. Несмещенные, состоятельные, эффективные оценки. Метод наибольшего правдоподобия. Неравенство Рао-Крамера и информация по Фишеру. Понятие об информационной геометрии семейства распределений.
* Цепи Маркова и случайные процессы: Вероятностное пространство Штейнгауза. Пространство элементарных событий, алгебры событий, фильтрации. Однородная цепь Маркова с конечным множеством состояний в дискретном времени. Классификация стационарных распределений. Цепь Маркова в непрерывном времени, процесс Пуассона. Случайное блуждание и процесс Винера. Эвристический вывод уравнения Фоккера-Планка, задача о моменте выхода.

Примерное распределение материала по лекциям

1. Целочисленные случайные величины, производящие функции, примеры целочисленных распределений, теорема Пуассона.
2. Скалярные непрерывные случайные величины, фрактальные меры, характеристические функции, примеры непрерывных распределений.
3. Распределения случайных векторов. Статистическое моделирование распределений вероятности.
4. Закон больших чисел и слабая сходимость распределений.
5. Центральная предельная теорема, обобщенная центральная предельная теорема, устойчивые распределения.
6. Безгранично делимые распределения и формула Леви-Хинчина.
7. Причина нарушения закона больших чисел для распределений с «тяжелыми хвостами», статистика экстремальных значений, предельная теорема Фишера-Типпета-Гнеденко.
8. Энтропия и большие уклонения для дискретных и непрерывных распределений.
9. Проверка простой гипотезы, выбор между альтернативными гипотезами.
10. Статистическое оценивание параметров, неравенство Рао-Крамера.
11. Вероятностное пространство бесконечной последовательности испытаний Бернулли как пример пространства элементарных событий, оснащенного фильтрацией алгебр событий.
12. Однородная цепь Маркова с конечным числом состояний.
13. Цепь Маркова в непрерывном времени, процесс Пуассона и его варианты.
14. Случайное блуждание и процесс Винера как его предел, уравнение Фоккера-Планка.