Часто в теории вероятности и в статистике упоминаются термины из теории вероятности по типу "...содержит информацию, ...частичная информация, ...всю информациб о выборке". Вот и на примере достаточной статистики, когда пытаются его обьяснить как то более интуитивно, то говорят "достаточная статистика это детерминированная функция из элементов выборки в R, который содержит всю информацию выборки относительно параметра распределения".

Вопрос - что вообще значит содержать инормацию о чем то в контексте теорвера? Сам факт того, что я как то подсознательно старался игнорировать этот простой вопрос привел к тому, что мат определение достаточной статистики мне долго казалось непонятной.

Давайте, начнем с более менее простого. Если есть два события A и B, и они независимы, то они обычно не содержат информацию друг о друге. К примеру событие того, что буря на марсе произойдет в 12 часов 12 августа, скорее всего ничего не говорит о включении лампы в это же время в кафе под моим домом. То есть независимость событий говорит об отсутствии информации. Это можно обобщить с событий на сигма алгебры и стохаст. переменные.

ЧТо есть обратная ситуация независимости? Логично, что зависимость. Если мы рассмотрим две события A и В то условная вероятность P(A|B) и есть та информация об А когда мы знаем про B. Конечно если мы обобщим это до стохаст переменных, то информация это условное распределение плотности P(X=x|Y=y).

В таком случае, что значит создать статистику содержащую всю информацию выборки о параметре? Поскольку проблема в том, что вне контекста байесовкой теории вероятности невозможно говорить о априорном распределении параметра, мы как бы не можем создать функцию плотности P(x1...xn|theta). Но есть выход. Если мы собственно зафиксируем точки выборки в совместном распределении, то у нас есть семейство распределений и по нему мы как бы можем проводить некоторую оптимизацию, к примеру метод максимального правдоподобия ка вариант. Но если мы найдем функцию плотности P(x1...xn|t) где t это некая статистика, то мы получим валидную функцию плотности которая также может зависеть от параметра. То есть есть семейство распределений по которму мы снова можем сделать оптимизацию. Но а что если найти загадочную статистику T для которой P(x1...xn|theta) больше не зависит от параметра? Тогда получается что T как бы забрал вместе с собой всю информацию о параметре и функция условной вероятности P(x1...xn|t) как информация о выборке после того мы узнали про статистику, больше не содержит инфомацию о параметре. Условное вероятностное распределение выборки независимо от распределения параметра.

Теперь начинается собственно математика. Нужно конечно доказать множество теорем который гарантируют или отрицают существование такой статистки при каких то условиях, теоремы о свойствах таких статистик, теоремы о том как по хорошему находить такие статистики. Об этом смыса уже нет тут рассказывать поскольку это очевидные такие вот "инженерные" теоремы которые понятны после того как мы поняли в чем проблема. Это уже о вопросе как, а не почему.

Ну вот давайте решим пару задач и после поговорим о экспоненциальной семье распределений.

Покажем, что n-я порядковая статистика из случайной выборки размера n из равномерного распределения с плотностью вероятности f(x; θ) = 1/θ, 0 < x < θ, 0 < θ < ∞, в остальных случаях - ноль, является достаточной статистикой для параметра θ. Затем обобщим этот результат, рассмотрев плотность вероятности f(x; θ) = Q(θ)M(x), 0 < x < θ, 0 < θ < ∞, в остальных случаях - ноль. Здесь, конечно, интеграл от M(x) dx от 0 до θ равен 1/Q(θ).

Чтобы доказать что некая статистика T достаточна, нужно просто доказать что фукциональная форма P(x1,...xn|t= xn) не зависит от theta.

P(x1,...xn|t= xn) всегда имеет форму $\frac{f(x1, \theta)...f(xn, \theta)}{f_{T}(t, \theta)}$

Нужно найти форму $f_{T}(t, \theta)$.

$P[t \leq y | y \in (0, \theta)] = P[все xi \leq y] = P^{n}[x \leq y] = (\int_{0}^{y} \frac{1}{\theta}\mathrm{d}x)^{n} = \frac{y^{n}}{\theta^{n}} = F_{T}(y)$ где y просто фиктивная переменная

$F^{'}(t) = f_{T}(t, \theta) = n \frac{t^{n-1}}{\theta^{n}} $

$\frac{f(x1, \theta)...f(xn, \theta)}{f_{T}(t, \theta)} = \frac{ \frac{1}{\theta^{n}} }{n \frac{y^{n-1}}{\theta^{n}}} = \frac{1}{n y^{n-1}}$

Функция условной вероятной плотности никак не зависит от параметра а значит n-я порядковая статистика достаточна, но она не уникальна. Это статистика умноженная на число больше одного но меньше $\frac{\theta}{t}$ вполне является достаточной тоже.

Теперь надо доказать общий случай f(x; θ) = Q(θ)M(x). Если мы посмотрим на требование для M(x), то поймем что Q(θ) и M(x) должны быть положительными функциями.

Совместная функция распределения выглядит (Q(θ)M(x))^n мы можем факторизовать его на две положительные функции при условии что M(x) никак не зависит от theta. Я полагаю математически то как выраженна эта функция это подразуемвается. Тогда по критерию Фишера Неймана можно сказать, что n-ая порядковая статистика достаточна.