Teorema de Sanov

Em teoria da informação, o teorema de Sanov dá um limite à probabilidade de observar uma sequência atípica de amostras a partir de uma dada distribuição de probabilidade.^[1]

Definição

Considere ${\displaystyle A}$ um conjunto de distribuições de probabilidade sobre um alfabeto ${\displaystyle X}$ e considere ${\displaystyle q}$ uma distribuição arbitrária sobre ${\displaystyle X}$, sendo que ${\displaystyle q}$ pode ou não estar em ${\displaystyle A}$. Suponha que são retiradas ${\displaystyle n}$ amostras independentes e identicamente distribuídas a partir de ${\displaystyle q}$, representadas pelo vetor ${\displaystyle x^{n}=x_{1},x_{2},\ldots ,x_{n}}$. Além disto, deseja-se saber se a distribuição empírica, ${\displaystyle {\hat {p}}_{x^{n}}}$, das amostras cai no interior do conjunto ${\displaystyle A}$ — formalmente, escreve-se ${\displaystyle \{x^{n}:{\hat {p}}_{x^{n}}\in A\}}$. Então,

${\displaystyle q^{n}(x^{n})\leq (n+1)^{|X|}2^{-nD_{\mathrm {KL} }(p^{*}||q)},}$

em que

• ${\displaystyle q^{n}(x^{n})}$ é uma abreviação para ${\displaystyle q(x_{1})q(x_{2})\cdots q(x_{n})}$ e
• ${\displaystyle p^{*}}$ é a projeção de informação de ${\displaystyle q}$ sobre ${\displaystyle A}$.

Em palavras, a probabilidade de retirar uma distribuição atípica é proporcional à divergência de Kullback–Leibler da distribuição verdadeira à distribuição atípica. No caso em que consideramos um conjunto de possíveis distribuições atípicas, há uma distribuição atípica dominante, dada pela projeção de informação.

Além disto, se ${\displaystyle A}$ for o fecho de seu interior,

${\displaystyle \lim _{n\to \infty }{\frac {1}{n}}\log q^{n}(x^{n})=-D_{\mathrm {KL} }(p^{*}||q).}$^[2]

Referências

Este artigo sobre matemática é um esboço. Você pode ajudar a Wikipédia expandindo-o. v d e