Método de Neyman–Pearson

Estatística
  • v
  • d
  • e

Em estatística, o método ou lema de Neyman–Pearson foi introduzido pelo matemático polonês Jerzy Neyman e pelo matemático britânico Egon Pearson em um artigo de 1933. Este lema afirma que, quando se realiza um teste de hipóteses entre duas hipóteses simples H 0 : θ = θ 0 {\displaystyle H_{0}:\theta =\theta _{0}} e H 1 : θ = θ 1 {\displaystyle H_{1}:\theta =\theta _{1}} , o teste de razão de verossimilhança que rejeita H 0 {\displaystyle H_{0}} em favor de H 1 {\displaystyle H_{1}} quando

Λ ( x ) = L ( x θ 0 ) L ( x θ 1 ) η , {\displaystyle \Lambda (x)={\frac {L(x\mid \theta _{0})}{L(x\mid \theta _{1})}}\leq \eta ,}

em que

P ( Λ ( X ) η H 0 ) = α , {\displaystyle P(\Lambda (X)\leq \eta \mid H_{0})=\alpha ,}

é o teste mais potente ao nível de significância α {\displaystyle \alpha } para o limiar η {\displaystyle \eta } . Se o teste for o mais potente para todo θ 1 Θ 1 {\displaystyle \theta _{1}\in \Theta _{1}} , pode ser considerado o uniformemente mais potente (UMP) para alternativas no conjunto Θ 1 {\displaystyle \Theta _{1}} .

Na prática, a razão de verossimilhança é com frequência usada diretamente para construir testes — como o teste de razão de verossimilhança. Entretanto, pode ser usada para sugerir estatísticas de teste particulares que podem ser de interesse ou sugerir testes simplificados — para isto, considera-se a manipulação algébrica da razão para ver se há nela estatísticas-chave relacionadas com o tamanho da razão, isto é, se uma estatística grande corresponde a uma razão pequena ou a uma razão grande.[1]

Prova

Defina a região de rejeição da hipótese nula para o teste de Neyman–Pearson como:

R N P = { x : L ( x θ 0 ) L ( x θ 1 ) η } , {\displaystyle R_{NP}=\left\{x:{\frac {L(x\mid \theta _{0})}{L(x\mid \theta _{1})}}\leqslant \eta \right\},}

em que η {\displaystyle \eta } é escolhido de modo que P ( R N P , θ 0 ) = α {\displaystyle P(R_{NP},\theta _{0})=\alpha } . Qualquer outro teste terá uma região de rejeição diferente que denotamos como R A {\displaystyle R_{A}} . A probabilidade de que os dados caiam na região R {\displaystyle R} , dado o parâmetro θ {\displaystyle \theta } é:

P ( R , θ ) = R L ( x θ ) d x . {\displaystyle P(R,\theta )=\int _{R}L(x\mid \theta )\,dx.} [2]

Para o teste com região crítica R A {\displaystyle R_{A}} ter nível α {\displaystyle \alpha } , α P ( R A , θ 0 ) {\displaystyle \alpha \geqslant P(R_{A},\theta _{0})} deve ser verdadeiro, consequentemente:

α = P ( R N P , θ 0 ) P ( R A , θ 0 ) . {\displaystyle \alpha =P(R_{NP},\theta _{0})\geqslant P(R_{A},\theta _{0}).}

Será útil separar isto em integrais sobre regiões distintas:

P ( R N P , θ ) = P ( R N P R A , θ ) + P ( R N P R A c , θ ) P ( R A , θ ) = P ( R N P R A , θ ) + P ( R N P c R A , θ ) . {\displaystyle {\begin{aligned}P(R_{NP},\theta )&=P(R_{NP}\cap R_{A},\theta )+P(R_{NP}\cap R_{A}^{c},\theta )\\P(R_{A},\theta )&=P(R_{NP}\cap R_{A},\theta )+P(R_{NP}^{c}\cap R_{A},\theta ).\end{aligned}}}

Configurando θ = θ 0 {\displaystyle \theta =\theta _{0}} , estas duas expressões e a igualdade acima dão:

P ( R N P R A c , θ 0 ) P ( R N P c R A , θ 0 ) . {\displaystyle P(R_{NP}\cap R_{A}^{c},\theta _{0})\geqslant P(R_{NP}^{c}\cap R_{A},\theta _{0}).}

Comparando as potências dos dois testes, P ( R N P , θ 1 ) {\displaystyle P(R_{NP},\theta _{1})} e P ( R A , θ 1 ) {\displaystyle P(R_{A},\theta _{1})} , tem-se que:

P ( R N P , θ 1 ) P ( R A , θ 1 ) P ( R N P R A c , θ 1 ) P ( R N P c R A , θ 1 ) . {\displaystyle P(R_{NP},\theta _{1})\geqslant P(R_{A},\theta _{1})\iff P(R_{NP}\cap R_{A}^{c},\theta _{1})\geqslant P(R_{NP}^{c}\cap R_{A},\theta _{1}).}

Mostra-se que a desigualdade à esquerda se aplica. Agora, por definição de R N P {\displaystyle R_{NP}} ,

P ( R N P R A c , θ 1 ) = R N P R A c L ( x θ 1 ) d x 1 η R N P R A c L ( x θ 0 ) d x por definicao de  R N P = 1 η P ( R N P R A c , θ 0 ) por definicao de  P ( R , θ ) 1 η P ( R N P c R A , θ 0 ) = 1 η R N P c R A L ( x θ 0 ) d x R N P c R A L ( x θ 1 ) d x = P ( R N P c R A , θ 1 ) . {\displaystyle {\begin{aligned}P(R_{NP}\cap R_{A}^{c},\theta _{1})&=\int _{R_{NP}\cap R_{A}^{c}}L(x\mid \theta _{1})\,dx\\[4pt]&\geqslant {\frac {1}{\eta }}\int _{R_{NP}\cap R_{A}^{c}}L(x\mid \theta _{0})\,dx&&{\text{por definicao de }}R_{NP}\\[4pt]&={\frac {1}{\eta }}P(R_{NP}\cap R_{A}^{c},\theta _{0})&&{\text{por definicao de }}P(R,\theta )\\[4pt]&\geqslant {\frac {1}{\eta }}P(R_{NP}^{c}\cap R_{A},\theta _{0})\\[4pt]&={\frac {1}{\eta }}\int _{R_{NP}^{c}\cap R_{A}}L(x\mid \theta _{0})\,dx\\[4pt]&\geqslant \int _{R_{NP}^{c}\cap R_{A}}L(x\mid \theta _{1})\,dx\\[4pt]&=P(R_{NP}^{c}\cap R_{A},\theta _{1}).\end{aligned}}} [3]

Exemplo

Considere X 1 , , X n {\displaystyle X_{1},\ldots ,X_{n}} uma amostra aleatória da distribuição N ( μ , σ 2 ) {\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})} , em que a média μ {\displaystyle \mu } é conhecida, e suponha que queremos testar por H 0 : σ 2 = σ 0 2 {\displaystyle H_{0}:\sigma ^{2}=\sigma _{0}^{2}} contra H 1 : σ 2 = σ 1 2 {\displaystyle H_{1}:\sigma ^{2}=\sigma _{1}^{2}} . A verossimilhança para este conjunto de dados normalmente distribuídos é:

L ( x σ 2 ) ( σ 2 ) n / 2 exp { i = 1 n ( x i μ ) 2 2 σ 2 } . {\displaystyle L\left(\mathbf {x} \mid \sigma ^{2}\right)\propto \left(\sigma ^{2}\right)^{-n/2}\exp \left\{-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right\}.}

Podemos computar a razão de verossimilhança para encontrar a estatística-chave neste teste e seu efeito no valor observado do teste:

Λ ( x ) = L ( x σ 0 2 ) L ( x σ 1 2 ) = ( σ 0 2 σ 1 2 ) n / 2 exp { 1 2 ( σ 0 2 σ 1 2 ) i = 1 n ( x i μ ) 2 } . {\displaystyle \Lambda (\mathbf {x} )={\frac {L(\mathbf {x} \mid \sigma _{0}^{2})}{L(\mathbf {x} \mid \sigma _{1}^{2})}}=\left({\frac {\sigma _{0}^{2}}{\sigma _{1}^{2}}}\right)^{-n/2}\exp \left\{-{\frac {1}{2}}(\sigma _{0}^{-2}-\sigma _{1}^{-2})\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right\}.}

Esta razão depende apenas dos dados por i = 1 n ( x i μ ) 2 {\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}} . Por isso, pelo lema de Neyman–Pearson, o teste mais potente deste tipo de hipótese para este dado dependerá apenas de i = 1 n ( x i μ ) 2 {\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}} . Além disso, por inspeção, podemos ver que, se σ 1 2 > σ 0 2 {\displaystyle \sigma _{1}^{2}>\sigma _{0}^{2}} , então, Λ ( x ) {\displaystyle \Lambda (\mathbf {x} )} é uma função decrescente de i = 1 n ( x i μ ) 2 {\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}} . Então, devemos rejeitar H 0 {\displaystyle H_{0}} se i = 1 n ( x i μ ) 2 {\displaystyle \sum _{i=1}^{n}(x_{i}-\mu )^{2}} for suficientemente grande. O limiar de rejeição depende apenas do tamanho do teste. Neste exemplo, a estatística de teste pode ser mostrada como sendo um variável aleatória escalonada com distribuição qui-quadrado e um valor crítico exato pode ser obtido.[4]

Aplicação em economia

Uma variante do lema de Neyman–Pearson encontrou uma aplicação no domínio aparentemente não relacionado da economia do valor da terra. Um dos problemas fundamentais na teoria do consumidor é calcular a função demanda do consumidor dados os preços. Em particular, dadas uma propriedade de terra heterogênea, uma medida de preço sobre a terra e uma medida de utilidade subjetiva sobre a terra, o problema do consumidor é calcular a melhor parcela de terra que pode comprar — isto é, a parcela de terra com a maior utilidade e cujo preço é mais adequado a seu orçamento. Acontece que este problema é muito semelhante ao problema de encontrar o teste estatístico mais potente e, então, o lema de Neyman–Pearson pode ser usado.[5]

Usos em engenharia eletrônica

O lema de Neyman–Pearson é muito útil em engenharia eletrônica, mais precisamente no desenho e uso de sistemas de radar, sistemas de comunicação digital e sistemas de processamento de sinal. Em sistemas de radar, o lema de Neyman–Pearson é usado primeiramente para configurar a razão de detecções perdidas a um (baixo) nível desejado e, em seguida, minimizar a razão de alarmes falsos ou vice-versa. Nem alarmes falsos, nem detecções perdidas podem ser configurados a razões arbitrariamente baixas, incluindo zero. Tudo o que foi dito serve também para muitos sistemas em processamento de sinais.

Ver também

Referências

  1. Neyman, J.; Pearson, E. S. (16 de fevereiro de 1933). «IX. On the problem of the most efficient tests of statistical hypotheses». Phil. Trans. R. Soc. Lond. A (em inglês). 231 (694-706): 289–337. ISSN 0264-3952. doi:10.1098/rsta.1933.0009 
  2. «OpenStax CNX». cnx.org (em inglês). Consultado em 1 de fevereiro de 2018 
  3. «4.2.2 The Neyman-Pearson approach | OTexts». www.otexts.org (em inglês). Consultado em 1 de fevereiro de 2018 
  4. Lehmann, Erich L.; Romano, Joseph P. (30 de março de 2006). Testing Statistical Hypotheses (em inglês). [S.l.]: Springer Science & Business Media. ISBN 9780387276052 
  5. Berliant, Marcus. «A characterization of the demand for land». Journal of Economic Theory. 33 (2): 289–300. doi:10.1016/0022-0531(84)90091-7 
  • v
  • d
  • e
Estatística descritiva
Gráficos estatísticos
Inferência estatística
Estatística não-paramétrica
Análise de sobrevivência
  • Função de sobrevivência
  • Kaplan-Meier
  • Teste log-rank
  • Taxa de falha
  • Proportional hazards models
Amostragem
Distribuição de probabilidade
Correlação
Regressão
Análise multivariada
Séries temporais
  • Modelos para séries temporais
  • Tendência e sazonalidade
  • Modelos de suavização exponencial
  • ARIMA
  • Modelos sazonais
  • Portal de probabilidade e estatística