Teste qui-quadrado de Pearson - Pearson's chi-squared test

A distribuição nula da estatística de Pearson com j linhas ek colunas é aproximada pela distribuição qui-quadrada com ( k  - 1) ( j  - 1) graus de liberdade.

Essa aproximação surge como a distribuição verdadeira, sob a hipótese nula, se o valor esperado for dado por uma distribuição multinomial . Para tamanhos de amostra grandes, o teorema do limite central diz que essa distribuição tende a uma certa distribuição normal multivariada .

Duas células

No caso especial em que existem apenas duas células na tabela, os valores esperados seguem uma distribuição binomial ,

${\ displaystyle E \ \ sim \ {\ mbox {Bin}} (n, p), \,}$

Onde

p = probabilidade, sob a hipótese nula,

n = número de observações na amostra.

No exemplo acima, a probabilidade hipotética de uma observação masculina é 0,5, com 100 amostras. Assim, esperamos observar 50 homens.

Se n for suficientemente grande, a distribuição binomial acima pode ser aproximada por uma distribuição Gaussiana (normal) e, portanto, a estatística de teste de Pearson se aproxima de uma distribuição qui-quadrada,

${\ displaystyle {\ text {Bin}} (n, p) \ approx {\ text {N}} (np, np (1-p)). \,}$

Seja O ₁ o número de observações da amostra que estão na primeira célula. A estatística do teste de Pearson pode ser expressa como

${\ displaystyle {\ frac {(O_ {1} -np) ^ {2}} {np}} + {\ frac {(n-O_ {1} -n (1-p)) ^ {2}} { n (1-p)}},}$

que por sua vez pode ser expresso como

${\ displaystyle \ left ({\ frac {O_ {1} -np} {\ sqrt {np (1-p)}}} \ right) ^ {2}.}$

Pela aproximação normal de um binomial, este é o quadrado de uma variável normal padrão e, portanto, é distribuído como qui-quadrado com 1 grau de liberdade. Observe que o denominador é um desvio padrão da aproximação de Gauss, então pode ser escrito

${\ displaystyle {\ frac {(O_ {1} - \ mu) ^ {2}} {\ sigma ^ {2}}}.}$

Portanto, como consistente com o significado da distribuição qui-quadrada, estamos medindo quão provável é o número observado de desvios-padrão da média sob a aproximação gaussiana (que é uma boa aproximação para n grande ).

A distribuição qui-quadrada é então integrada à direita do valor da estatística para obter o valor P , que é igual à probabilidade de obter uma estatística igual ou maior que a observada, assumindo a hipótese nula.

Tabelas de contingência dois por dois

Quando o teste é aplicado a uma tabela de contingência contendo duas linhas e duas colunas, o teste é equivalente a um teste Z de proporções.

Muitas células

Argumentos amplamente semelhantes aos acima levam ao resultado desejado, embora os detalhes sejam mais complexos. Pode-se aplicar uma mudança ortogonal de variáveis ​​para transformar os summands limitantes na estatística de teste em um quadrado a menos de variáveis ​​aleatórias normais padrão iid.

Vamos agora provar que a distribuição de fato se aproxima assintoticamente da distribuição conforme o número de observações se aproxima do infinito. ${\ displaystyle \ chi ^ {2}}$

Seja o número de observações, o número de células e a probabilidade de uma observação cair na i-ésima célula, para . Denotamos pela configuração onde para cada i há observações na i-ésima célula. Observe que ${\ displaystyle n}$${\ displaystyle m}$${\ displaystyle p_ {i}}$${\ displaystyle 1 \ leq i \ leq m}$${\ displaystyle \ {k_ {i} \}}$${\ displaystyle k_ {i}}$

${\ displaystyle \ sum _ {i = 1} ^ {m} k_ {i} = n \ qquad {\ text {e}} \ qquad \ sum _ {i = 1} ^ {m} p_ {i} = 1 .}$

Seja a estatística de teste cumulativa de Pearson para tal configuração e seja a distribuição dessa estatística. Mostraremos que a última probabilidade se aproxima da distribuição com graus de liberdade, pois${\ displaystyle \ chi _ {P} ^ {2} (\ {k_ {i} \}, \ {p_ {i} \})}$${\ displaystyle \ chi _ {P} ^ {2} (\ {p_ {i} \})}$${\ displaystyle \ chi ^ {2}}$${\ displaystyle m-1}$${\ displaystyle n \ to \ infty.}$

Para qualquer valor arbitrário T:

${\ displaystyle P (\ chi _ {P} ^ {2} (\ {p_ {i} \})> T) = \ sum _ {\ {k_ {i} \} | \ chi _ {P} ^ { 2} (\ {k_ {i} \}, \ {p_ {i} \})> T} {\ frac {n!} {K_ {1}! \ Cdots k_ {m}!}} \ Prod _ { i = 1} ^ {m} {p_ {i}} ^ {k_ {i}}}$

Usaremos um procedimento semelhante à aproximação do teorema de Moivre-Laplace . Contribuições de pequeno são de ordem secundária e, portanto, para grandes podemos usar a fórmula de Stirling para ambos e para obter o seguinte: ${\ displaystyle k_ {i}}$${\ displaystyle n}$${\ displaystyle n}$${\ displaystyle n!}$${\ displaystyle k_ {i}!}$

${\ displaystyle P (\ chi _ {P} ^ {2} (\ {p_ {i} \})> T) \ sim \ sum _ {\ {k_ {i} \} | \ chi _ {P} ^ {2} (\ {k_ {i} \}, \ {p_ {i} \})> T} \ prod _ {i = 1} ^ {m} \ left ({\ frac {np_ {i}} { k_ {i}}} \ right) ^ {k_ {i}} {\ sqrt {\ frac {2 \ pi n} {\ prod _ {i = 1} ^ {m} 2 \ pi k_ {i}}} }}$

Substituindo por

${\ displaystyle x_ {i} = {\ frac {k_ {i} -np_ {i}} {\ sqrt {n}}}, \ qquad i = 1, \ cdots, m-1,}$

podemos aproximar muito a soma sobre o por uma integral sobre o . Notar que: ${\ displaystyle n}$${\ displaystyle k_ {i}}$${\ displaystyle x_ {i}}$

${\ displaystyle k_ {m} = np_ {m} - {\ sqrt {n}} \ sum _ {i = 1} ^ {m-1} x_ {i},}$

nós chegamos em

${\ displaystyle {\ begin {alinhados} P (\ chi _ {P} ^ {2} (\ {p_ {i} \})> T) & \ sim {\ sqrt {\ frac {2 \ pi n} { \ prod _ {i = 1} ^ {m} 2 \ pi k_ {i}}}} \ int _ {\ chi _ {P} ^ {2} (\ {{\ sqrt {n}} x_ {i} + np_ {i} \}, \ {p_ {i} \})> T} \ left \ {\ prod _ {i = 1} ^ {m-1} {{\ sqrt {n}} dx_ {i} } \ right \} \ left \ {\ prod _ {i = 1} ^ {m-1} \ left (1 + {\ frac {x_ {i}} {{\ sqrt {n}} p_ {i}} } \ right) ^ {- (np_ {i} + {\ sqrt {n}} x_ {i})} \ left (1 - {\ frac {\ sum _ {i = 1} ^ {m-1} { x_ {i}}} {{\ sqrt {n}} p_ {m}}} \ right) ^ {- \ left (np_ {m} - {\ sqrt {n}} \ sum _ {i = 1} ^ {m-1} x_ {i} \ right)} \ right \} \\ & = {\ sqrt {\ frac {2 \ pi n} {\ prod _ {i = 1} ^ {m} \ left (2 \ pi np_ {i} +2 \ pi {\ sqrt {n}} x_ {i} \ right)}}} \ int _ {\ chi _ {P} ^ {2} (\ {{\ sqrt {n} } x_ {i} + np_ {i} \}, \ {p_ {i} \})> T} \ left \ {\ prod _ {i = 1} ^ {m-1} {{\ sqrt {n} } dx_ {i}} \ right \} \ times \\ & \ qquad \ qquad \ times \ left \ {\ prod _ {i = 1} ^ {m-1} \ exp \ left [- \ left (np_ { i} + {\ sqrt {n}} x_ {i} \ right) \ ln \ left (1 + {\ frac {x_ {i}} {{\ sqrt {n}} p_ {i}}} \ right) \ direita] \ exp \ esquerda [- \ esquerda (np_ {m} - {\ sqrt {n}} \ sum _ {i = 1} ^ {m-1} x_ {i} \ direita) \ ln \ esquerda ( 1 - {\ frac {\ sum _ {i = 1} ^ {m-1} {x_ {i}}} {{\ sqrt {n}} p_ {m}}} \ direita) \ direita] \ direita \ } \ end {alinhado}} }$

Ao expandir o logaritmo e tomando os termos de liderança em , obtemos ${\ displaystyle n}$

${\ displaystyle P (\ chi _ {P} ^ {2} (\ {p_ {i} \})> T) \ sim {\ frac {1} {\ sqrt {(2 \ pi) ^ {m-1 } \ prod _ {i = 1} ^ {m} p_ {i}}}} \ int _ {\ chi _ {P} ^ {2} (\ {{\ sqrt {n}} x_ {i} + np_ {i} \}, \ {p_ {i} \})> T} \ left \ {\ prod _ {i = 1} ^ {m-1} dx_ {i} \ right \} \ prod _ {i = 1} ^ {m-1} \ exp \ left [- {\ frac {1} {2}} \ sum _ {i = 1} ^ {m-1} {\ frac {x_ {i} ^ {2} } {p_ {i}}} - {\ frac {1} {2p_ {m}}} \ left (\ sum _ {i = 1} ^ {m-1} {x_ {i}} \ right) ^ { 2} \ right]}$

O chi de Pearson,, é precisamente o argumento do expoente (exceto para -1/2; observe que o termo final no argumento do expoente é igual a ). ${\ displaystyle \ chi _ {P} ^ {2} (\ {k_ {i} \}, \ {p_ {i} \}) = \ chi _ {P} ^ {2} (\ {{\ sqrt { n}} x_ {i} + np_ {i} \}, \ {p_ {i} \})}$${\ displaystyle (k_ {m} -np_ {m}) ^ {2} / (np_ {m})}$

Este argumento pode ser escrito como:

${\ displaystyle - {\ frac {1} {2}} \ sum _ {i, j = 1} ^ {m-1} x_ {i} A_ {ij} x_ {j}, \ qquad i, j = 1 , \ cdots, m-1, \ quad A_ {ij} = {\ tfrac {\ delta _ {ij}} {p_ {i}}} + {\ tfrac {1} {p_ {m}}}.}$

${\ displaystyle A}$é uma matriz simétrica regular e, portanto, diagonalizável . Portanto, é possível fazer uma mudança linear de variáveis ​​de modo a obter novas variáveis ​​de modo que: ${\ displaystyle (m-1) \ times (m-1)}$${\ displaystyle \ {x_ {i} \}}$${\ displaystyle m-1}$${\ displaystyle \ {y_ {i} \}}$

${\ displaystyle \ sum _ {i, j = 1} ^ {m-1} x_ {i} A_ {ij} x_ {j} = \ sum _ {i = 1} ^ {m-1} y_ {i} ^ {2}.}$

Essa mudança linear de variáveis ​​simplesmente multiplica a integral por uma constante Jacobiana , então obtemos:

${\ displaystyle P (\ chi _ {P} ^ {2} (\ {p_ {i} \})> T) \ sim C \ int _ {\ sum _ {i = 1} ^ {m-1} y_ {i} ^ {2}> T} \ left \ {\ prod _ {i = 1} ^ {m-1} dy_ {i} \ right \} \ prod _ {i = 1} ^ {m-1} \ exp \ left [- {\ frac {1} {2}} \ left (\ sum _ {i = 1} ^ {m-1} y_ {i} ^ {2} \ right) \ right]}$

Onde C é uma constante.

Esta é a probabilidade de que a soma quadrada de variáveis ​​independentes normalmente distribuídas de média zero e variância unitária seja maior que T, ou seja, que com graus de liberdade seja maior que T. ${\ displaystyle m-1}$${\ displaystyle \ chi ^ {2}}$${\ displaystyle m-1}$

Assim, mostramos que no limite onde a distribuição do chi de Pearson se aproxima da distribuição do chi com graus de liberdade. ${\ displaystyle n \ to \ infty,}$${\ displaystyle m-1}$