Teste de Hipóteses

1. lógica do teste
2. significado do p-valor
3. tabela de anova (partição da variância)
4. biologia <-> estatística

Teste de Hipóteses

Sir Ronald A. Fisher

Desenho Experimental

Referência em diferentes áreas

Sir Ronald A. Fisher

Inferência Estatística

“fazer afirmações sobre um universo a partir de um conjunto de valores representativo (amostra). Tal tipo de afirmação deve sempre vir acompanhada de uma medida de precisão sobre sua veracidade”

Inferência Estatística

fazer afirmações sobre um universo a partir de um conjunto de valores representativo (amostra). Tal tipo de afirmação deve sempre vir acompanhada de uma medida de precisão sobre sua veracidade

Teoria de Amostragem

Conexão entre população e amostra

Variabilidade da amostra (erro)

Lei dos grandes números

Teorema do Limite Central

Palmito (Euterpe edulis)

Parque Estadual de Carlos Botelho

> load("data/palmcb.RData")
> ls()

## [1] "palmcb"

> str(palmcb)

##  int [1:1981] 15 15 15 15 15 15 15 15 15 15 ...

Palmitos de Carlos Botelho

> par(mar= c(1,5,1, 2), las=1, cex.axis = 1.5, cex.lab = 1.4)
> boxplot(palmcb, col="gray", main = "", ylab="Perímetro (cm)")
> abline(h=mean(palmcb), lty=2, col = "red")
> text(1.4, 35, labels= paste("média = ", round(mean(palmcb),1)),
+      cex=1.3, col= "blue")

Palmitos de Carlos Botelho

> mean(palmcb)

## [1] 32.60071

> summary(palmcb)

##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##    15.0    21.0    31.0    32.6    43.0    73.0

> sample(palmcb, size=10)

##  [1] 22 19 36 34 38 35 23 16 35 40

> mean(sample(palmcb, size=10))

## [1] 34.8

Amostra de Palmitos

> mean(sample(palmcb, size=10))

## [1] 35.3

> mean(sample(palmcb, size=10))

## [1] 32.7

> mean(sample(palmcb, size=10))

## [1] 30.6

> mean(sample(palmcb, size=10))

## [1] 34

Palmitos de Carlos Botelho

> resulta <- rep(NA, 1000)
> for(i in 1:1000)
+ {
+ resulta[i] <- mean(sample(palmcb, size=10))
+ }

> resulta[1:10]

##  [1] 26.9 25.2 34.4 39.8 33.3 24.3 32.8 35.3 32.0 38.1

Palmitos de Carlos Botelho

> par(mar=c(5,5,2,2), cex.lab=1.5, cex.axis=1.2, las=1)
> hist(resulta, xlab="Media de perímetro(cm)", ylab="Frequencia",
+      main="", col="gray")
> abline(v=mean(palmcb), lty=2, lwd=2, col="red")

Lei dos Grandes Números

Teoria do Limite Central

Pergunta

Os palmitos em Carlos Botelho são, em média, maiores que os da restinga da Ilha do Cardoso?

Hipótese Biológica

Hipótese Biológica

Pergunta:

Os palmitos em Carlos Botelho são maiores que os da restinga da Ilha do Cardoso?

Hipótese:

Palmito em solos mais argilosos e férteis crescem mais que os de solos arenosos e pobres

Predição:

A média do perímetro dos palmitos em Carlos Botelho é maior que a média da restinga da Ilha do Cardoso

Hipótese Biológica

Pergunta:

Os palmitos em Carlos Botelho são maiores que os da restinga da Ilha do Cardoso?

Hipótese:

Palmito em solos mais argilosos e férteis crescem mais que os de solos arenosos e pobres

Predição:

A média do perímetro dos palmitos em Carlos Botelho é maior que a média da restinga da Ilha do Cardoso

Hipótese Biológica

Pergunta:

Os palmitos em Carlos Botelho são maiores que os da restinga da Ilha do Cardoso?

Hipótese:

Palmito em solos mais argilosos e férteis crescem mais que os de solos arenosos e pobres

Predição:

A média do perímetro dos palmitos em Carlos Botelho é maior que a média da restinga da Ilha do Cardoso

Amostra Palmito

> load("data/eutdata.RData")
> str(eut)

## 'data.frame':    4424 obs. of  2 variables:
##  $ pap  : num  15 15 15 15 15 15 15 15 15 15 ...
##  $ local: Factor w/ 2 levels "PECB","PEIC": 1 1 1 1 1 1 1 1 1 1 ...

> amoscb <- sample(eut$pap[eut$local=="PECB"], 100)
> amosic <- sample(eut$pap[eut$local=="PEIC"], 100)

Amostra Palmito

Estatística de interesse

> mean(amoscb)

## [1] 35.64

> mean(amosic)

## [1] 25.495

> mean(amoscb) - mean(amosic)

## [1] 10.145

> difpalm <- mean(amoscb) - mean(amosic)

Afirmação

fazer afirmações sobre um universo a partir de um conjunto de valores representativo (amostra). Tal tipo de afirmação deve sempre vir acompanhada de uma medida de precisão sobre sua veracidade

> difpalm 

## [1] 10.145

Os palmitos de CB são maiores que na IC?

Erro Amostral

Medida de Incerteza

fazer afirmações sobre um universo a partir de um conjunto de valores representativo (amostra). Tal tipo de afirmação deve sempre vir acompanhada de uma medida de precisão sobre sua veracidade

Os palmitos de CB são maiores que da IC?

Organizando nossos resultados

> amospalm <- c(amoscb, amosic)
> local <- rep(c("PECB", "PEIC"), each =100)
> local <- factor(local, levels = c("PEIC", "PECB"))
> tapply(amospalm, local, mean)

##   PEIC   PECB 
## 25.495 35.640

> (difpalm <- diff(tapply(amospalm,local,mean)))

##   PECB 
## 10.145

Cenário Nulo

A diferença observada pode ser gerada pelo acaso?

Cenário Nulo

> cenulo <- sample(amospalm)
> tapply(cenulo, local,mean)

##   PEIC   PECB 
## 29.930 31.205

> diff(tapply(cenulo,local,mean))

##  PECB 
## 1.275

> diff(tapply(sample(amospalm), local, mean))

##  PECB 
## 1.025

> diff(tapply(sample(amospalm), local, mean))

##   PECB 
## -0.865

Distribuição Nula

> dnulo <- rep(NA, 1000)
> dnulo[1] <- diff(tapply(amospalm, local, mean))
> for(i in 2:1000)
+ {
+ dnulo[i] <- diff(tapply(sample(amospalm), local, mean))
+ }

Representação dos dados

> par(las=1, cex.axis = 1.5)
> boxplot(amospalm ~ local, cex =0.2, col="gray", outline=FALSE)
> points(x= jitter(rep(1,100), factor=2),
+        y = amospalm[local=="PEIC"], cex=1.5,
+        pch=16, col=rgb(1,0,0, alpha=0.3) )  
> points(x= jitter(rep(2,100), factor=2),
+        y = amospalm[local=="PECB"], cex=1.5,
+        pch=16, col=rgb(0,0,1, alpha=0.3)) 
> mtext(at=1.5, side=3, line=1, text =paste("diferença =",
+                           round(difpalm,1)), cex=1.5)

Representação dos dados

Animação Nula

> library(animation)
> redt <- rgb(1,0,0, alpha=0.3)
> bluet <- rgb(0,0,1, alpha=0.3)
> cores <- rep(c(redt,bluet), each=100) 
> saveGIF(
+    for(i in 1:25)
+    {
+      par(las=1, cex.axis = 1.5)
+      npos <- sample(1:200)
+      ndiff <- round(diff(tapply(amospalm[npos], local, mean)),1)  
+      boxplot(amospalm[npos] ~ local, cex =0.2, col="gray",
+               outline=FALSE, ylim=c(15, 100),
+               ylab = "Perímetro (cm)", cex.lab =1.2)
+      points(x= jitter(rep(1,100), factor=2),y = amospalm[local[npos]=="PEIC"],
+                cex=1.5,pch=16, col=cores[npos][1:100])  
+      points(x= jitter(rep(2,100), factor=1), y = amospalm[local[npos]=="PECB"],
+                    cex=1.5,pch=16, col=cores[npos][101:200]) 
+      mtext(at=1.5, side=3, line=1, text =paste("diferença =", ndiff), cex=1.5)
+    },
+ movie.name="nullanima.gif")

Null Anima

Distribuição Nula

Incerteza Sobre a Afirmação

A probabilidade da diferença observada ter sido gerada pelo acaso.

> sum(dnulo >= difpalm) 

## [1] 1

> sum(dnulo >= difpalm)/length(dnulo)

## [1] 0.001

Incerteza Sobre a Afirmação

A probabilidade da diferença observada ter sido gerada pelo acaso.

> sum(dnulo >= difpalm) 

## [1] 1

> sum(dnulo >= difpalm)/length(dnulo)

## [1] 0.001

p-valor

Teste Frequentista

Test T

> t.test(x=amoscb, y= amosic, alternative = "greater" )

## 
##  Welch Two Sample t-test
## 
## data:  amoscb and amosic
## t = 5.4706, df = 198, p-value = 6.723e-08
## alternative hypothesis: true difference in means is greater than 0
## 95 percent confidence interval:
##  7.080347      Inf
## sample estimates:
## mean of x mean of y 
##    35.640    25.495

Vamos ao

Anova: um exemplo

are <- c(6,10,8,6,14,17,9,11,7,11)
arg <- c(17,15,3,11,14,12,12,8,10,13)
hum <- c(13,16,9,12,15,16,17,13,18,14)
prod <- c(are, arg, hum) 
solos <- data.frame(tipo=rep(c("arenoso","argiloso","húmico"), each=10),
                 prod= prod)
str(solos)

## 'data.frame':    30 obs. of  2 variables:
##  $ tipo: Factor w/ 3 levels "arenoso","argiloso",..: 1 1 1 1 1 1 1 1 1 1 ...
##  $ prod: num  6 10 8 6 14 17 9 11 7 11 ...

Anova: um exemplo

Anova: um gráfico

par(mar=c(5,5,2,2), cex.lab=1.5, cex.axis=1.2, las=1)
boxplot(prod~tipo, data=solos, xlab="Tipo de solo",
  ylab="Produção", col = c("gray50", "coral", "brown"))

Anova: um gráfico

Cálculos base

(media.geral <- mean(solos$prod))

## [1] 11.9

(media.solos <- tapply(solos$prod,list(solos$tipo), mean))

##  arenoso argiloso   húmico 
##      9.9     11.5     14.3

vetor.cor <- rep(1:3,each=10)
vetor.medias <- rep(as.numeric(media.solos), each=10)

Gráfico base

par(mar=c(4,4.5,1,1),  las=1, cex=1.2)
plot(1:30,solos$prod,ylim=c(0,20),pch=(rep(c(15,16,17),each=10)),
     col=vetor.cor,main="",ylab="Variável Resposta",
     xlab="Observações")

Adicionando linhas: desvios

segments(x0 = 1:30, y0=prod, x1= 1:30, y1=vetor.medias, col=vetor.cor)

Segmentos: médias

segments(x0=c(1,11,21), y0=media.solos,
         x1=c(10,20,30), col=1:3)

Adicionando legenda

legend( "bottomright", legend=c("arenoso","argiloso", "humico"),
       pch=c(15,16,17), col=1:3, bty="n")

Variação interna aos grupos

Quanto difere da média do grupo

Desvios: total

plot(1:30,solos$prod,ylim=c(0,20),pch=(rep(c(15,16,17),each=10)),
     col=vetor.cor,main="",ylab="Variável Resposta",
     xlab="Observações")
segments(x0 = 1:30, y0 = prod, x1= 1:30, y1=media.geral,
         col=vetor.cor)
segments(x0 = 1, y0= media.geral, x1 = 30, lty = 1, lwd=1.5)
legend( "bottomright", legend=c("arenoso","argiloso", "humico"),
       pch=c(15,16,17), col=1:3, bty="n")

Desvios: total

Quanto difere da média geral

Desvios: entre os grupos

Quanto a média do grupo difere da geral

Anova: partição da variância

Anova: partição da variância

Médias Quadráticas: intra

Médias Quadráticas: entre

Anova: partição da variância

Tabela de Anova

Desvios quadráticos totais

\[SS_{total} = \sum_{i=1}^k\sum_{j=1}^n (y_{ij} - \bar{\bar{y}})^2 \]

solos$prod

##  [1]  6 10  8  6 14 17  9 11  7 11 17 15  3 11 14 12 12  8 10 13 13 16  9
## [24] 12 15 16 17 13 18 14

mean(solos$prod)

## [1] 11.9

(ss_total <- sum((prod - mean(prod))^2 ))

## [1] 414.7

Tabela de Anova

Soma Quadratica: intra

\[SS_{intra} = \sum_{i=1}^k\sum_{j=1}^n (y_{i,j} - \bar{y}_{i})^2 \]

solos$prod

##  [1]  6 10  8  6 14 17  9 11  7 11 17 15  3 11 14 12 12  8 10 13 13 16  9
## [24] 12 15 16 17 13 18 14

vetor.medias

##  [1]  9.9  9.9  9.9  9.9  9.9  9.9  9.9  9.9  9.9  9.9 11.5 11.5 11.5 11.5
## [15] 11.5 11.5 11.5 11.5 11.5 11.5 14.3 14.3 14.3 14.3 14.3 14.3 14.3 14.3
## [29] 14.3 14.3

(ss_intra = sum((solos$prod - vetor.medias)^2))

## [1] 315.5

Construindo a tabela de Anova

Soma Quadráticos: entre

\[SQ_{entre} = \sum_{i=1}^k\sum_{j=1}^n (\bar{y}_{i} - \bar{\bar{y}})^2\]

vetor.medias

##  [1]  9.9  9.9  9.9  9.9  9.9  9.9  9.9  9.9  9.9  9.9 11.5 11.5 11.5 11.5
## [15] 11.5 11.5 11.5 11.5 11.5 11.5 14.3 14.3 14.3 14.3 14.3 14.3 14.3 14.3
## [29] 14.3 14.3

mean(solos$prod)

## [1] 11.9

(ss_entre = sum((vetor.medias - mean(solos$prod))^2))

## [1] 99.2

Construindo a tabela de Anova

Construindo a tabela de Anova

Construindo a tabela de Anova

Estatística F

\[F=\frac{\sigma^2_{entre}}{\sigma^2_{intra}}\]

ou

\[F=\frac{MQ_{entre}}{MQ_{intra}}\]

(fanova <- (ss_entre/2) /(ss_intra/27))

## [1] 4.244691

Distribuição F

Distribuição F(2,27)

Distribuição F(2,27) = 4.24

Finalizando a tabela de Anova

Lógica da Anova

round(ss_entre/ss_total, 3)

## [1] 0.239

Vamos ao

Atividades desta tarde

• Até as 16h:
  • tutorial 6
  • apostila
  • dúvidas das unidades anteriores
• Após as 16h
  • dúvidas dos exercícios