Há uns anos, foi notícia um estudo fantástico: o chocolate preto ajudava a emagrecer. A notícia era verdadeira, o estudo era real e feito por um médico. E, no entanto, era tudo mentira. Confuso?
John Bohannon, jornalista, contratou um médico para fazer um estudo sobre os efeitos do chocolate preto. Recrutou 15 pessoas, que dividiu em três grupos. Um de controlo, outro que seguiu uma dieta baixa em hidratos de carbono e, finalmente, um outro que, além de seguir a dieta low carb, comia todos os dias 40 gramas de chocolate preto. Avaliaram a evolução de 18 parâmetros de saúde (peso, colesterol, gordura no corpo, etc.) à terceira semana e descobriram que o grupo do chocolate preto fora o que perdera mais gordura. Conclusão? O chocolate preto ajuda a perder peso.
O que há de errado no referido estudo? Com apenas cinco pessoas por grupo e medindo 18 parâmetros, era garantido que, por pura sorte, o grupo do chocolate preto teria melhor performance num deles. Há muitos fatores que influenciam o nosso corpo: stresse, exercício, sono, meteorologia, etc. Com 18 indicadores, só por muito azar não se encontraria um que tivesse melhorado no grupo do chocolate. Trata-se, pois, de um estudo sem poder estatístico: não é capaz de distinguir efeitos reais de pura sorte. Depois de publicadas as notícias, John Bohannon veio a público explicar o esquema e mostrar como era fácil enganar jornalistas ávidos por ter o que escrever.
As tracking polls da CNN são similares. Nestas sondagens, a Pitagórica inquire diariamente 152 pessoas e reporta os resultados ao fim de quatro dias, quando tem uma amostra de 608 respostas. Não é enorme, mas é aceitável. Depois, a cada dia que passa, exclui as 152 entrevistas mais antigas e acrescenta 152 novas e reporta os valores da sondagem assim obtida. O que há de errado nisto? A variação em cada dia é causada precisamente por 152 entrevistas, uma amostra minúscula. Tal como com o chocolate, vai haver, garantidamente, variações aparentemente dignas de notícia, mesmo que não haja nenhuma notícia para dar.
Para não maçar o leitor com explicações técnicas, vou fazer uma sondagem tecnicamente perfeita e totalmente controlada por mim. Pode replicá-la em casa, bastando-lhe para isso o Excel.
Imagine que há dois partidos que têm 35% das intenções de voto cada um. Pode chamar-lhes Partido Rosa (PR) e Partido Laranja (PL). Numa sondagem bem conduzida, cada pessoa entrevistada terá 35% de probabilidade de ser do PR, 35% de ser do PL e 30% de outro qualquer. Como represento esta realidade política no Excel? Com as suas ferramentas estatísticas, consigo gerar um número aleatório entre 0 e 100. Se este estiver entre 0 e 35, declaro que é eleitor do PR; se estiver entre 65 e 100, que é do PL; e se estiver entre 35 e 65, é de outro qualquer. Faço isto 152 vezes, tal como a Pitagórica faz para a CNN, e tenho um dia de sondagens feito. Repito o procedimento uma segunda, terceira e quarta vez e tenho uma sondagem feita a 608 pessoas. Depois acrescento mais um dia, retirando-lhe o mais antigo e vou por aí fora, criando uma tracking poll diária, sempre com 608 observações. Mas, lembre-se, os verdadeiros parâmetros são sempre os mesmos: 35% para o Partido Rosa e 35% para o Partido Laranja, quaisquer variações são pura sorte e não têm qualquer significado.
Pode ver a minha tracking poll de 17 dias no gráfico. Variações interessantes e a exigir comentário político: no dia 4, o PL tem uma vantagem de 11 pontos percentuais, que se vai desvanecendo, até que, no dia 8, o PR passa para a frente, mantendo-se um empate técnico por alguns dias até que, a partir do dia 13, o PL volta a descolar.
Imagine as notícias e os comentadores. No dia 4, o líder do PL era um génio e almejava uma maioria absoluta. Entre o dia 4 e 8, os debates correram-lhe mal e cometeu umas gafes de campanha, perdendo a vantagem. Com o aproximar da eleição, os indecisos deixam de estar indecisos e o voto útil favorecerá o PL e, por isso, a partir do dia 13, retoma alguma da vantagem que tinha no início.
Mas, claro, é tudo treta. Na verdade, nesta população, o PR e PL tiveram sempre as mesmas intenções de voto: 35%.
Moral da história? Fazer uma tracking poll com estas características não é dar notícias, é criar notícias, fazendo uma festa com os comentadores de serviço.
P.S. — Se quiser o ficheiro Excel com estes cálculos para fazer as suas experiências, é só pedir-me por e-mail. Poderá repetir as vezes que quiser. O gráfico que usei para ilustrar este artigo foi obtido à terceira tentativa.
Professor de Economia da Universidade do Minho
lfaguiar@eeg.uminho.pt
Sem comentários:
Enviar um comentário
1) Identifique-se com o seu verdadeiro nome e sem abreviaturas.
2) Seja respeitoso e cordial, ainda que crítico.
3) São bem-vindas objecções, correcções factuais, contra-exemplos e discordâncias.