Esta é uma tradução de um post escrito por Stephen Heard, no blog Scientist Sees Squirrel. É um tema bem importante; e eu até poderia escrever algo eu mesmo a respeito, mas pra que, se alguém mais sábio escreveu antes? E eu poderia apenas indicar o blog original, mas considerando que domínio da língua inglesa nem todo mundo tem, me pareceu interessante traduzir! Mas se você entende inglês, sugiro que leia o original, aqui.
Abaixo a tradução:
Este semestre, estou co-ministrando uma disciplina de pós-graduação/graduação avançada sobre bioestatística e desenho experimental. Essa é a minha aula sobre como apresentar resultados estatísticos ao descrever um estudo. É um tópico sobre o qual eu escrevi antes, e o que eu ensino em aula é baseado também em posts mais antigos no Scientist Sees Squirrel. No entanto, achei que seria legal colocar isso tudo num único post (mais longuinho), com os meus slides para ilustrá-lo. caso você queira usar estes slides, traduzidos para o português– licença CC BY-NC 4.0.
Aqui vai.
Como você deveria apresentar resultados estatísticos, em um artigo científico?
Bem, para começar, na verdade existem duas coisas diferentes a que podemos nos referir por “apresentar resultados estatísticos” – apresentar dados, ou apresentar estatísticas descritivas, estatísticas de teste, P valores, etc. Neste post vou me limitar basicamente à segunda possibilidade. Em relação à primeira possibilidade, veja o capítulo 12 do meu livro, The Scientist’s Guide to Writing; ou, melhor ainda (é claro!), o The Visual Display of Quantitative Information de Edward Tufte.
Então imagine que você fez um experimento – no slide acima, um experimento simples comparando a densidade de lagartas (uma espécie que causa danos ao plantio) em parcelas de couve que foram tratadas com um novo inseticida biológico ou mantidas sem inseticida, como controle*. Nós queremos saber se o inseticida foi eficiente, então nós comparamos as densidades de lagartas entre os tratamentos usando um teste-t de Welch. Podemos gerar uma grande pilha de números – alguns deles, mas não todos, estào mostrados no slide, na caixa embaixo. O que fazer com estes números? Vou quebrar a questão em seis questões maiores. A chave pare responder cada uma delas é a mesma que para responder todas as questões sobre escrita: do que quem lê precisa para entender e aceitar a história que o seu artigo está contando?
1. Quais números apresentar?
Existem muitos números que você poderia apresentar para comunicar os resultados do seu teste. Felizmente, para cada teste estatístico, normalmente existe uma prática consensual.
Assumindo que estamos lidando com uma abordagem de teste de hipóteses**, o consenso normalmente vai incluir uma estatística de teste (no nosso caso, t); os graus de liberdade (no nosso caso, 9); um valor de P (no nosso caso, 0.022); e alguma medida do tamanho de efeito (no nosso caso, 62 VS 84 lagartas). Então poderíamos escrever “havia 23% menos lagartas no couve com inseticida (t(9) = 2.77, P = 0.022)”.
E é isso para o nosso teste-t; se tivéssemos feito uma ANOVA ou regressão ou qualquer outro teste, haveria equivalentes (veja o slide acima). A propósito, repare que a omissão do tamanho de efeito é um erro comum mas infeliz.
2. Onde apresentar estes números?
Quando você precisa decidir onde no seu artigo apresentar os números estatísticos, você terá quatro escolhas principais: no texto, em uma figura, em uma tabela, ou em um suplemento online.
Colocar no texto funciona bem com as estatísticas mas simples (como no slide acima – artigo original aqui). Mas apenas com as estatísticas mais simples, porque à medida que as frases vão ficando mais e mais liberalmente preenchidas com estatísticas de teste e p-valores, elas ficam cada vez mais difíceis de ler – e “mais difícil” se transforma em “impossível” bem antes de chegarmos ao fim da nossa sofisticação estatística.
Para estatísticas moderadamente complicadas, você pode considerar colocar os números relevantes diretamente em uma figura – como eu iz no slide acima (artigo original aqui). É claro que figuras também podem ficar cheias demais, então cuidado.
Para estatísticas mais complexas, tabelas costumam ser mais eficientes. O slide acima relata múltiplas ANCOVAs em um formato relativamente compacto (artigo original aqui). Mas preste atenção nas ressalvas usuais sobre tabelas: editoras as adeiam (são caras para formatar) e leitores também as odeias (se elas não forem bem desenhadas, elas são difíceis de ler). Elas são um mal necessário, mas como todos os males necessários, elas devem ser usadas com moderação.
Finalmente, e em relação ao suprimento online? Estes se tornaram tão rotineiros e tão fáceis de incluir em um artigo que é tentados botar todos os números que você gerou em algum momento em um deles. Eu acho que a chave para entender o suplemento online é o fato de que quase ninguém os lê. (Sim, eu sei que algumas pessoas lêem alguns suplementos online; daí a palavra “quase”. Mas eu apostaria dinheiro de que o suplemento online médio é lido por menos de 0.1% das pessoas que lêem o artigo.) Então, use suplementos online para estatísticas que a maior parte dos leitores não precisa, mas de que alguns possam precisar:
Este é um lugar ideal para estatísticas “secundárias”: testes de premissas, análises alternativas para confirmar a análise principal, esse tipo de coisa.
3. Primeiro estatística ou primeiro padrão?
Um erro comum é achar que seus leitores se importam mais com estatística do que com biologia. Este erro leva a frases horríveis (e eu já escrevi elas!) como “O teste-t de Welch produziu resultados significativos (t = 2.77, GL = 9, P = 0.022); veja figura 1”. Essa frase não diz ao leitor nada de interesse além de que existe alguma espécie de padrão, e que por algum motivo você acha que é trabalho do leitor entender que padrão é esse. Não é! Então considere uma das alternativas mais fortes neste slide:
Pessoas frequentemente dizem que “os dados falam por conta própria”. Talvez em algum sentido eles realmente falem; mas este sentido não é algo útil quando escrevemos um artigo científico. Respeite quem lê seu artigo ao guiá-los pela história que você quer contar. Não se preocupe: alguém que queira permanecer crítico à sua interpretação fará isso sem problemas.
4. “P < 0.05” ou “P = 0.022”?
Digamos que a sua análise produz um resultado com P = 0.02. Você relata ele desse jeito, ou você relata “P < 0.05”? A decisão para o segundo é baseada em uma filosofia linha-na-areia, ou “absolutista”, de inferência estatística. Por essa filosofia, devemos definir um critério de significância α antes de começar a análise, e então apenas nos importar se o P-valor obtido for maior ou menor do que α. Esa filosofia absolutista não é idiota, mas também não é a única. Muitos dos nossos leitores vão acreditar que P = 0.022 e P = 0.00000022 nos dizem coisas diferentes (usando uma filosofia “continualista” ou de “força-de-evidência”). (Mais sobre isso em “6. E quanto ao P = 0.051?”)
Há três razões para relatar o P-valor exato mesmo quando a nossa própria filosofia diz que ele é informativo:
- P-valores podem ser usados em meta-análise (este post explica como, usando o método de Fisher para combinar P-valores).
- Até mesmo um leitor linha-na-areia pode preferir uma linha na areia diferente da sua; ao fornecer o valor exato de P, acomodamos qualquer escolha possível de α.
- Um leitor linha-na-areia sempre pode ignorar o valor exato de P, mas um leitor força-de-evidência não consegue magicamente reconstituir este valor se você o jogou fora.
5. “P = 0.037” ou “P = 0.022823511”?
Beleza, você deveria relatar o valor exato de P – mas quão exato? P = 0.022823511? Não – e isso é um caso especial do princípio mais geral de dígitos significativos.
Você não iria relatar a massa de uma semente com 8 dígitos, então por que relatar o P-valor para a comparação de massa de sementes com 8 dígitos? Programas estatísticos frequentemente relatam todos esses dígitos, criando a tentação e copiar-e-colar, mas não faça isso. Eu explorei essa questão em detalhes em outro texto, discutindo as duas questões relevantes de “digitados significativos para os dados” e “dígitos significativos para quem lê”; mas em geral, 2 ou 3 dígitos (não casas decimais, dígitos) devem ser o suficiente para estatísticas de teste e P-valores.
6. E em relação a P = 0.051?
E finalmente, a questão que parece provocar reações mais fortes (e mais mal-informadas) do que praticamente qualquer outra coisa na estatística. Como relatar um teste estatístico que resultou em um P = 0.051?
O mundo parece estar dividido entre dois tipos de pessoas: aquelas que estão comfortáveis descrevendo esse resultado como “quase significativo” (ou algo similar), e aquelas que reagem a tais frases com horror e uma certeza presunçosa da sua própria superioridade e virtude estatística. Mas a única forma de de ter esta certeza presunçosa é não estar ciente de grande parte da história e filosofia estatística. Eu escrevi em mais detalhes sobre isso em outro texto, então apenas um breve resumo aqui.
Aqui é onde as duas filosofias alternativas de P-valores entram em cena. Para um absolutista, P = 0.051 significa o mesmo que P = 0.851, e ambos devem ser declarados não-significativos. Mas para um continualista, P = 0.051 sugere evidência mais forte contra a hipótese nula do que P = 0.851; talvez até mesmo evidência suficiente para considerar ela algo interessante.
A visão absolutista satisfaz bem o controle estatístico de processos (quando você está testando amostras de lotes de batata-frita em uma linha de produção, você tem que empacotar ou descartar cada lote; medidas quantitativas de força-de-evidência não têm utilidade. Ela também se alinha bem com Popper, falsiabilidade, e inferência forte, ao menos para quem não pensa com muito cuidado sobre estes assuntos.
Mas não existe nenhuma razão pela qual a visão absolutista é uma forma melhor de pensar sobre inferência estatística em um único experimento – e pode-ser argumentar que é uma visão pouco adequada para esta função. Afinal, P = 0.049 e P = 0.051 não são resultados de fato diferentes de um experimento, seja do ponto de vista lógico (ambos mostral que os dados estão em discordância moderada com a hipótese nula) ou do ponto de vista estatístico (P-valores têm incerteza, e dificilmente serão suficientemente precisos para separarmos valores tão próximos um do outro). Este argumento foi apresentado em mais detalhes aqui; ele também está de acordo com o “Statement on the P Value” da Associação Estatística dos Estados Unidos.
Então: P = 0.051? Vai em frente e o descreva como “marginalmente significativo”, ou outras palavras que digam isso, e saiba que a sua prática tem fundamentos filosóficos impecáveis. Isso não vai impedir revisores de terem objeções, obviamente. (Sinta-se livre para citar este post na sua carta-resposta).
Ainda comigo? Acabamos! Bem, quase. Primeiro, um meta-pensamento rápido. Eu fiz três cursos de estatística na minha carreira, e revisei a ementa e currículo de mais alguns. Nenhum tinha um módulo explícito abordando como escrever sobre seus resultados estatísticos. Isso não é peculiar? O que mais instrutores de estatística pensam que seus estudantes farão com as análises que fazem?
© Stephen Heard 2 de outubro de 2018; traduzido por Pavel Dodonov, 11 de outubro de 2018.
O texto original é baseado em material do The Scientist’s Guide to Writing, o livro escrito por Stephen Heard sobre escrita científica.
*Opinião impopular: na verdade, a melhor coisa que possivelemente poderia acontecer a uma parcela de couve é ela ser devastada por um ataque de largartas. Por que é que seres humanos comem isso? É como pedaços de grama cobertos de Bitrex.
** Outras abordagens, tais como seleção de modelos ou técnicas Bayesianas ou estatísticas estritamente descritivas, terão outros consensos.
