Apresentando resultados estatísticos: Apontamentos em escrita científica

Esta é uma tradução de um post escrito por Stephen Heard, no blog Scientist Sees Squirrel. É um tema bem importante; e eu até poderia escrever algo eu mesmo a respeito, mas pra que, se alguém mais sábio escreveu antes? E eu poderia apenas indicar o blog original, mas considerando que domínio da língua inglesa nem todo mundo tem, me pareceu interessante traduzir! Mas se você entende inglês, sugiro que leia o original, aqui.

Abaixo a tradução:

Este semestre, estou co-ministrando uma disciplina de pós-graduação/graduação avançada sobre bioestatística e desenho experimental. Essa é a minha aula sobre como apresentar resultados estatísticos ao descrever um estudo. É um tópico sobre o qual eu escrevi antes, e o que eu ensino em aula é baseado também em posts mais antigos no Scientist Sees Squirrel. No entanto, achei que seria legal colocar isso tudo num único post (mais longuinho), com os meus slides para ilustrá-lo. caso você queira usar estes slides, traduzidos para o português– licença CC BY-NC 4.0.

Aqui vai.

Como você deveria apresentar resultados estatísticos, em um artigo científico?img1.png

Bem, para começar, na verdade existem duas coisas diferentes a que podemos nos referir por “apresentar resultados estatísticos” – apresentar dados, ou apresentar estatísticas descritivas, estatísticas de teste, P valores, etc. Neste post vou me limitar basicamente à segunda possibilidade. Em relação à primeira possibilidade, veja o capítulo 12 do meu livro, The Scientist’s Guide to Writing; ou, melhor ainda (é claro!), o The Visual Display of Quantitative Information de Edward Tufte.

img2.png

Então imagine que você fez um experimento – no slide acima, um experimento simples comparando a densidade de lagartas (uma espécie que causa danos ao plantio) em parcelas de couve que foram tratadas com um novo inseticida biológico ou mantidas sem inseticida, como controle*. Nós queremos saber se o inseticida foi eficiente, então nós comparamos as densidades de lagartas entre os tratamentos usando um teste-t de Welch. Podemos gerar uma grande pilha de números – alguns deles, mas não todos, estào mostrados no slide, na caixa embaixo. O que fazer com estes números? Vou quebrar a questão em seis questões maiores. A chave pare responder cada uma delas é a mesma que para responder todas as questões sobre escrita: do que quem lê precisa para entender e aceitar a história que o seu artigo está contando?

img3.png

1. Quais números apresentar?

Existem muitos números que você poderia apresentar para comunicar os resultados do seu teste. Felizmente, para cada teste estatístico, normalmente existe uma prática consensual.

img4.png

Assumindo que estamos lidando com uma abordagem de teste de hipóteses**, o consenso normalmente vai incluir uma estatística de teste (no nosso caso, t); os graus de liberdade (no nosso caso, 9); um valor de P (no nosso caso, 0.022); e alguma medida do tamanho de efeito (no nosso caso, 62 VS 84 lagartas). Então poderíamos escrever “havia 23% menos lagartas no couve com inseticida (t(9) = 2.77, P = 0.022)”.

E é isso para o nosso teste-t; se tivéssemos feito uma ANOVA ou regressão ou qualquer outro teste, haveria equivalentes (veja o slide acima). A propósito, repare que a omissão do tamanho de efeito é um erro comum mas infeliz.

2. Onde apresentar estes números?

Quando você precisa decidir onde no seu artigo apresentar os números estatísticos, você terá quatro escolhas principais: no texto, em uma figura, em uma tabela, ou em um suplemento online.

img5.png

Colocar no texto funciona bem com as estatísticas mas simples (como no slide acima – artigo original aqui). Mas apenas com as estatísticas mais simples, porque à medida que as frases vão ficando mais e mais liberalmente preenchidas com estatísticas de teste e p-valores, elas ficam cada vez mais difíceis de ler – e “mais difícil” se transforma em “impossível” bem antes de chegarmos ao fim da nossa sofisticação estatística.

img6.png

Para estatísticas moderadamente complicadas, você pode considerar colocar os números relevantes diretamente em uma figura – como eu iz no slide acima (artigo original aqui). É claro que figuras também podem ficar cheias demais, então cuidado.

img7.png

Para estatísticas mais complexas, tabelas costumam ser mais eficientes. O slide acima relata múltiplas ANCOVAs em um formato relativamente compacto (artigo original aqui). Mas preste atenção nas ressalvas usuais sobre tabelas: editoras as adeiam (são caras para formatar) e leitores também as odeias (se elas não forem bem desenhadas, elas são difíceis de ler). Elas são um mal necessário, mas como todos os males necessários, elas devem ser usadas com moderação.

Finalmente, e em relação ao suprimento online? Estes se tornaram tão rotineiros e tão fáceis de incluir em um artigo que é tentados botar todos os números que você gerou em algum momento em um deles. Eu acho que a chave para entender o suplemento online é o fato de que quase ninguém os lê. (Sim, eu sei que algumas pessoas lêem alguns suplementos online; daí a palavra “quase”. Mas eu apostaria dinheiro de que o suplemento online médio é lido por menos de 0.1% das pessoas que lêem o artigo.) Então, use suplementos online para estatísticas que a maior parte dos leitores não precisa, mas de que alguns possam precisar:

img8.png

Este é um lugar ideal para estatísticas “secundárias”: testes de premissas, análises alternativas para confirmar a análise principal, esse tipo de coisa.

3. Primeiro estatística ou primeiro padrão?

Um erro comum é achar que seus leitores se importam mais com estatística do que com biologia. Este erro leva a frases horríveis (e eu já escrevi elas!) como “O teste-t de Welch produziu resultados significativos (t = 2.77, GL = 9, P = 0.022); veja figura 1”. Essa frase não diz ao leitor nada de interesse além de que existe alguma espécie de padrão, e que por algum motivo você acha que é trabalho do leitor entender que padrão é esse. Não é! Então considere uma das alternativas mais fortes neste slide:

img9.png

Pessoas frequentemente dizem que “os dados falam por conta própria”. Talvez em algum sentido eles realmente falem; mas este sentido não é algo útil quando escrevemos um artigo científico. Respeite quem lê seu artigo ao guiá-los pela história que você quer contar. Não se preocupe: alguém que queira permanecer crítico à sua interpretação fará isso sem problemas.

4.  “P < 0.05” ou “P = 0.022”?

Digamos que a sua análise produz um resultado com P = 0.02. Você relata ele desse jeito, ou você relata “P < 0.05”? A decisão para o segundo é baseada em uma filosofia linha-na-areia, ou “absolutista”, de inferência estatística. Por essa filosofia, devemos definir um critério de significância α antes de começar a análise, e então apenas nos importar se o P-valor obtido for maior ou menor do que α. Esa filosofia absolutista não é idiota, mas também não é a única. Muitos dos nossos leitores vão acreditar que P = 0.022 e P = 0.00000022 nos dizem coisas diferentes (usando uma filosofia “continualista” ou de “força-de-evidência”). (Mais sobre isso em “6. E quanto ao P = 0.051?”)

img10.png

Há três razões para relatar o P-valor exato mesmo quando a nossa própria filosofia diz que ele é informativo:

  • P-valores podem ser usados em meta-análise (este post explica como, usando o método de Fisher para combinar P-valores).
  • Até mesmo um leitor linha-na-areia pode preferir uma linha na areia diferente da sua; ao fornecer o valor exato de P, acomodamos qualquer escolha possível de α.
  • Um leitor linha-na-areia sempre pode ignorar o valor exato de P, mas um leitor força-de-evidência não consegue magicamente reconstituir este valor se você o jogou fora.

5. “P = 0.037” ou “P = 0.022823511”?

Beleza, você deveria relatar o valor exato de P – mas quão exato? P = 0.022823511? Não – e isso é um caso especial do princípio mais geral de dígitos significativos.

img11.png

Você não iria relatar a massa de uma semente com 8 dígitos, então por que relatar o P-valor para a comparação de massa de sementes com 8 dígitos? Programas estatísticos frequentemente relatam todos esses dígitos, criando a tentação e copiar-e-colar, mas não faça isso. Eu explorei essa questão em detalhes em outro texto, discutindo as duas questões relevantes de “digitados significativos para os dados” e “dígitos significativos para quem lê”; mas em geral, 2 ou 3 dígitos (não casas decimais, dígitos) devem ser o suficiente para estatísticas de teste e P-valores.

6. E em relação a P = 0.051?

E finalmente, a questão que parece provocar reações mais fortes (e mais mal-informadas) do que praticamente qualquer outra coisa na estatística. Como relatar um teste estatístico que resultou em um P = 0.051?

img12.png

O mundo parece estar dividido entre dois tipos de pessoas: aquelas que estão comfortáveis descrevendo esse resultado como “quase significativo” (ou algo similar), e aquelas que reagem a tais frases com horror e uma certeza presunçosa da sua própria superioridade e virtude estatística. Mas a única forma de de ter esta certeza presunçosa é não estar ciente de grande parte da história e filosofia estatística. Eu escrevi em mais detalhes sobre isso em outro texto, então apenas um breve resumo aqui.

Aqui é onde as duas filosofias alternativas de P-valores entram em cena. Para um absolutista, P = 0.051 significa o mesmo que P = 0.851, e ambos devem ser declarados não-significativos. Mas para um continualista, P = 0.051 sugere evidência mais forte contra a hipótese nula do que P = 0.851; talvez até mesmo evidência suficiente para considerar ela algo interessante.

img13.png

A visão absolutista satisfaz bem o controle estatístico de processos (quando você está testando amostras de lotes de batata-frita em uma linha de produção, você tem que empacotar ou descartar cada lote; medidas quantitativas de força-de-evidência não têm utilidade. Ela também se alinha bem com Popper, falsiabilidade, e inferência forte, ao menos para quem não pensa com muito cuidado sobre estes assuntos.

img14.png

Mas não existe nenhuma razão pela qual a visão absolutista é uma forma melhor de pensar sobre inferência estatística em um único experimento – e pode-ser argumentar que é uma visão pouco adequada para esta função. Afinal, P = 0.049 e P = 0.051 não são resultados de fato diferentes de um experimento, seja do ponto de vista lógico (ambos mostral que os dados estão em discordância moderada com a hipótese nula) ou do ponto de vista estatístico (P-valores têm incerteza, e dificilmente serão suficientemente precisos para separarmos valores tão próximos um do outro). Este argumento foi apresentado em mais detalhes aqui; ele também está de acordo com o “Statement on the P Value” da Associação Estatística dos Estados Unidos.

Então: P = 0.051? Vai em frente e o descreva como “marginalmente significativo”, ou outras palavras que digam isso, e saiba que a sua prática tem fundamentos filosóficos impecáveis. Isso não vai impedir revisores de terem objeções, obviamente. (Sinta-se livre para citar este post na sua carta-resposta).

Ainda comigo? Acabamos! Bem, quase. Primeiro, um meta-pensamento rápido. Eu fiz três cursos de estatística na minha carreira, e revisei a ementa e currículo de mais alguns. Nenhum tinha um módulo explícito abordando como escrever sobre seus resultados estatísticos. Isso não é peculiar? O que mais instrutores de estatística pensam que seus estudantes farão com as análises que fazem?

© Stephen Heard 2 de outubro de 2018; traduzido por Pavel Dodonov, 11 de outubro de 2018.

O texto original é baseado em material do The Scientist’s Guide to Writing, o livro escrito por Stephen Heard sobre escrita científica.

*Opinião impopular: na verdade, a melhor coisa que possivelemente poderia acontecer a uma parcela de couve é ela ser devastada por um ataque de largartas. Por que é que seres humanos comem isso? É como pedaços de grama cobertos de Bitrex.

** Outras abordagens, tais como seleção de modelos ou técnicas Bayesianas ou estatísticas estritamente descritivas, terão outros consensos.

Anúncios

Porque a conservação precisa da educação ambiental

Este é um post convidado, escrito por Mayla Valenti, amiga de longa data da UFSCar, minha veterana, e a pessoa com quem mais aprendi sobre Educação Ambiental 🙂 Mayla, muito obrigado por escrever para o blog! Aproveitando, visitem a página da Fubá, que Mayla toca para a frente junto com outras pessoas, aqui 🙂

Olá! Aqui é a Mayla Valenti, sou bióloga e educadora ambiental e conheço o Pavel desde o primeiro dia em que ele entrou na faculdade. 🙂 Quando recebi o convite para escrever no blog fiquei pensando sobre qual seria o melhor tema.. E como sei que ele é lido por muitas pessoas da área da ecologia e conservação, achei que apresentar a importância da educação ambiental para a conservação seria uma boa contribuição. Espero que gostem e que possamos trocar ideias nos comentários! 🙂

A conservação da biodiversidade é um campo de pesquisa e ação interdisciplinar muito relacionado às áreas da biologia e da ecologia, mas que também envolve a área das humanas, como no planejamento estratégico e na educação ambiental.

Continuar lendo

Sobre ser cientista e mãe

Este é um post convidado, escrito por Eliana Cazetta, professora na UESC. Eliana foi minha supervisora de pós-doutorado e uma pessoa muito importante para a minha formação de cientista. Aqui ela escreve um pouco sobre como é ser cientista e mãe; ano passado teve um outro post bem legal sobre este assunto, recomendo que leiam também!

Recebi esse convite super especial do Pavel para falar sobre ser cientista e mãe. Inicialmente pensei em escrever algo para motivar as pesquisadoras e sobre como a maternidade me fez uma cientista melhor. Como aprendi a otimizar o tempo de trabalho o máximo possível e, sem tempo pra procrastinação, acabei de certa forma me tornando mais produtiva.

Porém, gostaria de aproveitar essa oportunidade para falar sobre alguns assuntos que apenas recentemente começaram ganhar destaque. Também queria enfatizar como mudei de opinião ao longo do tempo sobre eles.

Continuar lendo

Programação em R: loops for – parte 2

Continuando o tema da semana anterior (se você não leu, leia antes de ler este post de hoje), hoje mostrarei como usar loops para analisar diversas variáveis automaticamente.

Por que precisaríamos fazer isso? Bom, pode ser que o objetivo do seu estudo é descobrir quais variáveis ambientais afetam uma determinada plantinha espécie. Por exemplo, pode querer avaliar como esta plantinha ou bichinho espécie é afetada por temperatura média do local em que vive, estrutura da vegetação, quantidade de floresta remanescente, etc. Neste caso você vai fazer uma única análise.

Mas pode acontecer que você quer saber como diferentes plantinhas espécies ou outras coisas variáveis são afetadas pela mesma variável explanatória. Por exemplo, no meu mestrado, eu queria saber como altura da vegetação, temperatura do ar, quantidade de gramíneas invasoras e outras variáveis são afetadas pela distância até a borda do remanescente florestal (ou savânico – trabalhei no cerrado). A variável explanatória é sempre a mesma, mas as variáveis-resposta mudam. Poderia eu fazer uma PCA ou outra análise multivariada? Poderia. Mas o meu interesse era em cada variável individualmente, não no seu conjunto, de modo que eu precisava fazer várias análises.

Continuar lendo

Programação em R: loops for – parte 1

Digamos que você precisa repetir um procedimento no computador umas cinco vezes – talvez rodar a mesma análise sobre cinco conjuntos de dados. O que você faz?

Provavelmente repete o procedimento cinco vezes e faz fazer outra coisa da vida, né? 🙂

Mas digamos que você precisa repetir um procedimento vinte ou trinta vezes. E agora?

Talvez a tendência seja pensar “Que tédio! Mas vamos lá né.”, repetir o procedimento e depois, talvez já com um certo grau de irritação, ir fazer outra coisa da vida.

E se forem cem vezes? Dá pra passar um dia rodando análises de forma repetida, mas será este o melhor investimento do nosso tempo?

Neste post vou mostrar com usar loops (ou seja, procedimentos repetitivos) em R para automatizar uma tarefa. Especificamente, vou mostrar como usar a estrutura for para repetir um procedimento um determinado número de vezes. Darei dois exemplos: um gráfico de bolinhas que não serve pra nada a não ser demonstrar loops; e uma análise por permutações. Semana que vem darei mais dois exemplos: uma regressão com diversas variáveis-resposta no mesmo objeto; e uma análise de variáveis que estão em arquivos diferentes no computador.

Continuar lendo

Vida acadêmica: a minha história

Depois de uma série linda e sensacional de posts sobre vida fora ou meio-fora-meio-dentro da Academia – sério, se não leram esses posts ainda, leiam; são os últimos antes deste -, me pareceu uma boa ideia escrever sobre a vida dentro da academia. E como toda experiência é uma experiência pessoal, vou aqui contar a minha. Acho que a minha trajetória na Universidade pode ser considerada como uma trajetória de sucesso; e acho que ela é um pouco diferente daquilo que costumam indicar para uma trajetória de sucesso em alguns aspectos – mas também um tanto similar em tantos outros.

E bom, quem nunca quis escrever uma auto-biografia, né? 🙂

Resumindo: minha vida foi uma grande emenda, emendando ensino médio – graduação – mestrado – doutorado (com uma especialização no meio) – pós-doc – professor adjunto. Emendar pós-doc no doutorado não era o único plano – eu tinha pensado em ficar um tempo de boa, traduzindo artigos – mas aconteceu. E emendar pós-doc com vida de professor foi inesperado, mas foi, digamos, bem dahorinha, mesmo. 🙂 (Sim, eu uso o termo dahorinha no sentido de Uhuuuuuul que sensacional meu woooooow, rs)

(Aviso: texto longo à frente; não tive tempo de torná-lo mais curto e nem de revisar a ortografia.)

Continuar lendo

Doutorado e consultoria, ou Como matar um coelho com duas cajadadas

Este é um post convidado, escrito por Jessyca Luana Teixeira, e (até o momento) o último na série de textos sobre como é a vida fora da Academia. Jessyca é doutoranda em Ecologia e Conservação da Biodiversidade na UESC, trabalhando com biologia marinha, mas por um bom tempo trabalhou também com consultorias – inclusive na caatinga, bem longe do mar. Pedi para ela escrever um pouco sobre como foi conciliar as duas coisas e ela gentilmente concordou 🙂

Todos sabem que um doutorado não é tão simples obter, requer tempo, dedicação e dinheiro. Assim eu pensei que seria os meus principais obstáculos no doutorado. Fui aprovada, que legal!! Mas sem bolsa e com previsão incerta de ter. Veio aquele desespero, continuar ou desistir sem bolsa? Venho de uma família de muitos filhos e poucos recursos financeiros, não seria uma opção pedir ajuda financeira aos meus pais. Poderia trabalhar, claro!! Mas a julgar que o doutorado requer muito do aluno, considerei não dar conta. Mas como adoro desafios (e não tinha muita escolha) aceitei arriscar, pois não vivemos de fotossíntese (infelizmente) e precisamos pagar as contas.

No período de um ano sem bolsa, forneci consultoria ambiental para empresas diferentes. Após essa experiência tenho pontos a levantar sobre.

Continuar lendo