Interpretando resultados estatísticos

Digamos que você realizou um estudo sobre, hum, a relação entre dragões e unicórnios. Especificamente, digamos que você queria saber se unicórnios evitam áreas habitadas por dragões ou, de forma mais geral, como é a relação entre a abundância de dragões e a abundância de unicórnios em uma dada área.

Você pode ter feito esse estudo de diferentes maneiras, partindo de diferentes abordagens ou filosofias de pesquisa.

Por exemplo, você pode ter feito um estudo descritivo – e sim, estudos descritivos são plenamente válidos e sim, eles podem ser publicados. Reparem que estudos descritivos também precisam partir de uma pergunta interessante: “Vou fazer uma lista de espécies [de dragões e unicórnios] desta área porque ela é perto da minha casa” não tem uma pergunta interessante, mas “Vou fazer uma lista de espécies desta área porque ela me parece ser uma mistura idiossincrática de cerrado, caatinga e restinga e deve ter uma fauna única de unicórnios e dragões” talvez tenha.

Ou você pode ter feito um estudo de correlação, por exemplo para avaliar se a correlação entre abundância de dragões e unicórnios é positiva, negativa ou neutra. Tal informação de base pode ser útil para estudos futuros.

Ou podemos ter uma hipótese interessante, do tipo “Dragões têm um comportamento e exalam um odor que afasta unicórnios” ou “Unicórnios evitam áreas habitadas por dragões, os quais se alimentam de unicórnios (assim como de outros seres)”. Reparem que um conhecimento prévio de fisiologia e história natural é necessário para formular tais hipóteses. Com base nisso, podemos testar se à medida que a abundância de dragões aumenta a abundância de unicórnios diminui. É claro que faltaria um teste do mecanismo – qual é a causa da diminuição de unicórnios? É o odor draconiano, é um outro mecanismo de evitação, ou é porque unicórnios são mais predados onde tem mais dragões? A hipótese sendo corroborada, outros estudos podem ser feitos para testar o mecanismo.

Mas podemos também ter mais de uma hipótese. Podemos inclusive ter uma série de hipóteses alternativas. A primeira hipótese pode ser que a abundância de unicórnios diminui à medida que a de dragões aumenta, pelos mecanismos citados acima; uma hipótese alternativa é de que a abundância de unicórnios aumenta junto com a de dragões, porque áreas com mais dragões são menos frequentadas por seres humanos que caçam unicórnios (sobre como capturar um unicórnio, consulte White 1958 e Sapkowsky 1993). Se a relação for negativa, ela pode ser linear ou não-linear – talvez em números baixos os dragões não afetem os unicórnios; em números intermediários o efeito é mais intenso; e quando há muitos dragões os poucos unicórnios que restam sabem se esconder dos seus predadores, de modo que novamente não há uma relação. Ou talvez seja uma relação em forma de parábola: inicialmente, à medida que a abundância de dragões aumenta, a de unicórnios também aumenta, pela redução no número de pessoas na área. Mas quando a abundância de dragões for muito alta o efeito passa a ser negativo, por predação. E é claro sempre tem a hipótese nula, de que as abundâncias de dragões e unicórnios não são relacionadas.

Se temos diversas hipóteses sendo comparadas, é legal representar elas graficamente:

interpretandoResultados1

Exemplo de uma representação gráfica de modelos ou hipóteses alternativas. O modelo 0 (cinza) é a hipótese nula, de que não existe relaçao entre as abundâncias de unicórnios e de dragões. O modelo 1 (preto) mostra uma relação linear negativa entre as duas espécies, e o modelo 2 (azul) mostra uma relação linear positiva. O modelo 3 (roxo) mostra uma relação não-linear negativa e o modelo 4 (vermelho) mostra uma relação quadrática. É importante que, se formos usar uma abordagem como essa e comparar diferentes modelos, tenhamos explicações ecológicas que façam sentido para cada um dos modelos sendo testados.

Neste último cenário, podemos inclusive avaliar mais de uma variável explanatória e usar uma abordagem de equações estruturais (structural equation modeling; também conhecida como análise de caminhos, ou path analysis) para avaliar melhor o mecanismo.

 

E finalmente podemos querer estimar qual exatamente é a relação entre dragões e unicórnios, numericamente. Ou seja, se já sabemos que a relação é negativa, é importante termos uma estimativa mais precisa do valor desta relação, por exemplo para determinar o número máximo de dragões que podemos manter em uma área protegida unicorniana.

Reparem que isso diz respeito mais à sua pergunta de pesquisa do que à sua análise. Assim, o ideal é que você tenha bem claro na sua mente qual vai ser a abordagem antes mesmo de começar a coletar os dados. Você pode definir detalhes da análise estatística depois, ou recrutar alguém para fazer isso, mas o tipo de abordagem precisa estar bem claro.

E aí, qual é a abordagem da sua pesquisa atual?

Interpretando seus resultados

Mesmo se a análise estatística for delegada a outra pessoa, é importante que você saiba interpretar os seus resultados. Talvez você não consiga avaliar se a análise foi perfeitamente válida – temos utilizado análises bem complexas em ecologia, com diferentes análises sendo utilizadas para responder problemas similares, e sim, isso pode ser um problema. E se o seu estudo exigir uma análise complexa, não há nenhum problema em ter outra pessoa fazendo esta análise para você, assim como não há nenhum problema em ter outra pessoa identificando espécies para você. O que você precisa necessariamente saber fazer é interpretar os resultados da análise feita.

Pacotes estatísticos fornecem uma quantidade bem grande de valores quando realizamos alguma análise. Todos estes valores são importantes? Sim, são; mas grande parte deles serve para avaliar se a análise de fato é válida. Coisas como superdispersão, por exemplo, podem invalidar sua análise. Então o primeiro passo é avaliar se a análise utilizada realmente é apropriada para a sua pergunta e para os seus dados; isso requer um conhecimento relativamente detalhado do método utilizado, mas, se a análise foi delegada para outra pessoa, você talvez possa assumir que a pessoa sabe o que está fazendo e que a análise é válida, e partir para a interpretação dos valores que de fato lhe interessam.

Mas para quais valores olhar?

Bom, eu diria que temos três aspectos essenciais, independentemente da sua abordagem:

  • Tamanho de efeito. À medida que a abundância de dragões aumenta, o que acontece com a de unicórnios? Em uma regressão linear, isso é indicado pela inclinação da reta. Se realizamos um lm ou glm em R, este é o valor na coluna Estimate que aparece no summary, que nada mais é do que o valor do coeficiente (beta) associado a cada variável explanatória. Valores positivos indicam uma relação positiva, valores negativos indicam uma relação negativa*. E é claro que estes valores devem ser olhado em perspectiva – um estimate de 0.6 pode ser um efeito fraco se a abundância de dragões varia de 0 a 10 e de unicórnios gira em torno de 600, mas pode ser um efeito forte se a abundância de dragões varia de 0 a 100 e a de unicórnios gira em torno de 60 (figura abaixo). (Tamanho de efeito é um pouco mais complexo do que isso, mas a ideia geral é essa)

interpretandoResultados2

  • Alguma medida de incerteza, ou da qualidade do seu modelo, ou de quanto uma variável explica a outra. Este é o famoso R², ou R-quadrado (não confundir com R2-D2). Às vezes usamos os chamados pseudo-R², que representam mais ou menos a mesma coisa mas são calculados de forma diferente. Não vou entrar em detalhes aqui e agora. No exemplo acima, à esquerda temos um R² de 0.02 – ou seja, a abundância de dragões explica apenas 2% da variação na abundância de unicórnios. À direta, o R² de 0.99 indica que 99% da variação na abubndância de unicórnios é explicada pela variação na abundância de dragões. Quão alto deve ser um valor de R² para ser considerado “bom”? Isso depende; existem algumas diretrize, do tipo “entre tanto e tanto é uma correlação forte, entre tanto e tanto é uma correlação intermediária” etc. Eu não gosto dessas diretrizes, pois cada caso é um caso. Dependendo do estudo, podemos ficar felizes :-) com um R² de 0.20 ou tristes :-( com um de 0.80.
  • Se estamos testando hipóteses, alguma medida que indique se sua hipótese foi corroborada ou não. Em alguns casos os resultados não são conclusivos, e não temos como claramente rejeitar ou deixar de rejeitar uma hipótese ou outra; outras vezes os resultados são mais claros. As duas medidas mais comuns para isso são os p-valores e os delta-AIC. O p-valor indica a probabilidade de que, se a hipótese nula fosse verdadeira, você obteria resultados similares aos observados, ou mais extremos. Se as abundâncias de dragões e unicórnios forem independentes, qual a probabilidade de observamos um resultado como o da esquerda na figura acima? O p-valor de 0.12, associado ao estimate, nos diz que é essa probabilidade é em torno de 12%. No gráfico da direita, temos um p-valor menor que 2e-16, ou seja, menor que 2 vezes 10 elevado a -16, ou seja, menor que 0.0000000000000002, ou seja, menor de 0.00000000000002%, ou seja, um valor bemmmmm baixo. Neste caso, rejeitamos a hipótese nula. (Se você quiser usar um critério, pode definir que irá rejeitar a hipótese nula se p<0.05, ou talvez se p<0.01. Eu não recomendo usar critérios arbitrários como estes, e olhar o p-valor como ele é, de forma contínua. Mais sobre isso em algum momento no futuro!) No caso do delta-AIC, ele mostra o quanto suporte nossos dados fornecem para um modelo em relação a outro; mais sobre isso tambbém em algum momento no futuro!

Então, resumindo, eu diria que é importante olhar para esses três valores: uma medida do tamanho de efeito; uma medida de o quanto o seu modelo explica os seus dados; e uma medida relacionada ao teste da sua hipótese. Na figura abaixo mostro onde encontrar estes valores no summary de um modelo linear em R.

interpretandoResultados3

O que olhar no summary de um modelo linear em R

Mas e os outros valores? Eles são importantes, sim, mas eu diria que, se for confirmado que a análise foi feita corretamente, essas três medidas, aliadas à figura linda que você fará para mostrar seus resultados, lhe darão a resposta à sua pergunta.

Referências

* Em GLM, essa relação diz respeito a valores transformados. Em alguns casos a transformação usada inverte a relação – por exemplo, GLM com distribuição Gamma usa uma transformação inversa, analisando o efeito de dragões sobre (1/unicórnios).

9 pensamentos sobre “Interpretando resultados estatísticos

  1. Excelente post, Pavel! Olha, a interpretação de dados talvez seja a habilidade mais importante ensinada a jovens cientistas em cursos de pós-graduação acadêmicos. E talvez seja a habilidade mais importante, em termos da contribuição que cientistas podem dar a debates públicos.

    Curtir

    • Obrigado, Mestre! :-)
      Eu acho que o ideal seria ensinar isso em cursos de graduação… Mas acaba sendo difícil, pois é pouco o tempo dedicado exclusivamente à estatística e a tentação de resumir a interpretação a “p<0.05" em outras disciplinas é grande.
      Algo que tento passar nas minhas aulas de estatística é como nem sempre a interpretação óbvia é a interpretação correta… De que o p-valor não significa o que muita gente acha que significa, etc. Mas que é complicado, é!

      Curtir

      • A solução pode estar em ensinar essa habilidade aos poucos, do fundamental ao doutorado, aprofundando as ferramentas e complexidade em cada etapa. Para se defender de fake news ou escolher um shampoo, dentre várias outras utilidades, as pessoas deveriam aprender a interpretar dados desde a escola.

        Curtir

  2. Pingback: Fazendo pesquisa em quarentena – Mais Um Blog de Ecologia e Estatística

Deixe um comentário