Machões estatísticos (tradução)

Estes são dois textos que considero clássicos, escritos por Brian McGill (do blog Dynamic Ecology), sobre o que ele chama de “machismo estatístico”. Essa na verdade não é a tradução perfeita – um melhor termo provavelmente seria algo como “machão-ismo estatístico”, ou “machões estatísticos” (como usei agora no título), porque não se trata de discriminação contra mulheres, mas sim de uma tendência de querermos ser muito machões e usar análises estatísticas complexas que mostrem que somos mais macho do que a concorrência. Com a permissão de Brian, traduzi os textos para a última flor do lácio – não é justo que esses clássicos da blog-literaturatura ecológica estejam indisponíveis para quem não fala inglês. :-)

Machismo estatístico?

Publicado por Brian McGill em 11 de setembro de 2012, no Dynamic Ecology.

Serão ecológos/as muito machões quando se trata de métodos estatísticos? Eu uso a palavra machões em um sentido puramente gênero-neutro – uso ele para significar “assumir uma postura para mostrar quão durão você é e se colocar no topo da hierarquia”.

Pela minha experiência, ecólogos/as têm uma longa lista de abordagens estatísticas que “precisam ser usadas” e que são mais complicados do que métodos mais simples sem necessariamente mudar o resultado. Essa para mim é uma atitude “machão” em relação à estatística – “o meu artigo é melhor porque eu uso estatísticas mais pesadas”. Isso tem uma dinâmica de Rainha-de-Copas – o que começa como um sinal de superioridade eventualmente se transforma em algo que revisores/as esperam de todos os papers. Mas frequentemente, se pensarmos um pouco, não há nenhuma razão para que esta análise seja necessária em um caso particular (o revisor que a pede está tão longe do desenvolvimento da abordagem que eles esqueceram para que ela é de fato usada). E mesmo que a abordagem mais complexa possa ser relevante, ela pode ser custosa de implementar mas frequentemente ter um impacto muito baixo sobre os resultados finais. Assim o que começa como machismo estatístico se transforma em tempo perdido pela exigência dos revisores. Aqui estão alguns dos meus exemplos favoritos:

  • Correções de Bonferroni – Devemos tomar cuidado com comparações múltiplas e a possibilidade de aumento do erro do tipo I. No entanto, isso acaba sendo violentamente exagerado. Em primeiro lugar, frequentemente é dito para usar o método de Bonferroni, o qual se sabe que erra para o outro lado, sendo excessivamente conservador. Em segundo lugar, ele é usado sem pensar de fato sobre por que ele pode ser necessário. Me lembro de um colega que tinha medido em torno de 35 caracteres florais em duas populações. Em torno de 30 caracteres se mostraram significativamente diferentes. Revisores falaram para fazer uma correção de Bonferroni. Para qualquer pessoa que entende questões biológicas e a estatística envolvida, uma correção de Bonferroni não faria qualquer diferença na resposta final (Beleza, apenas 26 dos 35 caracteres serão significativamente diferentes depois da correção, mas vamos então agora concluir que as populações não se diferenciaram?). Agora se apenas 2 ou 4 de 35 foram significativos com p<0.05, então alguma correção apropriada certamente é necessária (mas neste caso a conclusão provavelmente deve mudar independentemente do resultado da correção de Bonferroni). Mas se 30 de 35 foram significativas, ainda vamos perder tempo fazendo essas correções?
  • Correções filogenéticas – Toda vez que seus dados representam diferentes espécies (i.e. análise comparativa), espera-se que você use alguma versão de PIC (phylogenetically independent contrasts – contrastes filogeneticamente independentes) ou regressão GLS. Eu sei que existe um punhado de histórias clássicas que se revereteram quando PICs foram usados. Mas agora espera-se que pessoas criem uma filogenias antes que elas consigam publicar qualquer análsie comparativa. Mesmo não havendo filogenias de qualidade para muitos grupos. E sendo que os métodos assumem que as filogenias não têm erros, sendo que elas têm. E mesmo quando o p-valores são <0.0000001 e provavelmente não vão mudar sob padrões evolutivos realistas. Uma vez me falaram que eu tinha que usar regressão fiologenética quando a minha variável dependentes era a abundância de uma espécie. Agora, de todos os traços que não são fiologeneticamente conservados, abundância está no topo da lista (existem dados publicados dando suporte a isso), garantindo que não poderia haver um sinal filogenético nessa regressão. Quando eu argumentei isso, meu protagonista eventualmente recaiu sobre “bem, é assim que se faz ciência de qualidade” para justificar por que eu ainda deveria fazê-lo – não havia ligação com questões reais.
  • Regressão espacial – Cada vez mais revisores/as estão exigindo alguma forma de regressão espacial se os seus dados (especificamente os seus resíduos) têm estrutura espacial. É verdade que tratar os seus pontos como se eles fossem independentes quando eles na verdade são espacialmente autocorrelacionados pode levar a erros do tipo I. Mas isso geralmente não muda o seu p-valor em ordens de magnitude em situações de vida real, e muitas regresões espaciais têm centenas de pontos e p-valores com 5 ou 6 zeros. Essas regressões ainda serão significativas depois de aplicar um GLS espacial. E, aqui está o ponto importante – ignorar a autocorrelação espacial não adiciona viés às suas estimativas de inclinação em condições normais (no máximo as torna menos eficientes) – de modo que ignorar a autocorrelação não vai adicionar erros ao estudo dos parâmetros da regressão. É possível usar métodos mais simples para ajustar os graus de liberdade, e portanto o p-valor, sem fazer regressão espacial. Incidentalmente, eu acho que o mais interessante a se fazer com autocorrelação espacial é enfatizá-la e estudá-la como sendo informativa, e não usar métodos estatísticas que a “corrigem” e lhe permitem ignorá-la – eu também diria o mesmo sobre correlação filogenética. Note que esses argumentos também se aplicam a séries temporais.
  • Erros de detecção – Estou cada vez mais encontrando isso com o uso do Breeding Bird Survey. Toda vez que você estima a abundância de organismos que se movimentam, você às vezes vai deixar de detectar alguns. Isso é uma fonte de erro de medida para estimativas de abundância, e é conhecida como erro de detecção. Existem técnicas para estimar o erro de detecção, mas – e aqui que está o problema – elas efetivamente exigem medidas repetidas de essencialmente o mesmo ponto de dados (i.e. mesmo tempo, localização e observador) ou amostragem baseada em distâncias onde a distância até cada organismo é registrada, ou muitas covariáveis. Isso claramente reduz o número de sítios, espécies, períodos e outros fatores de interesse que conseguimos amostrar, e é portanto muito custoso. E mesmo que você esteja disposta/o a pagar o preço, não é algo que pode ser feito retroativamente em um conjunto de dados histórico como o Breeding Bird Survey. O cáculo dos erros de detecção também exige premissas não-realistas, tais como de que a população é fechada (mais ou menos como assumir que uma filogenia não tem erros). Agora, se queremos fazer afirmações fortes sobre como a abundância caiu de abundância baixa para zero, erros de detecção são um problema real (veja o debate se o pica-pau-bico-de-marfim está extinto). Erro de detecção também pode ser crítico se queremos afirmar que a espécie críptica X é mais rara do que a espécie barulhenta e de cores brilhantes Y, já que as diferenças nas probabilidades de detecção enviesam o resultado. E erro de detecção sem dúvida enviesa resultados de ocupação de sítios para baixo (podemos apenas deixar de detectar indivíduos com erro de detecção), mas isso assumindo que o erro de detecção é a única ou a mais importante fonte de erro de medida (e.g. contar erroneamente o mesmo indivíduo duas vezes poderia acidentalmente cancelar o erro de detecção). Mas se estamos olhando para questões macroecológicas abrangentes, primariamente comparando a variação em uma espécie ao longo do tempo ou do espaço, é difícil imaginar um cenário em que o erro de detecção é mais do que simplesmente muito ruído.
  • Métodos Bayesianos – isso é algo misto (Jeremy já discutiu a sua visão sobre abordagens Bayesianas aqui e aqui). Houveram inovações reais em métodos computacionais que foram permitidas por abordagens Bayesianas (e.g. modelos hierárquicos de processo sensu Clark et al.). Mas, mesmo nestes casos, em muitos casos a inovação real é o uso de Markov Chain Monte Carlo (MCMC) para resolver verossimilhanças complexas – não métodos Bayesianos. (Fugindo um pouco do assunto, na minha opinião, para algo ser realmente Bayesiano sensu stricto é preciso que tenhamos a-prioris informativos, que ecólogos raramente têm, mas eu conheço outas pessoas que gostam das diferenças filosóficas entre intervalos de credibilidade e intervalos de confiança, etc). Mesmo com estes benefícios, eu já revisei artigos em que uma abordagem Bayesiana foi usada para fazer o que era basicamente um teste-t de duas amostras ou uma regressão multivariada ou até mesmo ou modelo linear hierárquico misto (tá, o último é complicado mas, para a maior parte das pessoas, menos complicado do que o equivalente Bayesiano). Aparentemente eu devia me impressionar em o quanto o artigo era melhor porque ele era Bayesiano. Nada disso. A melhor estatística é aquela que é entendida pelo maior número de pessoas e boa o suficiente para o problema em questão.

Todas essas técnicas compartilham as seguintes características:

  1. Elas frequentemente são mais complexas de serem aplicadas do que a alternativa mais simples e bem conhecida
  2. Elas são entendidas por um círculo muito menor de leitores/as – na minha visão, intencionalmente reduzindo a sua audiência é um pecado capital na conmunição científica se feito sem necessidade (mas eu secretamente suspeito que essa é a principal razão para muitas pessoas fazerem isso – o quanto menos pessoas te entendem, de mais coisas você consegue se safar…)
  3. Eles frequentemente exigem dados adicionais que são impossíveis ou caros de se obter (filogenias, medidas repetidas para detecção). Às vezes os dados (e.g. filogenias) ou as premissas (populações fechadas em análise de detecção) estão eles mesmos cheios de erros, mas aparentemente podemos ignorar isso. Eles também podem exigir novos softwares e grande poder computacional (e.g. Bayesiano).
  4. Eles reduzem poder em um sentido estatístico, tornando o p-valor mais fraco, assim significando que, em média, precisaremos coletar um pouco mais de dados e simultaneamente homenageando p-valores ao invés de coisas importantes como a proporção de variância explicada e o tamanho de efeito, e também erroneamente dando prioridade ao erros do tipo I ao invés de erros do tipo II.
  5. No geral, em grande quandidade de artigos, eles não têm mudado fundalmentalmente o nosso entendimento de qualquer área de ecologia que eu me lembre (ou mudado a interpretação de maior parte dos resultados em artigos individuais).

Resumindo, o nosso machismo estatístico coletivo nos fez exigir métodos estatísticos que são um fardo para a nossa área de ecologia, permitindo que eles se tornem (ou rapidamente estejam se tornando) firmemente estabelecidos como algo que você “precisa fazer” para publicar e para ser visto como ciência de alta qualidade. Eu não tenho objeções para a existência dessas ferramentas para quando realmente precisamos delas ou questões válidas surgem. Mas poderíamos por favor parar de insistir, reflexivamente e sem pensar, que cada artigo que poderia talvez usar estes métodos os use? Especialmente, mas não apenas, quando podemos dizer antecipadamente que estes métodos não terão efeito. A sua implementação tem custos reais (e às vezes intransponíveis).

Para tornar isso construtivo, éis as minhas sugestões:

  1. Para as questões relacionadas ao erro do tipo I (Bonferroni, regressão espacial, temporal e filogenética), eu diria: a) para de desperdiçar o nosso tempo quando p-0.00001 – ele não vai se tornar não-significativo* (ou no mínimo quem tem que provar isso é o revisor, argumentando alguma patologia altamente não-usual nos seus dados que torne o a correção ser mais importante do que o usual o que viés de estimativa está sendo introduzido). Se p está mais perto** de 0.05, então, bem, tenha uma conversa racional se teste de hipótese com p<0.05 realmente é o foco principal do artigo e quão difícil vai ser obter os dados para fazer o teste adicional VS a importante da ciência, e esteja aberto a argumentos de por que o teste não é necessário (e.g. sabendo que não há sinal filogenético na variável sendo estudada).
  2. Para erros de detecção, use o senso comum se erros de detecção devem mudar o resultado ou não. Em alguns casos deverão mudar, em outros não. Não acabe com a ciência feita usando conjuntos de dados que não permitem a estimativa de erros de detecção.
  3. Para abordagens de Bayesianas – de simples respeito à sua audiência, não use métodos Bayesianos quando uma abordagem mais simples funciona. E se você vai usar uma abordagem complexa que exige cálculos Bayesianos, seja claro se você está usando isso apenas como um método de cálculo das verossimilhanças ou se você realmente está usando a-prioris informativas e toda a filosofia Bayesiana. E o fardo ainda é justificar que você respondeu uma questão ecologicamente interessante – incluir um método Bayesiano não te permite ignorar esta questão.

Para os leitores/as que tiverem objeções a isso como uma forma de devolver um senso comum à estatística na ecologia, lhes desafio a demonstrar que essas técnicas fundamentalmente melhoraram o nosso entendimento ecológico. Eu sei que isso é uma afirmação provocativa, então não se contenham. Mas por favor não: 1) Me digam que temos que fazer o teste “porque sim” ou porque “estatísticos concordam” (eles não concordam – a maior partes dos estatísticos/as entendem as forças e fraquezas dessas abordagens bem melhor do que ecólogos/as) ou que viola as premissas (a maior parte das estatísticas relatadas viola alguma premissa – a questão é se elas violam as premissas de uma maneira importante); 2) não assuma que sou um idiota estatístico e que não entendo as implicações do erro do tipo I, etc; e 3) Por favor se dirija às minhas questões-chave sobre o custo real de implementar essas técnicas e como elas melhoram o estado do conhecimento ecológico (não satifação de premissas estatísticas) o suficiente para justificar o custo. Caso contrário, direi que és culpado de machismo estatístico!

(Nota de Pavel: Os comentários postados sobre o texto original são bem interessantes, recomendo a leitura)

*(Nota de Pavel: se você usa um GLM com distribuição de Poisson, e obtem um p-valor extremamente baixo, isso pode sim ser causado por violação de premissa, e uma correção para superdispersão pode transformar um p<0.00000001 em um p=0.001 ou até mesmo p=0.03 ou maior – veja aqui)

**(Eu proporia um corte de uma ordem de grandeza – apenas se preocupar com correções para erro do tipo I se p>0.005, e eu acho que isso é conservador baseado em o quanto eu vi essas correções mudarem p-valores)

Tirando o machismo estatístico da belicosidade do Twitter

Publicado por Brian McGill no Dynamic Ecology em 14 de novembro de 2017

O post de semana passada sobre quão difícil as estatísticas são de ler e entender me fez perceber que o termo “machismo estatístico” cresceu e se transformou bastante do que eu tinha em mente originalmente. Um comentador do blog notou que agora ele tem a frase “machismo estatístico” endereçada a ele quando ele trabalha desenvolvendo novos métodos estatísticos. E um comentador no twitter implicou que machismo estatístico se tornou sinônimo de “tirar sarro de estatísticas complexas”. Ambos estes usos me horrificam. O que me levou a uma nova palavra: twitterizar – verbo – se tornar extremamente simplista, branco-no-preto, como na frase “machismo estatístico se tornou twitterizado muito além do seu significado original”. (Obs: aparentamente a palavra twitterized já é usada em outro sentido mas é claro que prefiro o meu).

Então, estou ciente de que, assim como na ciência, onde você não tem pleno controle sobre como um artigo é percebido depois que ele é liberado, eu não tenho controle sobre como o termo “machismo estatístico” é usado. Mas ao menos tenho que tentar…

Se você ler meu post original você verá que machismo estatístico não é um julgamento absoluto de qualquer técnica estatística em particular. E, seriamente, se você duvida disso, vai lá e leia os primeiro parágrafos do meu post original. Qualquer técnica pode ser usada com machismo estatístico, até mesmo ANOVA. E mesmo que eu tenha nomeado alguma técnicas-candidato, eu explicitamente falei que todas as técnicas mencionadas têm usos muito válidos (muitos dos quais eu mesmo tenho aplicado). Eu nomeei algumas técnicas para início de conversa e porque, na minha percepção, essas são as técnicas que são mais provável de serem usadas de um jeito machão, mas toda técnica que eu tenha mencionado no contexto de machismo estatístico é uma técnica perfeitamente boa. Não existe qualquer técnica que seja machismo estatístico por si. Elas simplesmente às vezes são usadas de formas ruins.

Eu mesmo provavelmente sou culpado de não tomar cuidado com essa distinção entre a técnica e a atitude machão em alguns dos meus últimos posts sobre o tópico. Especialmente nos títulos, embora no geral eu era bem cuidadoso (mas com certeza não perfeito) no texto. Por exemplo, no primeiro parágrafo do meu post sobre probabilidade de detecção, eu claramente afirmei que “Em nenhum momento eu falei que essas técnicas eram ruins ou nunca deveriam ser usadas. Mas eu falei que em muitos casos chegamos a um ponto em que essas técnicas se tornaram um sine qua non da publicação – revisores não deixariam artigos passar se essas técnicas não fossem aplicadas, mesmo que a sua aplicação fosse muito custosa e improvável de mudar os resultados.”

A questão fundamental é essa. Machismo estatístico não é um conjunto de técnicas estatísticas complexas. Machismo estatístico é uma atitude. Muitos usuários de estatísticas avançadas não têm essa atitude. E muitos usuários de alguns métodos estatísticos bem básicos a têm.

Os dois componentes-chave de uma atitude de machismo estatístico são:

1) O meu jeito é o único jeito certo – estatística se trata de tons de cinza e julgamento. Você já usou um teste que assume normalidade mesmo que os dados não tenham caído perfeitamente sobre uma linha num Q-Q plot? A maior parte das pessoas já. Isso é porque estatísticas são bagunçadas. Dados ecológicos são bagunçados. É raro ter conformidade completa com todas as premissas. E na maior parte dos casos (como no exemplo da normalidade) há simulações mostrando que isso não importa muito contanto que os dados não sejam assimétricos demais. Machismo estatístico é um revisor que sugere um método em particular, e quando o autor fornece uma explicação cuidadosa de por que não fizeram desse jeito, o revisor volta com linguagem impositiva de que “tem que ser feito desse jeito” sem reconhecer que essa é uma discussão legítima a se ter. Machismo estatístico é não reconhecer que muitos métodos têm custos significativos em termos de trabalho extra (e.g. gerar uma filogenia, realizar análises computacionais que tomam semanas) ou limitam o escopo de questões que podem ser respondidas porque esses problemas só podem ser endereçados em algumas escalas. A questão fundamental é que machismo estatístico é não reconhecer que é uma questão de julgamento e portanto há múltiplas respostas válidas.

2) Má-intenção ou motivo – machismo estatístico frequentemente é provocado por algum motivo que não é fazer um bom trabalho na análise dos dados. Motivos para machismo estatístico incluem:

  1. Um autor tentando impressionar pessoas e as distrair da ecologia. Se um método estatístico aparece no título do artigo e não é um artigo de métodos, isso é um mal sinal.
  2. Um revisor tentando manter os portões fechados – usando métodos estatísticos como uma forma de dizer “não” a outras pessoas e se sentir bem em fazer parte do “grupo de dentro”.
  3. Ser incapaz de conversar sobre quando uma técnica deveria ou não deveria ser usada. Se você acha que uma técnica deveria SEMPRE ser usada, isso é machismo estatístico.

Uma questão relacionada que eu também trouxe no meu post original é se esses métodos vão mudar as conclusões ecológicas. Existem muitos casos em que técnicas mais complexas de fato mudam a conclusão de uma maneira importante e tornam a conclusão mais correta. Mas há também muitos casos em que isso não acontece. O número de artigos de macroecologia que eu tenho visto que usam uma regrssão com e sem regressão filogenética e obtêm exatamente as mesmas respostas deve estar nas centenas. Agora, de fato às vezes é difícil de saber o resultado antes de tentar, e se a tentativa não tem custo, vai em frente. Mas outras vezes a tentativa tem um custo em tempo e pode se saber antecipadamente que ela provavelmente não vai ter um efeito, e simplesmente não vale a pena tentar. Se você não está aberto/a para este último argumento (para qualquer método estatístico), você está cometendo machismo estatístico.

A última questão que irei levantar brevemente, que guardarei para um post completo de outro dia, é que quanto mais complexas as estatísticas, mas complexas são as premissas que devem ser verificadas e validadas. E eu me preocupo que estamos nos movendo de um mundo em que a maior parte das pessoas sabe como avaliar as premissas para um em que as pessoas não têm nem ideia de que elas deveriam estar avaliando premissas mais novas e complicadas, muito menos sabem como fazê-lo.

O ponto fundamental é que, se você está aberto/a para uma conversa sobre as vantagens e desvantagens de múltipltas técnicas, você provavelmente não está cometendo machismo estatístico. Se você, como autor, valoriza mais a técnica que usa do que a biologia que ela lhe mostra, ou, como revisor, você está absolutamente convencido/a de que não há qualquer outra forma aceitável de fazer algo apesar de mitos argumentos racionais dados pelos autores, você está cometendo machismo estatístico. Se você está tão apegado/a a um método que você acha que não há qualquer razão válida para não usá-lo, você está cometendo machismo estatístico. Na minha experiência, a maior parte de especialistas em estatística não são as pessoas cometendo machismo estatístico. Tais especialistas têm aguda percepção de que nenhuma técnica é perfeita e toda técnica tem limitações e trade-offs. São as pessoas que sofreram para aprender uma técnica e frequentemente não conhecem as premissas ou limitações da técnica que são mais prováveis de cometer machismo estatístico. Ou, em outras palavras, se você tem 100% de certeza de que você está certo/a na estatística, você provavelmente está errado/a. E você provavelmente está praticando machismo estatístico.

Então, vamos destwitterizar “machismo estatístico”. Vamos manter esse termo como uma descrição de uma atitude não-construtiva, inflexiva, de superioridade e que mantem portões fechados. E não como uma crítica da sofisticação estatística em si.

O que você acha? Terá machismo estatístico mudado de significado desde o post original? Terá se tornado twitterizado? Ainda tem utilidade? Pode ser produtivamente usado como uma descrição de uma atitude, e não de uma técnica estatística? Ou acha que estou cheio de si e tentando ter os dois significados?

3 pensamentos sobre “Machões estatísticos (tradução)

  1. Pingback: Vaidade científica – Mais Um Blog de Ecologia e Estatística

  2. Ótima tradução Pavito. Vejo muitas pessoas “going with the flow” utilizando análises mais complexas sem questionar, simplesmente por receio que os revisores achem a análise muito simples, ou receio de que eles usem os argumentos listados pelo Brian sem lembrar das conta partidas. Isso vale também para o “pré-requisito” dos modelos mistos.
    Acho que em ciência temos que trabalhar muito para conseguir a simplicidade e ficar em paz com nós mesmos e com os pares :) O trabalho pulicado não acaba ali, e pode ser reavaliado, rediscutido. Se houve atitude “macho” ou não, o que muda na conclusão?
    O próprio pesquisador é um ser mutante, e isso se reflete nas análises, uma hora eu sou a “macho” do meu próprio trabalho, outra hora é o revisor rs! Fora que é tentador fazer análises diferentonas, just because we can, tipo Bayesiana e Learning Machine. Ficar no feijão com arroz (num mundo de tecnologia, inovação e cobrança por essas coisas) é difícil.

    Curtir

    • Obrigado, Renadica! :-)
      Então, acho que (e acho que Brian concorda, rs) que você querer fazer análises complexas porque é divertido, ou porque você pode, ou porque você quer aprender, ou porque você acha que é importante não é um problema! Eu gosto de testes por permutações. Estou com um artigo em revisão que foram 2000 linhas de código! Porque wavelets e modelos de cadeia de Markov.
      O problema é quando somos machões em achar que nosso trabalho é melhor que o da amiguinha simplesmente porque usamos estatística mais pesada, ou, pior ainda, que outra pessoa precisa fazer análises pesadas porque “é assim que se faz estatística”. É uma atitude de superioridade, não uma atitude de querer fazer coisas complexas porque é dahora :-)
      E ah, os modelos mistos… rs É uma faca de três legumes… Permitem fazer coisas que outrora não poderíamos; mas nos iludem e fazem pensar que não precisamos de independência, é só rodar um modelo misto!; e fazem com que essa análise complexa, que envolve coisas como REML e PQL que eu ao menos não entendo, vire algo basal…

      Curtir

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s