Como é fazer um trabalho de revisão

Esse post foi escrito em colaboração com Juliana Monteiro de Almeida Rocha, Aluane Ferreira e Elaine Rios, doutoras e doutoranda pela UESC. Muito obrigado pela colaboração!

Terminei o último post com as palavras “Sempre dá pra fazer um artigo de revisão”, né? Foi um clássico exemplo de algo que é fácil de falar mas bem trabalhoso e difícil de fazer! Não seria interessante um post sobre como fazer tal coisa?

Infelizmente o autor deste blog nunca escreveu um artigo de revisão. Por outro lado, o autor desde blog está escrevendo um (bem devagar e não muito sempre, mas está), e tem alguma experiência colaborando, coorientando e orientando trabalhos de revisão (um dos quais já publicado! #orgulhodeminhacoori). Mas colaborar, coorientar é diferente de orientar. Então convidei três amigas para compartilharem suas experiências em trabalhos de revisão! Juliana Monteiro de Almeida Rocha, que fez um trabalho bem interessante de metaanálise e que inclusive ministrou aula e disciplina sobre o tema; Aluane Ferreira, que fez um trabalho também bem interessante de revisão sem ser metaanálise (e que também escreveu esse post aqui pro anotherecoblog!); e Elaine Rios, que está finalizando um trabalho (novamente bem interessante!) de revisão usando dados secundários (e no qual eu coincidentemente estou colaborando). Elas fizeram ou fazem doutorado no PPGECB-UESC, onde fazer um trabalho de revisão é obrigatório no doutorado. Eu pessoalmente acho essa prática muito interessante, porque ao fazer uma revisão é possível ter um aprendizado muito bom sobre um assunto; e também porque mostra que você não precisa ser a maior especialista na área para fazer e publicar uma revisão!

Trabalhos de revisão podem ser de diferentes tipos. Pode ser uma revisão mais conceitual, na qual sintetizamos conhecimento sobre um assunto e podemos propôr um modelo conceitual ou mecanístico sobre ele. Pode ser um estudo cienciométrico, no qual quantificamos o que cientistas estão fazendo sobre um assunto: quantos artigos, publicados por pessoas de que países e universidades, como isso está variando com o tempo, quais são os temas explorados e as eventuais lacunas neles. Pode ser uma metaanálise, na qual se coletam dados de vários trabalhos (publicados ou não) e os resultados destes trabalhos são reanalizados com técnicas estatísticas especiais, visando determinar se, em média, os trabalhos indicam se existe um efeito positivo ou negativo ou se não há efeito; talvez a medicina seja a área onde as metaanálises mais dominam, mas elas têm um papel importante em outras áreas também, inclusive na ecologia. Pode ser uma revisão quantitativa que não seja uma metaanálise, usando outras técnicas para quantificar os resultados e testar sua significância. Pode ser um trabalho com dados secundários, em que os dados coletados em uma série de estudos são reanalizados para responder uma pergunta diferente da original ou para padronizar as análises entre os artigos – os datapapers e as bases de dados online são uma boa fonte de dados para tais trabalhos. E pode haver algum outro tipo de revisão que não mencionei aqui.

E depois dessa introduçãozinha vou parar de falar um pouco e passar a palavra para quem entende mais do assunto. :-)

Juliana, apresentando o tema:

Nós pesquisadores estamos de forma geral interessados em fazer uma contribuição relevante para a Ciência (ou assim espero rs). Por isso, começar um novo projeto de pesquisa está longe de ser uma tarefa fácil. Uma contribuição relevante para a Ciência seria aquela feita através de uma pesquisa que traz novas perguntas, ou que responde a questões conhecidas sobre as quais ainda não há um consenso? E como saber se esse consenso já existe e se chegou a hora de virar a página? Não é raro encontrarmos pesquisas que tratam exaustivamente sobre determinado assunto, e muitas vezes pensamos “Por que as pessoas não focam em outra coisa se já se estudou tanto sobre isso? Precisamos ainda insistir nesse assunto?”. Bem, em alguns casos sim, precisamos, mas outras muitas vezes não. Considerando os cortes generalizados que a Ciência vem sofrendo e a perspectiva pessimista para pelo menos os próximos 3 anos, hoje mais do que nunca nós precisamos otimizar nossos recursos e esforços de pesquisa. Para isso, a conclusão sobre a necessidade de continuar ou não insistindo em algumas questões não pode ser subjetiva a ponto de ser questão de opinião.

Geralmente (idealmente!), quando queremos ter uma visão geral sobre algum assunto que vamos pesquisar nós fazemos uma busca bibliográfica por revisões que já tenham sintetizado conclusões de diferentes estudos sobre tal assunto. Quem nunca pensou “Nossa, tem que ser muito especialista em um assunto para escrever uma revisão”? De fato, você precisa entender muito sobre um assunto para chegar ao ponto de escrever uma compilação sobre ele, já que para isso você deve ler exaustivamente sobre o tema. Porem, a gente costuma pensar assim porque as revisões narrativas (aquelas escritas por pesquisadores reconhecidos por seu conhecimento sobre determinado assunto) tradicionalmente trazem uma narrativa bastante subjetiva, com conclusões muito baseadas na opinião do especialista que está escrevendo e sem deixar muito claro o universo de informação que foi consultado para isso. Afinal, o cara sabe do que ele está falando! Veja bem, esses caras geralmente sabem mesmo do que estão falando, mas normalmente não existe apenas um especialista para cada assunto e eles podem (e devem, em muitos casos) discordar. E no meio de tanta discordância, fica difícil a gente saber se precisa ou não insistir em pesquisar algum tema ou se devemos tocar a bola para frente.

Isso começou a ser um problema muito grande para a Medicina devido à necessidade de se chegar a um consenso sobre determinado tratamento já que vidas estavam em jogo, e foi neste contexto que surgiram as revisões sistemáticas. Nestas revisões, todo o processo de busca bibliográfica é especificado (ex. quanto estudos foram consultados, aonde eles foram localizados, qual critério de triagem foi utilizado…) permitindo a sua replicação. As conclusões são embasadas neste conjunto de dados que é conhecido, o que permite ao leitor chegar às suas próprias conclusões sobre o assunto. Posteriormente, as revisões sistemáticas passaram a incorporar a técnica de Meta-Análise, que é um método estatístico utilizado para compilar os achados de diferentes estudos e identificar se existe alguma tendência em comum entre eles, bem como explorar possíveis causas de divergência entre os seus resultados. Uma outra coisa boa que a meta-analise trouxe foi a possibilidade de que qualquer pesquisador possa escrever uma boa revisão sem necessariamente ser um “Deus” do assunto, já que o método é totalmente verificável e replicável.

(Pavel complementa: A experiência do PPGECB-UESC, como ja mencionei, mostra bem como meros mortais como nós podem fazer e publicar bons trabalhos de revisão :-) )

Aluane, sobre como foi fazer um trabalho de revisão:

Olá galera. Essa semana o Pavel me chamou para contar minha experiência de como é escrever um artigo de revisão. E aqui estou eu para contar um pouquinho para vocês!

Ao longo da minha vida acadêmica já li vários artigos de revisão bem bacanas e o mais legal é em um único artigo poder obter uma gama de informações sobre tal assunto. Em 2016, durante o meu doutorado em Ecologia e Conservação pela Universidade Estadual de Santa Cruz precisaria escrever um artigo de revisão para ser apresentado durante a qualificação. E essa foi a minha primeira experiência em escrever um artigo de revisão.

Juntamente com minha orientadora, Camila Cassano, nós pensamos em um assunto que estava associado ao tema central da tese e que poderia ao mesmo tempo permitir ampliar meus conhecimentos sobre o assunto e mais do que isso responder perguntas interessantes para pesquisadores mundialmente. Foi nesse ponto que surgiu a ideia de investigar como mamíferos da ordem Carnívora se distribuíam em agroecossistemas por todo o mundo.

Posso dizer que foi um trabalho fácil? Não mesmo! Primeiro precisamos decidir muitas questões como: 1- Quais palavras chaves utilizar na busca? 2- Em quais sites buscar? 3- Como filtrar esses artigos? 4- Qual o número de artigos necessário para fazer uma revisão? 5- Quais perguntas responder e como analisar esses artigos? Foram muitos dias buscando artigos sobre o assunto em base de dados como Web of Science e Scopus, além de mais dias filtrando quais de fato traziam o mínimo de informação a ser utilizada. Sempre ficava aquela dúvida: será que acessamos o máximo de artigos que tratam do assunto? Depois de finalizada a busca veio o alívio por ter mais de 100 papers sobre o assunto e o desespero sobre como escrever uma revisão abordando todos eles. Foi nessa etapa que decidimos fazer uma revisão mais sistemática e extrair alguns dados dos artigos para responder perguntas. A princípio estruturamos uma síntese da informação disponível em blocos específicos a serem tratados nos resultados: 1) informações sobre os estudos (categoria, número de estudos, cronologia, localização); 2) espécies utilizando os agroecossistemas; 3) tipos de agroecossistemas utilizados; 4) conflitos entre carnívoros e humanos; e 5) lacunas de conhecimento.

Em alguns meses estava ali um artigo de revisão prontinho para trazer muitas informações legais sobre os estudos existentes com carnívoros em agroecossistemas no mundo. E quando achava que estava prontinho, ganhei um co-orientador e colaborador para essa revisão (Carlos Peres). Durante o meu doutorado sanduíche na Inglaterra eu apresentei esse trabalho ao Carlos e nesse momento ele me propôs fazer grandes modificações para deixar esse manuscrito ainda melhor. E lá vai eu voltar à busca de artigos. Ampliei essa busca utilizando os idiomas espanhol, além do inglês e português, utilizei o Google Acadêmico e outros sites para procurar por trabalhos de conclusão de curso, dissertações e teses (“grey literature”) sobre o tema. E assim adicionamos mais uns 30 trabalhos a revisão. Depois decidimos extrair mais informações desses artigos e fazer análises mais rebuscadas. Inclusive adicionamos um colaborador para nos ajudar em algumas dessas análises (Juliano Bogoni). Foram várias reuniões, extrações de informações das espécies, definições de categorias para esses tipos de agroecossistemas e outros quesitos. Assim, além dos cinco blocos tratados anteriormente adicionamos outras questões nas análises e resultados: 6) examinamos como os traços morfo-ecológicos das espécies e seus estados de conservação eram associados aos registros em terras agrícolas e 7) examinamos quais fatores (traços morfo-ecológicos e estado e conservação das espécies, tipos de agroecossistema) poderiam explicavam a ocorrência de carnívoros nos agroecossistemas.

Foram cerca de mais seis meses trabalhando nesse manuscrito. Ao todo, acredito eu que, dois anos de trabalho combinado com muitas outras tarefas do doutorado. E vocês devem estar se perguntando: Valeu a pena? E muito, as análises adicionadas trouxeram resultados fantásticos! Felizmente na primeira submissão conseguimos que o manuscrito fosse aceito com poucas revisões (https://doi.org/10.1111/mam.12137).

E ao fim o que posso dizer para vocês sobre como é escrever uma revisão de literatura? É um trabalho árduo, mas vai te trazer muito conhecimento, facilitar o trabalho de outros pesquisadores observar os padrões existentes com as pesquisas disponíveis no momento, auxiliar medidas de conservação, e tornar possível identificar quais questões ainda precisam ser investigadas para preencher lacunas sobre tal conhecimento. Você que pensa em escrever um artigo de revisão, acredito que algumas dicas que posso te dar são: escolha um assunto que goste, busque encontrar padrões ou responder perguntas, seja criativo, se dedique e o resultado compensará todo o trabalho!

Elaine, também sobre como foi e está sendo escrever um trabalho de revisão:

Planejamento e Paciência! Acho que são duas coisas importantes para você internalizar quando for elaborar um artigo de revisão ou qualquer outro tipo de artigo, na verdade, acho que são duas coisas que precisamos aprender pra vida. Bom, vamos lá! Vou falar brevemente sobre minha experiência com esse tema. Eu estou escrevendo meu primeiro artigo de revisão e ele está quaseeee pronto pra ser submetido (mais uns dias de inspiração e vai!).

Então, depois de definir o tema a ser pesquisado e de você se certificar que não há revisões já publicadas sobre isso (torce para não publicarem nada enquanto você escreve [aconteceu comigo]), existe um passo a passo que você precisa seguir. Por exemplo: definir cuidadosamente as palavras-chave, escolher a(s) base(s) de dados que você vai pesquisar (Scopus, Web of Science, Google Scholar), os mecanismos de busca e etc. Depois que essas coisas estiverem definidas você vai fazer a busca e começar a triar os artigos (geralmente a gente olha título e resumo). É importante que esteja claro na sua cabecinha quais informações você precisa obter! Feito isso, é hora de fazer uma leitura dinâmica dos artigos selecionados para ter certeza que eles se enquadram nos seus critérios.

O próximo passo exige cuidado. Para extrair as informações dos artigos você vai precisar criar uma tabela “eficiente”, contendo todas as informações necessárias para você elaborar seu artigo de revisão (peça dicas para quem já fez uma revisão, isso ajuda muito). Por exemplo, na minha tabela havia informações como: identificação do estudo, ano de publicação, ano de coleta de dados, local do estudo, coordenadas e etc.

Tabela pronta, chegou a hora de coletar os dados! Para mim, extrair as informações dos artigos foi uma fase complicadinha, pois algumas informações não estavam claras ou estavam incompletas ou… Provavelmente isso também vai acontecer com você, pois cada estudo tem suas particularidades (você vai aprender a lidar com isso). Ou ainda, você vai precisar entrar em contato com os autores para obter mais informações, mas infelizmente boa parte deles não vai responder seus emails [aconteceu comigo], tenha paciência. Depois que essa fase estiver concluída é só alegria (risos, muitos risos). Aí você SÓ precisa rodar as análises, entender seus resultados e discutir sobre eles!!

Brincadeiras à parte, escrever um artigo de revisão é enriquecedor. Você vai precisar ler bastante sobre seu tema de interesse, vai precisar tomar decisões e lidar com os “imprevistos”, mas eu garanto que você vai sair cheio de experiência desse desafio. E se você tiver uma equipe massa o resultado será ainda melhor [aconteceu comigo].

Pavel, com algumas considerações finais:

Pois então! Vimos que fazer um trabalho de revisão dá um trabalhinho, ou um trabalhão rs, mas pode ser feito, e os resultados compensam! Eu diria que se você pensa em fazer um trabalho de revisão (e eu acho que vale a pena, especialmente no doutorado!), se planeje para dedicar ao menos um ano primariamente a isso. E nem sempre vai ser possível definir antecipadamente o tipo de revisão que será feita: por exemplo, pode acontecer de os artigos não trazerem informações suficientes para uma metaanálise, de modo que você precise usar uma outra forma de análise estatística. E pode acontecer de já terem tantas revisões sobre um assunto que não te pareça fazer muito sentido fazer uma nova; neste caso, você pode fazer uma revisão sobre um tema mais específico (que pode ter muita relevância em um contexto mais local!) ou fazer uma revisão de revisões sintetizando os modelos propostos sobre uma metaanálise. Ou talvez uma metaanálises de metaanálises, como proposto nesse quadrinho do xkcd. :-)

Uma peculiaridade de um trabalho de revisão é que se demorarmos muito para submetermos ele depois de coletarmos os dados, ele pode se tornar rapidamente desatualizado. Isso é diferente de trabalhos com dados empíricos, os quais podemos publicar sem grandes problemas cinco ou dez ou quinze ou vinte anos depois que os dados foram publicados (por exemplo, em 2018 publiquei um artigo com dados coletados dez anos antes). E isso também é um bom treino, pois muitas vezes demoramos tempo demais para submeter algo que está essencialmente pronto. Mas isso é tema para outra postagem, ou não. :-)

4 pensamentos sobre “Como é fazer um trabalho de revisão

  1. kkkk Pavel estava pensando exatamente nisso q vc colocou no final com a tirinha, uma área de estudos como a “filosofia da revisão”, e antes de abrir um novo tópico nesta área, é preciso rever aquilo que foi revisto sobre filosofia da revisão… além disso vc poderia deixar o texto do blog justificado.
    Sobre a discussão de revisão, gostei da forma como as convidadas trataram o tema de modo leve (queria aprender a fazer isso tbm), acho q se tentasse falar sobre revisão o negócio seria quase como o esboço de uma nova Matrix

    Curtir

    • Uma revisão de revisões da filosofia de revisões de revisões :-)
      Não gosto de texto justificado, acho que fica pior pra ler porque a distância entre as letras fica heterogênea…
      As meninas escrevem bem né? Uma vantagem de blogs é que a escrita não precisa ser séria e nem complicada (mas pode o ser caso seja vontade de quem escreve!). :-)
      Abraço!

      Curtir

  2. Excelente post, Pavel! Revisões são uma bela forma de síntese e eu adoro sínteses. Realmente ainda há algum preconceito quanto às revisões só poderem ser feitas por silverbacks. Contudo, já vi ótimas revisões feitas por aspiras. As revisões feitas por silverbacks ganham por um lado graças à bagagem acumulada do autor, mas perdem por outro lado porque costumam ter vieses na escolha e síntese da literatura criados por preferências pessoais. Já as revisões feitas por aspiras costumam deixar escapar uma ou outra coisa importante, mas geralmente conseguem criar sínteses com menos vieses. Para sair desse dilema, o melhor é as revisões serem feitas com base em métodos claros, rigorosos e bem explicados, além de contarem com um mix de silverbacks e aspiras entre os autores. Já viu esse paper do Pautasso? https://doi.org/10.1371/journal.pcbi.1003149

    Curtir

    • Obrigado!
      Eu mesmo queria ter feito uma revisão no meu doc, mas não me planejei pra ter isso como parte da tese e estou tentando trabalhar naquela revisão até agora :-)
      “além de contarem com um mix de silverbacks e aspiras entre os autores” – Acho que revisões como artigos de doutorado são bons pra isso, com o orientador atuando como o silverback. Estou tendo a experiência de coorientar revisões em que o orientador é referência na área, estou achando bem legal essa experiência.
      Acho que já tinha visto esse artigo mas esquecido dele… Obrigado pela indicação!
      Abraço!

      Curtido por 1 pessoa

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s