Harry Potter e os Fatores de Confusão

Carta aberta ao Diretor da Escola de Magia e Bruxaria de Hogwarts

Tenho plena convicção de que um clube de duelos melhora o desempenho de jovens aprendizes de bruxaria e magia em Defesa contra as Artes das Trevas. Afinal, achar bons professores para essa disciplina tem sido cada vez mais difícil em Hogwarts, e métodos alternativos de ensino se tornam uma necessidade real.

No entanto, sinto que, por mais convicção que tenhamos, neste assunto precisamos também de provas ou, no mínimo, de evidências. Afinal, do jeito que o Ministério da Magia estava chato cheio de frescuras traíra exigente nos últimos tempos, a criação de um clube permanente de duelos mágicos precisaria ser bem embasada.

Por sorte, trouxas (caso essa carta seja porventura lida por pessoas não entendidas, explico: trouxas são pessoas incapazes de realizar magia. Não fui eu que criei o termo!) desenvolveram uma série de métodos para fazer avaliações como essas. Trouxas demoninam essas artes de Estatística, e de Desenho Amostral; devo lhe dizer que nomes como Aparatação e Aritmância me são muito menos estranhos! Mas, fazer o que. Também duvido que alguém no Ministério da Magia saiba interpretar uma análise estatística; mas isso não vem ao caso.

Como então avaliar a eficácia de um clube de duelos para o ensino dessa disciplina tão importante, de forma quantitativa?

Bom, primeiro precisamos de uma forma de avaliar o desempenho de uma pessoa nessa disciplina. Como avaliações são sempre subjetivas, e são na melhor das hipóteses uma aproximação para o real aprendizado, é interessante que mais de uma forma de avaliação seja usada. Vou deixar essa questão para especialistas no assunto. Mas sugiro que seja algo relativamente simples, pois isso nos permite aumentar o número de pessoas avaliadas, ou seja, o Tamanho Amostral. Talvez pedir que cada pessoa realize de um série de feitiços, como Expeliarmus, Protego, Estupefaça e quem sabe Expecto Patronum, forneça um indicativo confiável.

Definida a forma de avaliação, poderíamos, por exemplo, comparar o desempenho de pessoas que fizeram parte de um clube de duelos com o de quem não participou deste grupo, certo?

Bom, na verdade não. Pois aí surge uma série de Fatores de Confusão.

Tais fatores, embora não sejam seres físicos, por vezes causam mais tristeza que a presença de um Dementador. Afinal, se não forem levados em conta, Fatores de Confusão podem invalidar uma pesquisa e arruinar assim anos de trabalho. Temam os Fatores de Confusão! E ao contrário de um dementador, eles não podem ser espantados simplesmente invocando o seu Patrono. (Sim, eu usei as palavras “simplesmente” e “Patrono” na mesma frase.) Não. A única forma de lidar com eles é planejando seu estudo de forma adequeada. Coisas como Modelos Mistos, uma espécie de feitiço realizado por trouxas, às vezes conseguem lidar com os Fatores de Confusão – mas nem sempre, meus caros, nem sempre.

Pois bem… Se formos comparar o desempenho de pessoas que participaram de um clube de duelos com outras pessoas, e detectarmos um melhor desempenho nas primeiras, não teremos como saber se essa diferença se deve ao clube de duelos ou a algum outro fator que não incluímos no estudo. E são estes outros fatores que são os temíveis Fatores de Confusão. Por exemplo, quem participou de um clube de duelos podia já ter uma predisposição e um interesse maior no assunto, ou poderiam ser pessoas que, como uma certa jovem com um vira-tempo, fazem sempre o maior número possível de cursos, havendo necessidade ou não. Assim, precisamos isolar o nosso efeito de interesse dos outros fatores.

Poderia então ser feito um teste… Por exemplo, ao longo de um semestre, a turma de Grifinória teria as aulas regulares e também um clube de duelos, enquanto a de Sonserina teria apenas as aulas. Mas aí os Fatores de Confusão novamente entram em cena: afinal, as pessoas de uma turma são totalmente diferentes das turmas da outra! E mesmo em escolas trouxas em que a turma à qual alguém pertence não tem nada a ver com sua personalidade, podem existir diferenças prévias entre elas. Assim, não seria uma comparação válida.

E se durante um tempo as aulas fossem suspensas e substituídas por um clube de duelos? Poderíamos fazer uma avaliação antes do clube e depois. Mas isso novamente traria problemas, que o sábio Hurlbert chamou de Pseudoreplicação Temporal. Outras coisas acontecem durante esse tempo, e seus efeitos se confundem com o do clube: por exemplo, imagine que surjam boatos (desta vez infundados, obviamente) de que Você-Sabe-Quem está de volta? O interesse das pessoas em Defesa Contra as Artes das Trevas vai aumentar, e o seu desempenho quem sabe também, de forma não relacionada ao nosso clube. O efeito do clube se confunde com outros acontecimentos do mesmo período.

Sendo assim, eu sugiro que seja realizado um teste conhecido como BACI por trouxas de língua inglesa, o que significa “Antes-Depois x Controle-Impacto” (“Before-After x Control-Impact”). Precisamos dividir as pessoas em dois grupos: um grupo terá as aulas regulares, e o outro grupo terá as aulas regulares mais o clube de duelos. Mas atenção! A escolha de quem fará parte do clube de duelos deve ser aleatória. Nada de ser por interesse! Senão o efeito do clube irá se confundir com o interesse pelo assunto. E nada de tentar excluir pessoas que pareçam não levar jeito para o tema – lembrem-se que até a pessoa mais desajeitada pode surpreender em uma batalha!

Portanto, teremos dois grupos, definidos aleatoriamente. Antes de realizarmos o experimento, devemos fazer uma avaliação de desempenho em ambos os grupos. Esperamos que, em média, o desempenho nos dois grupos seja similar, podendo haver pessoas mais e menos hábeis em cada um deles. A seguir realizamos o experimento – um grupo apenas com aulas, outro com aulas e o clube de duelos. E finalmente avaliamos o desempenho no final.

Para concluirmos que o clube de duelos realmente melhora o aprendizado em Defesa Contra as Artes das Trevas, algumas coisas devem acontecer: Primeiramente, o desempenho inicial nos dois grupos deve ser similar, mostrando que não há diferenças prévias. Em segundo lugar, é necessário que haja uma melhora de desempenho no grupo “impacto” ou “intervenção” (com clube de duelos). Finalmente, é preciso que, no final do experimento, o grupo “impacto” tenha um desempenho melhor do que o grupo “controle” (o que teve apenas as aulas regulares). Se essas três coisas acontecerem, podemos concluir que, realmente, o clube de duelos é uma importante ferramenta de aprendizado.

E algo muito interessante é que essa mesma abordagem BACI pode ser utilizada em outros contextos! Até mesmo para avaliar, por exemplo, possível impactos de algum novo feitiço sobre a nossa preciosa Floresta Proibida. Devo-lhe dizer que essa arte de Desenho Amostral é de fato algo fascinante! E isso porque nem falei nada da Estatística neste texto.

Cordialmente,

H.

5 pensamentos sobre “Harry Potter e os Fatores de Confusão

  1. Uma sugestão, é viável criarmos uma cópia de algo? No caso do bicho-papão que se transforma naquilo que o sujeito mais tem medo… se a pessoa X tem muito medo da pessoa Y, ao usarmos o bicho-papão na pessoa Y, geramos uma outra pessoa X.

    Com duas pessoas X, tomamos uma como grupo controle e outra como grupo experimental.

    Também podemos utilizar um apagador de memórias. A pessoa X faz N testes, tem sua memória apagada e após o treinamento refaz os N testes. Logo podemos comparar a pessoa X com ela mesma. Repetindo este experimento, exceto os fatores físicos, que poderiam também ser medidos e nivelados com magias de cura, podemos recriar o experimento com grupo controle e grupo experimental.

    Curtir

    • De fato, você tem razão! Me envolvi tanto com as técnicas usadas por trouxas que esqueci das possibilidades adicionais que a feitiçaria oferece.

      Mas ainda assim, creio que existem alguns problemas na sua proposta…

      Por exemplo, o bicho-papão se transforma de fato na pessoa, ou se transforma na visão que alguém tem desta pessoa? Era realmente Professor Snape naquele dia, ou era uma representação distorcida dele? Creio que isso seria um fator de confusão impossível de ser controlado, sem falar que o tamanho amostral seria provavelmente baixo, não acha que haja pessoas suficientes cujos maiores medos sejam outras pessoas. Na falta de replicação, as Intrusões Não-Demoníacas podem invalidar os nossos resultados.

      O apagador de memória também traz problemas, pois teria que ser regulado de forma muito precisa. Se acontecer de apagar um pouco mais de memória, estaremos retirando conhecimentos prévios. Se apagar um pouco menos, apagaremos conhecimentos recentes. Acho que seria complicado regular isso. E mesmo que possa ser regulado, acho que ainda seria uma espécie de pseudoreplicação temporal – por exemplo, pode acontecer que na primeira avaliação a pessoa estava moderadamente interessada no assunto, mas na segunda avaliação ela poderia estar mais preocupada com, sei lá, a final do campeonato de Quidditch.

      Assim, acho que um BACI ainda seria melhor :-)

      Curtir

  2. Olá, professor Pavel! Muito legal a forma como desenvolveu esse artigo! Gosto muito da história de Harry Potter! Ficou bastante interessante de compreender alguns conceitos dentro da ciência dos dados dessa forma! Fatores de confusão, desenho amostral… agradeço por compartilhar o conhecimento!

    Curtir

  3. Pingback: Mais um texto sobre réplicas e pseudoréplicas – Mais Um Blog de Ecologia e Estatística

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair /  Alterar )

Foto do Google

Você está comentando utilizando sua conta Google. Sair /  Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair /  Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair /  Alterar )

Conectando a %s