Sinto muito, você pode repetir isso?
Não? Então por que diabos isso é publicado em uma revista científica?
Sem o conhecimento de muitos, a ciência – especialmente as ciências sociais e a psicologia – está no meio de uma crise de replicação, [1] uma incapacidade generalizada de repetir com sucesso as descobertas de artigos publicados anteriormente. Na verdade, neste momento, cerca de setenta por cento dos estudos científicos falham quando são feitas tentativas de replicar as suas descobertas. Isso é bastante horrível quando se considera o quanto a ciência e o falacioso argumento do consenso são citados hoje por políticos que fazem algumas das maiores mudanças fundamentais na sociedade na história.
Análises mais minuciosas de muitos estudos altamente influentes estão a descobrir falhas nos fundamentos da ciência e falhas nas suas práticas, provando apenas que nem sempre podemos confiar no que lemos… mesmo em revistas científicas proeminentes.
Os 10 principais fatos fascinantes que estão errados
10 É um problema muito difundido
Em 2018, uma coligação de cientistas sociais que incluía psicólogos e economistas tentou replicar 21 descobertas publicadas em duas revistas de prestígio: “Nature” e “Science”. [2] Foram incluídos nesta revisão estudos altamente influentes e amplamente divulgados, como uma dissertação de 2011 sobre se o acesso aos motores de busca prejudica a memória humana, [3] e um relatório sobre o impacto da leitura na capacidade das crianças de compreender diferentes pontos de vista, também conhecida como “teoria da mente”.
Sendo a retrospectiva 20/20, os cientistas que conduziram as replicações tornaram os retestes mais rigorosos do que os estudos de caso originais. Para garantir total transparência, pré-registraram o seu estudo e análise – uma salvaguarda contra qualquer investigador que tentasse salvar a face, permitindo que as conclusões reescrevessem parcialmente a sua intenção inicial. Em alguns casos, o número de participantes também aumentou até cinco vezes, uma tática de quantidade igual a qualidade que diminui a probabilidade de provas circunstanciais se tornarem cânone científico.
De forma alarmante, apenas 13 dos 21 [4] estudos foram replicados sob maior escrutínio. Isso representa um sucesso a menos de 2/3, o que por si só não seria nem de longe aceitável para estudos publicados em publicações científicas tão conceituadas e supostamente criteriosas. O resultado é claro: a ciência lixo está se tornando uma verdade aceita.
9 Até mesmo muitos estudos bem-sucedidos são agora suspeitos
Imagine dois alunos recuperando as notas do meio do semestre. Um tira A, o outro D. Ambos foram aprovados, mas há uma diferença enorme entre essas duas notas.
Quase tão preocupante quanto a incapacidade de replicar certos estudos é que, mesmo entre aqueles tecnicamente aprovados, os tamanhos dos efeitos – a diferença entre o grupo que participa de um experimento ativo e aqueles marginalizados como referência genérica (chamados de “grupo de controle”) – muitas vezes cai vertiginosamente sob condições mais rigorosas. Esse foi o caso de muitos dos 13 estudos replicados dos 21 referenciados na entrada anterior. Alguns diminuíram cerca de metade – um número preocupantemente elevado que indica que as descobertas originais provavelmente exageraram o poder da manipulação experimental.
Um exemplo hipotético: suponhamos que alguém pudesse concluir cientificamente que uma maçã por dia, de fato, afasta o médico. A próxima pergunta lógica é “Claro, mas por quanto?” Muitos estudos estão sendo defendidos como resultados claros quando, na realidade, mal alcançam o resultado. Na ciência, a extensão da causa e do efeito é enormemente importante.
Os investigadores que conduziram os estudos de replicação acima mencionados admitiram isso, [5] declarando um viés sistemático nas descobertas publicadas “em parte devido a falsos positivos e em parte devido aos tamanhos de efeito sobrestimados dos verdadeiros positivos”. Em outras palavras, coma aquela maçã com um grão de sal.
8 A própria replicação tem limitações
Nem todas as replicações são criadas igualmente. Muitas vezes há circunstâncias atenuantes envolvidas que tornam impraticável ou mesmo impossível uma análise completa de um estudo individual.
E às vezes os próprios replicadores são, aparentemente, tão arrogantes quanto os pesquisadores originais. O estudo mencionado acima, que encontrou uma correlação entre o acesso ao mecanismo de busca e a memória humana [6], estava entre os oito que não foram replicados. Mas a experiência de replicação limitou-se a uma tarefa de preparação de palavras – se o simples facto de pensar na disponibilidade da Internet torna mais difícil a recuperação de informações – em vez de uma experiência do mundo real envolvendo questionários reais de assuntos triviais. Também ignora cenários evidentes: por exemplo, desde o advento dos smartphones, muito menos pessoas se lembram de números de telefone individuais – uma indicação clara de que a dependência da tecnologia torna a recordação de factos menos necessária e, portanto, menos provável.
Outros estudos podem não ser replicados devido a uma mudança nos próprios participantes. Em 2014, o psicólogo do MIT David Rand publicou um estudo sobre cooperação humana. [7] Para o estudo, os participantes jogaram um jogo de economia online destinado a determinar pontos de colaboração e, inversamente, de egoísmo.
Quando a experiência não foi replicada, Rand argumentou que o grupo de participantes típicos do estudo online se familiarizou com o seu jogo, tornando-o uma ferramenta menos útil para examinar comportamentos hipotéticos da vida real. Isso é um exagero, mas o ponto principal é que a familiaridade generalizada com um experimento pode manchar o próprio experimento.
Na maioria das vezes, porém, os experimentos não conseguem ser replicados porque simplesmente não eram viáveis, de acordo com os próximos itens.
7 Alguns estudos são incrivelmente estúpidos
Às vezes é assustador o que se passa por ciência. Um experimento que não foi replicado examinou se desafiar as pessoas a pensar de forma mais racional as tornaria menos religiosas [8] . Embora aparentemente um pouco insultuoso – tal teste carrega a suposição subjacente de que a crença religiosa é inerentemente irracional – o objetivo era ver se as pessoas estariam mais abertas a encontrar causa e efeito no mundo físico do que no espiritual.
O experimento em si foi, bem, idiota. Um de seus testes fez com que os participantes olhassem por vários minutos para uma foto da famosa estátua de Rodin, O Pensador. [9] Então, basicamente, o experimento consistia em determinar se olhar para a foto de um cara nu com o punho cuidadosamente posicionado sob o queixo dissiparia sua crença em uma divindade.
Ciência sólida? Eu acho que não. Histericamente, o arquitecto do estudo pensa que a falha fatal – ou seja, o que o fez não conseguir replicar – estava no tamanho da amostra e não na idiotice da experiência em si. “Quando lhes fizemos uma única pergunta sobre se eles acreditavam em Deus, foi uma amostra muito pequena e pouco significativa”, disse Will Gervais, psicólogo da Universidade de Kentucky. “Gostava de pensar que não seria publicado hoje”, continuou ele, no eufemismo do século científico.
6 Lógica suave: o teste do Marshmallow e a simplificação excessiva das ciências sociais
Outros estudos não conseguem replicar porque as variáveis inicialmente contabilizadas eram insuficientes ou incompletas. Um excelente exemplo aqui é o chamado “teste do marshmallow”, [10] que originalmente correlacionou a capacidade de adiar a gratificação no início da vida com o sucesso na adolescência ou na idade adulta.
O experimento parece uma tortura divertida. Uma criança tem um marshmallow colocado à sua frente e um pesquisador apresenta uma escolha: se a criança puder esperar que ela saia da sala e volte, ela ganha outro marshmallow. Caso contrário, nenhum marshmallow extra será concedido. A gratificação imediata por um lado, o dobro da delícia por outro.
Anos mais tarde, [11] as crianças que esperaram alcançaram pontuações mais elevadas no SAT, níveis mais baixos de abuso de substâncias, menor probabilidade de obesidade e boas competências sociais. A conclusão clara foi que as crianças que demonstram autocontrole desde cedo na vida provavelmente se tornarão adolescentes e adultos mais disciplinados e com melhor desempenho.
O problema é que a vida de uma criança é mais complicada que uma confeitaria. Quando os pesquisadores de replicação reexaminaram as descobertas e levaram em conta fatores como antecedentes familiares, [12] a correlação desapareceu. A conclusão mais provável, claro, é que as crianças que esperaram pelo segundo marshmallow tiveram os benefícios de uma educação adequada, de uma boa nutrição, etc. Não eram inerentemente melhores – foram simplesmente criadas melhor.
10 razões pelas quais os estudos científicos podem ser surpreendentemente imprecisos
5 Pense novamente: a crise da replicação na psicologia
A crise de replicação na psicologia é ainda mais proeminente, talvez porque identificar o ímpeto por trás dos pensamentos possa ser ainda mais complicado do que determinar as causas e os efeitos das ações ou realizações.
Um evento em particular desencadeou o tão necessário colapso mental da psicologia. Em 2010, um artigo que utilizou métodos experimentais aceites alegou provas de algo que, cientificamente, era amplamente inaceitável: descobriu-se que as pessoas eram capazes de perceber o futuro. [13]
O problema não foi a conclusão ridícula do estudo, mas sim a sua condução séria: a experiência foi realizada durante um período de 10 anos, durante os quais o professor de psicologia da Universidade Cornell, Daryl Bem, realizou rigorosamente nove replicações – oito das quais foram bem sucedidas. Quando a pesquisa foi tornada pública, Daniel Engber, da Slate, descreveu apropriadamente as consequências: “O artigo apresentava um dilema muito difícil”, escreve ele. “Foi metodologicamente correto e logicamente insano.”
Ao contrário do futuro, o resultado era previsível: o estudo levou a uma reconsideração generalizada [14] de práticas como amostras de menor escala – que, em comparação com estudos maiores, têm muito mais probabilidade de tirar conclusões a partir de mera coincidência. As melhores práticas para uma aleatorização eficaz – ou seja, as melhores formas de evitar que preconceitos ou outros estímulos afetem os resultados – também estão a ser alvo de uma análise mais aprofundada numa revolução científica que, tendo começado há menos de uma década, ainda é um trabalho em progresso.
4 Cálculo da replicação da psicologia
A menos que “Dr.” Peter Venkman, de Ghostbusters, estava realmente no caminho certo, a percepção extra-sensorial não é, na melhor das hipóteses, comprovada e, na pior das hipóteses, totalmente refutada. Assim, quando o mencionado Daryl Bem usou práticas experimentais aceitas para “provar” o inaceitável, a psicologia foi forçada a lidar com a forma como os estudos eram conduzidos.
Emergindo desta revisão de toda a disciplina estava um artigo de 2015 de esforço de grupo, [15] publicado na revista Science. O relatório detalhou um problema abrangente: quando 270 psicólogos tentaram replicar 100 experiências publicadas em revistas importantes, apenas cerca de 40% as repetiram com sucesso; os restantes falharam ou produziram dados inconclusivos e, tal como algumas experiências de ciências sociais referenciadas anteriormente, muitos estudos que passaram na replicação mostraram efeitos mais fracos do que os originais.
A conclusão do relatório é tão forte quanto uma revista científica pode ter. “Depois de um esforço intensivo… quantos dos efeitos que estabelecemos são verdadeiros? Zero. E quantos dos efeitos estabelecemos como falsos? Zero.”
Isto não foi uma acusação intelectual, mas sim uma declaração de que a ciência não é tão clara como se imaginava anteriormente. “É a realidade de fazer ciência”, continua a conclusão, “mesmo que não seja apreciada na prática diária”.
Finalmente, o cerne da questão: “Os humanos desejam certeza, e a ciência raramente a fornece”. O relatório sugere então que há espaço para melhorias nos estudos psicológicos – passos e considerações adicionais que podem levar a resultados mais reprodutíveis. O ponto principal, porém, é que não existe uma solução mágica.
3 Uma correção de bom senso?
Felizmente, a própria prática de realizar replicações pode fornecer aos investigadores de todas as esferas da ciência uma visão sobre quais experiências têm probabilidade de serem replicadas – e, por processo de eliminação, quais são improváveis e, portanto, conceitualmente falhas.
Com a crise de replicação agora amplamente reconhecida, experiências de replicação mais criteriosas podem ajudar a aguçar as intuições dos cientistas sobre quais hipóteses merecem ser testadas e quais não o são. Desta forma, a devida diligência dos estudos de replicação pode levar a uma abordagem mais pragmática de novas teorias e experimentos.
Aqui está um exemplo: um estudo de replicação liderado pelo psicólogo Brian Nosek, Diretor do Center for Open Science, [16] incluiu um componente de previsão. Um grupo de cientistas fez apostas sobre quais estudos eles achavam que seriam replicados e quais não.
De forma promissora, as apostas acompanharam em grande parte os resultados finais – mostrando que os cientistas tinham uma espécie de detector profissional de besteiras. As experiências que os cientistas previram que não seriam replicadas incluíam um relatório segundo o qual a mera lavagem das mãos alivia a “dissonância pós-decisão”, [17] um termo sofisticado para o preconceito de confirmação que solidifica, em retrospectiva, decisões difíceis nas nossas mentes.
A boa notícia, então, é que a resolução de uma crise complexa será fortemente auxiliada por uma qualidade simples: o bom senso. Se um estudo parece bom demais para ser verdade, provavelmente é.
2 Não me desanime (esgotamento do ego, parte 1)
Mas, por vezes, é a aparente sensatez de um estudo que permite a sua penetração apesar de uma premissa falha. Aqui, mostrar as complexidades e os efeitos em cascata da crise de replicação requer dois itens consecutivos da lista (segue a parte 2).
Uma replicação fracassada de alto perfil envolve um experimento prolífico cuja descoberta principal foi citada mais de 3.000 vezes: esgotamento do ego. [18] Como conceito, parece lógico. O esgotamento do ego postula – e os seus investigadores aparentemente provaram – que um golpe no ego de alguém pode ter efeitos de transferência para uma vasta gama de tarefas subsequentes, incluindo o autocontrolo, a tomada de decisões responsáveis e as capacidades de resolução de problemas.
Para o experimento, os psicólogos Roy Baumeister e Dianne Tice colocaram biscoitos recém-assados (delicioso) ao lado de uma tigela de rabanetes (eca). Eles então disseram a alguns participantes para comerem apenas rabanetes e ao outro grupo apenas biscoitos. Depois, cada voluntário tentou resolver um quebra-cabeça que foi intencionalmente concebido para ser impossível. O clã comedor de biscoitos examinou o quebra-cabeça por uma média de 19 minutos, igualando aqueles de um grupo de controle que não havia comido nada. Os comedores de rabanete pararam em média oito minutos.
Baumeister e Tice presumiram que isto revelava um facto fundamental: os humanos têm uma oferta limitada de força de vontade, e esta diminui com o uso excessivo. Comer um rabanete rodeado de biscoitos é uma façanha exaustiva de abnegação, que tem um impacto repercutido e de fartura nos desafios subsequentes.
A descoberta tornou-se um rolo compressor, citada para explicar circunstâncias de causa e efeito de longo alcance, dizendo essencialmente que a nossa reserva de força de vontade tem uma palavra significativa na execução bem-sucedida de qualquer tarefa. Em 2011, Baumeister publicou um livro de autoajuda best-seller intitulado “Força de Vontade: Redescobrindo a Maior Força Humana”. [19]
Ciência estabelecida, certo? Errado…
1 Deflação do Ego (Esgotamento do Ego, Parte 2)
E então, como seus biscoitos característicos, o esgotamento do ego desmoronou. Um artigo de 2016 publicado na revista “Perspectives on Psychological Science” detalha um enorme esforço de 2.000 sujeitos para reproduzir o efeito declarado do esgotamento do ego. Não tomando nada como garantido (como deveria ser feito pela ciência), o estudo envolveu duas dúzias de laboratórios em vários continentes.
De acordo com a linha de abertura da conclusão do estudo, [20] o que foi encontrado foi exatamente nada: “Os resultados da atual replicação registrada em vários laboratórios do efeito de esgotamento do ego fornecem evidências de que, se houver algum efeito, ele será próximo de zero”. Os pesquisadores não conseguiram encontrar uma ligação discernível entre um golpe no ego e a capacidade de completar desafios subsequentes. Se você é bom em palavras cruzadas, um chute na virilha não o impedirá de acertar o 22 Across.
Simplesmente assim, um estudo citado 3.000 vezes – e outro recriado centenas de vezes de várias maneiras – era agora, na melhor das hipóteses, suspeito e, na pior, falso. Não é demais afirmar que o esgotamento do ego estava tão arraigado na teoria psicológica que foi considerado quase canônico.
A questão – e um desafio fundamental da crise de replicação – é POR QUE o esgotamento do ego se tornou tão amplamente aceite antes de entrar em colapso. O esgotamento do ego, à primeira vista, parece razoável, e ainda o vemos referenciado – por exemplo, quando um jogador de futebol ou de basebol numa crise ofensiva é acusado de ter esse sentimento transferido para o seu jogo defensivo.
Essas teorias aparentemente de bom senso obtêm o benefício da dúvida – um preconceito que os investigadores adotam nas experiências subsequentes. As replicações tornam-se parcialmente baseadas em suposições e, em vez de o castelo de cartas desmoronar, ele apenas recebe outro nível – o que, por sua vez, sustenta ainda mais a compreensível, mas incorreta, teoria original.
