A nossa sociedade celebra a ciência pela sua precisão e objectividade, e o público em geral geralmente considera as evidências publicadas em revistas científicas como inquestionavelmente verdadeiras. No entanto, tem havido uma série de estudos alarmantes, particularmente centrados na investigação em ciências da vida, que sugerem que a publicação científica pode não ser tão fiável como gostaríamos de pensar.
10 Muitos estudos pré-clínicos não podem ser reproduzidos
Atualmente há uma enorme quantidade de pesquisas sobre os mecanismos do câncer. Infelizmente, traduzir esta investigação na descoberta de alvos para o tratamento tem-se revelado difícil, sendo a taxa de insucesso dos ensaios clínicos em oncologia mais elevada do que na maioria das outras áreas. E parece que muitas destas falhas podem ser atribuídas a problemas com a investigação pré-clínica em que se basearam.
Uma revisão descobriu que apenas seis dos 53 artigos pré-clínicos sobre câncer poderiam ser reproduzidos. Muitos dos estudos que não puderam ser reproduzidos não utilizaram testes cegos – o que significa que os testadores sabiam se estavam lidando com o grupo de controle ou com o grupo experimental, o que poderia levar a um viés do investigador. Descobriu-se que outros estudos apresentaram apenas os resultados que apoiavam as suas hipóteses, mesmo que não fossem uma boa representação do conjunto de dados como um todo. Surpreendentemente, não existe uma regra específica que impeça isso e os artigos são regularmente aceitos para publicação sem apresentar todo o conjunto de dados obtidos.
Outro estudo analisou 67 estudos, principalmente na área de oncologia, e descobriu que menos de 25% dos dados publicados poderiam ser reproduzidos em laboratório sem grandes inconsistências. Este é agora um problema tão comum que as empresas de capital de risco aparentemente têm uma regra tácita de que cerca de 50% dos estudos académicos serão impossíveis de reproduzir nos seus laboratórios industriais.
9 Resultados negativos muitas vezes não são publicados
Um resultado negativo ocorre quando os pesquisadores levantam a hipótese de que algo vai acontecer, mas depois descobrem que não podem obter esse resultado. Um estudo analisou mais de 4.600 artigos de todas as disciplinas entre 1990 e 2007, descobrindo que a publicação de resultados positivos aumentou 22 por cento durante esse período. Em 2007, surpreendentes 85,9% dos artigos relataram resultados positivos. Isto é apoiado por estudos que mostram que frases negativas como “ sem diferenças significativas ” diminuíram no uso, enquanto resultados significativos têm muito mais probabilidade de serem. Se forem publicados, os resultados negativos provavelmente só aparecerão em . periódicos de baixo impacto totalmente relatados
Na verdade, esse viés de publicação cria alguns problemas. Para começar, os cientistas muitas vezes não conseguem ver se um estudo já foi realizado, o que significa repetições desnecessárias. Também pode afetar os resultados de estudos de meta-análise , que comparam toda a literatura sobre um determinado assunto. O preconceito de publicação também resulta numa enorme pressão para obter resultados positivos, o que pode levar a resultados inflacionados, má conduta na investigação ou menos riscos assumidos pelos investigadores. Afinal, se sua futura carreira se basear principalmente na possibilidade de obter resultados positivos para publicar, isso certamente teria algum impacto na maneira como você projeta sua pesquisa e interpreta suas descobertas.
8 A revisão por pares geralmente não consegue detectar erros graves
A aprovação no processo de revisão por pares é atualmente o padrão ouro para trabalhos de pesquisa. No entanto, quando os investigadores entregaram propositadamente artigos biomédicos cheios de erros aos revisores de uma importante editora académica, descobriram que os revisores detectaram apenas uma média de 2,58 dos nove erros principais. Ainda mais preocupante, o treinamento para melhorar o desempenho fez apenas uma pequena diferença. Na verdade, um quarto dos 607 revisores testados detectou uma média de um ou menos erros. (Para ser justo, alguns revisores rejeitaram o artigo sem terminar de revisá-lo, o que significa que poderiam ter encontrado mais erros se tivessem continuado até o fim.)
Os revisores foram particularmente fracos na detecção de erros relacionados com “a análise de dados e inconsistências na comunicação de resultados”. Isto pode estar ligado à má compreensão das estatísticas entre os biólogos. A área menos afectada pela formação foi “colocar o estudo em contexto, tanto em termos da literatura pré-existente como em termos das implicações dos resultados para a política ou prática”. Isso faz sentido, pois dominar a literatura sobre um determinado tópico leva muito tempo para ser alcançado.
Outros estudos chegaram a conclusões semelhantes. Um apresentou a 221 revisores um artigo publicado anteriormente que havia sido modificado para incluem oito erros . Em média, os revisores detectaram apenas dois dos novos erros. Outro descobriu que os revisores não conseguiram detectar dos principais erros num artigo sobre enxaquecas (embora a maioria dos revisores ainda não tenha recomendado a aceitação do estudo para publicação). Tomados em conjunto, esses artigos sugerem que o processo de revisão por pares nas ciências biomédicas tem muito espaço para melhorias. pelo menos 60 por cento
7 Os revisores pares pioram com o tempo
Em 2009, um estudo de 14 anos destacou outros problemas com o processo de revisão pelos pares. O estudo, que viu editores de periódicos avaliarem a qualidade de cada revisão que receberam, sugeriu que o desempenho dos revisores pares diminuiu em média cerca de 0,8% a cada ano. Estas descobertas são apoiadas por um artigo de 2007 na PLOS Medicine , que concluiu que nenhum tipo de formação ou experiência era um indicador significativo da qualidade do revisor, mas que os cientistas mais jovens geralmente forneciam revisões de maior qualidade. Uma Pesquisa de 1998 também descobriu que os cientistas mais jovens tiveram melhor desempenho como revisores por pares, enquanto aqueles nos conselhos editoriais tiveram pior desempenho.
As razões para esta tendência não são claras, embora as sugestões incluam declínio cognitivo, interesses conflitantes que assumem o controle ou aumento de expectativas na revisão, tornando o trabalho mais difícil ao longo do tempo. Há também alguma evidência de que os revisores mais velhos são mais propensos a tomar decisões prematuramente, não cumprem os requisitos para estruturar uma revisão e podem ter uma base de conhecimentos diminuída à medida que a sua formação se torna desatualizada. Isto é preocupante, uma vez que o aumento da idade muitas vezes acompanha o aumento da autoridade.
6 A maioria dos artigos rejeitados acaba sendo publicada em outro lugar
Após o processo de revisão por pares, os periódicos rejeitarão um artigo ou o aceitarão para publicação. Mas o que acontece com esses artigos rejeitados? Um estudo seguiu-se a artigos rejeitados pela Medicina Ocupacional e Ambiental , descobrindo que 54% deles acabaram por ser publicados noutros locais . Curiosamente, mais da metade foi publicada por um grupo de outras sete revistas importantes na mesma área.
Um estudo semelhante descobriu que 69 por cento dos artigos rejeitados por uma revista médica geral foram publicados noutro local no prazo de 552 dias, enquanto outro descobriu que pelo menos metade dos estudos recusados pela Cardiovascular Research acabaram por acabar noutra revista. Um quarto estudo mostrou que dos artigos rejeitados pelo American Journal of Neuroradiology acabaram encontrando outro lar. 56 por cento
Antes que você entre em pânico, isso pode simplesmente significar que os artigos rejeitados serão melhorados antes de serem enviados para outras revistas. Além disso, nem todos os artigos são rejeitados por metodologia inadequada. Periódicos populares costumam ser difíceis de acessar devido a restrições de espaço , enquanto muitos artigos são rejeitados simplesmente porque o tópico pode não ser adequado para o periódico em questão. (O estudo da Cardiovascular Research considerou esta última possibilidade, descobrindo que a maioria dos artigos publicados posteriormente em outros lugares não foram rejeitados devido a um tópico inadequado.)
Como estudos tem mostrado , as revistas de maior prestígio estão sujeitas a um grau de escrutínio muito mais elevado. Na verdade, revistas bem conhecidas tendem a retratar mais artigos do que as suas homólogas de menor prestígio, simplesmente porque recebem muito mais escrutínio após a publicação. Portanto, a questão é que um artigo defeituoso pode ser vendido a várias revistas até que alguém concorde em publicá-lo, permitindo-lhe entrar no registo científico. Portanto, esses estudos sugerem uma discrepância entre a qualidade dos artigos em diversas revistas científicas.
5 Práticas Suspeitas
Com a pressão constante sobre os cientistas para publicarem resultados positivos, há indicações de que a falsificação e outras práticas suspeitas são uma ocorrência comum. Uma meta-análise de 18 pesquisas mostrou que 1,97% dos cientistas admitiram falsificando seu próprio trabalho , 33% admitiram outras práticas suspeitas, 14,1% disseram ter conhecimento de colegas que falsificaram seu trabalho e 72% disseram ter conhecimento de outras práticas suspeitas de colegas. . Os verdadeiros números podem ser ainda mais elevados – inquéritos a investigadores e investigadores estagiários revelaram que percentagens mais elevadas estariam dispostas a participar em tais práticas, mesmo que não admitissem já fazê-las.
Algumas das práticas questionáveis observadas incluíam “descartar pontos de dados com base em um pressentimento”, “não publicar dados que contradizem pesquisas anteriores” e “alterar o design, a metodologia ou os resultados de um estudo em resposta a pressões de um financiador”. fonte.” Estas ações podem ser muito difíceis de provar e provavelmente será impossível evitá-las totalmente sem nos afastarmos de um sistema obcecado em publicar resultados positivos.
4 Os cientistas não compartilham informações suficientes
No treinamento, os cientistas aprendem que os experimentos devem ser redigidos de uma forma que permita que sejam completamente recriados a partir das informações incluídas. No entanto, um estudo de 2013 que analisou a partilha de recursos na investigação biomédica descobriu que 54 por cento dos recursos de investigação (tais como o tipo de anticorpos ou organismos utilizados em experiências) não foram descritos com detalhes suficientes para permitir a sua identificação. Outro estudo de pesquisa utilizando animais descobriu que dos artigos incluíam o número e a natureza dos animais utilizados. Sem essas informações é muito difícil reproduzir experimentos com precisão e, portanto, verificar os resultados. Também cria uma barreira à detecção de problemas metodológicos com um recurso específico. apenas 59 por cento
Houve algumas tentativas de resolver o problema, incluindo as Diretrizes ARRIVE , que procuram maximizar o relato de modelos animais. O também criou registos de anticorpos, enquanto a prestigiada revista Nature apelou ao aumento da divulgação de recursos. Estrutura de Informações sobre Neurociências
No entanto, os autores do estudo de 2013 observaram que apenas cinco das 83 revistas biomédicas tinham relatórios rigorosos. Um inquérito preocupante sobre investigação biomédica acrescenta a esta evidência, mostrando que a vontade de partilhar todos os recursos com outros investigadores caiu 20 por cento entre 2008 e 2012. Alguns dos investigadores inquiridos disseram que ficariam felizes em partilhar dados a pedido pessoal, mas estavam menos satisfeitos com colocar os dados em um banco de dados online.
3 Documentos fraudulentos
Em 1994, o físico Alan Sokal submeteu um artigo à revista de estudos culturais Social Text , que propositadamente encheu de “ absurdos ” infundados, ao mesmo tempo que se certificava de “lisonjear os preconceitos ideológicos dos editores”. Entre outras coisas, o artigo de Sokal ligava a teoria quântica de campos à psicanálise e afirmava que a gravidade quântica tinha sérias implicações políticas. Sokal queria provar que a teoria pós-modernista havia se divorciado da realidade: “A incompreensibilidade torna-se uma virtude; alusões, metáforas e trocadilhos substituem evidências e lógica. Meu próprio artigo é, no mínimo, um exemplo extremamente modesto desse gênero bem estabelecido.”
Embora Sokal tenha como alvo direto os estudos culturais, artigos fraudulentos também ocorreram na ciência da computação. Em 2014, surpreendentes 120 artigos foram removidos de publicações de propriedade da Springer e do Instituto de Engenheiros Elétricos e Eletrônicos depois que se descobriu que eram jargões gerados por computador. Os artigos foram feitos usando um software chamado SCIgen , que foi originalmente desenvolvido no MIT em 2005 como parte de uma tentativa de provar que as conferências não estavam examinando adequadamente os artigos.
O SCIgen combina sequências aleatórias de palavras para criar artigos falsos, incluindo um que promete “concentrar nossos esforços em refutar que as planilhas podem ser feitas com base no conhecimento, empáticas e compactas”. O programa aparentemente revelou-se mais popular do que os seus criadores pretendiam – os 120 artigos removidos foram todos submetidos com sucesso a conferências chinesas e posteriormente publicados. Springer observou que eles fazem revisão por pares antes da publicação, tornando ainda mais estranho o fato de terem publicado 16 dos artigos falsos.
Outro artigo falso, criado por John Bohannon e que pretendia analisar as propriedades anticâncer de um tipo de líquen, foi aceito por 157 periódicos (98 o rejeitaram). Isso ocorreu apesar do fato de que “qualquer revisor com mais do que um conhecimento de química do ensino médio e a capacidade de compreender um gráfico de dados básico deveria ter detectado imediatamente as deficiências do artigo”. Bohannon quis destacar o facto de muitas revistas de acesso aberto se concentrarem demasiado em ganhar dinheiro através de taxas de publicação dos autores, mesmo ao custo da publicação de investigação imprecisa.
2 A psicologia como exemplo dos problemas
A psicologia é gravemente afetada por muitas das questões desta lista. A pesquisa sugeriu que cerca de 97 por cento dos estudos publicados são positivos, e o problema persiste desde pelo menos 1959. Além disso, uma pesquisa descobriu que mais de 50 por cento dos psicólogos disseram que esperariam até obter resultados positivos antes de decidirem publicar. Mais de 40 por cento admitiram que apenas relataram estudos que alcançaram resultados positivos. Foi sugerido que isso ocorre porque as revistas de psicologia tendem a buscar resultados novos em vez de resultados rigorosos. Seja qual for a razão, a psicologia foi colocada ao lado da psiquiatria e da economia como os ramos da ciência com maior probabilidade de sofrer do viés de publicação .
Um outro problema é que os estudos de psicologia raramente são replicados – uma vez que muitas revistas não publicam replicações directas, não há muito incentivo para os investigadores se esforçarem. Uma solução possível é Psychfiledrawer , que publica tentativas de replicação. No entanto, ainda há pouco benefício profissional em submeter e alguns pesquisadores têm sido desencorajados pelo risco de críticas de colegas.
Mais positivamente, tem havido um impulso recente para a replicação do estudo e um estudo promissor que concluiu que 10 dos 13 estudos que tentou replicar produziram os mesmos resultados . Embora isto não resolva a falta de resultados negativos publicados, nem os problemas comumente mencionados com a análise estatística , é um passo na direção certa.
1 Estudos feitos em ratos muitas vezes não podem ser extrapolados para humanos
Muitos estudos nas ciências biomédicas são realizados em modelos animais, principalmente em ratos. Isso ocorre porque os ratos, na verdade, têm muitas semelhanças com os humanos, incluindo vias bioquímicas semelhantes. Cerca de 99% dos genes humanos possuem um homólogo de camundongo (gene com um ancestral comum).
Mas embora a investigação em ratos tenha levado a alguns sucessos notáveis, tem havido problemas na sua tradução para humanos em áreas como o cancro , doenças neurológicas e doenças inflamatórias . Pesquisas recentes sugerem que, apesar das semelhanças genéticas acima mencionadas, as sequências genéticas que codificam proteínas reguladoras específicas são muito diferentes entre humanos e ratos.
As diferenças são particularmente importantes no sistema nervoso, onde existem muitas diferenças no desenvolvimento do cérebro. O neocórtex do rato – que está fortemente ligado à percepção – é muito menos desenvolvido do que o equivalente humano . Além disso, os sintomas das doenças neurológicas têm frequentemente uma componente cognitiva, e as diferenças na cognição entre ratos e humanos são claramente vastas.
Então, da próxima vez que você vir um avanço médico surpreendente anunciado no noticiário, verifique se a pesquisa foi feita em ratos ou em humanos.
