Metaciência

A metaciência (também conhecida como meta-pesquisa ou pesquisa baseada em evidências ) é o uso da metodologia científica para estudar a própria ciência.^[1][2] A metaciência busca aumentar a qualidade da pesquisa científica e reduzir o desperdício.^[3] Também é conhecido como "pesquisa em pesquisa " e " ciência da ciência ", pois utiliza métodos de pesquisa para estudar como a pesquisa é feita e onde melhorias podem ser feitas.^[4] A metaciência se preocupa com todas as áreas da ciência e tem sido descrita como "uma visão panorâmica da ciência" (tradução livre).^[5] Nas palavras de John Ioannidis, "a ciência é a melhor coisa que já aconteceu aos seres humanos ... mas podemos fazê-la melhor".^[6]

Algumas medidas já foram implementadas para resolver os problemas revelados pela metaciência. Essas medidas incluem o pré-registro de estudos científicos e ensaios clínicos, bem como a fundação de organizações como o CONSORT e a EQUATOR Network que emitem diretrizes para metodologia e elaboração de relatórios.^[7][8][9]Há esforços contínuos para reformar o sistema de incentivos acadêmicos, melhorar o processo de revisão por pares, reduzir o uso indevido de estatísticas, combater o viés na literatura científica e aumentar a qualidade e a eficiência gerais do processo científico.^[10][11]

Em 1966, um artigo inicial de meta-pesquisa examinou os métodos estatísticos de 295 artigos publicados em dez revistas médicas de alto perfil. Ele descobriu que "em quase 73% dos relatórios lidos ... foram tiradas conclusões quando a justificativa para essas conclusões era inválida".^[12] Mais tarde, a meta-pesquisa identificou ampla dificuldade em replicar resultados em muitos campos científicos, incluindo psicologia e medicina . O termo "crise de replicação " foi cunhado no início de 2010 como parte da conscientização crescente do problema.^[13] A metaciência cresceu como uma reação à crise de replicação e às preocupações com o desperdício na pesquisa.^[14]

Muitas editoras científicas de destaque estão interessados em meta-pesquisa e em melhorar a qualidade de suas publicações. Periódicos renomados, como Science, The Lancet e Nature, fornecem cobertura contínua de meta-pesquisa e problemas com reprodutibilidade.^[15] Em 2012, o PLOS ONE lançou uma iniciativa de reprodutibilidade.^[16]

A primeira conferência internacional na ampla área de meta-pesquisa foi a conferência Research Waste/EQUATOR, realizada em Edimburgo em 2015; a primeira conferência internacional sobre revisão por pares foi o Congresso de Revisão por Pares, realizado em 1989.^[17][18] Em 2016, foi lançado o Research Integrity and Peer Review . O editorial de abertura da revista pedia "pesquisas que aumentem nossa compreensão e sugiram possíveis soluções para questões relacionadas à revisão por pares, relatórios de estudos e ética em pesquisas e publicações".^[19]

A metaciência pode ser categorizada em cinco áreas principais de interesse: métodos, relatos, reprodutibilidade, formas de avaliação e incentivos. Essas áreas correspondem, respectivamente, a como executar, comunicar, verificar, avaliar e recompensar práticas de pesquisas.^[20]

Esse ramo da metaciência procura identificar práticas de pesquisa ruins, incluindo vieses, desenhos de estudo inadequado e abuso da estatísticas, e encontrar métodos para reduzir essas práticas.^[20] Artigos de meta-pesquisa já apontaram numerosos vieses na literatura científica.^[21] Dentre eles, destacam-se o uso indevido de valores-p e o abuso de significância estatística.^[22]

Esse ramo da metaciência procura identificar práticas precárias no relato, na explicação, na disseminação e na popularização da pesquisa científica. Relatórios ruins dificultam a interpretação precisa dos resultados, a replicação de experimentos e a identificação de vieses e conflitos de interesse. Soluções apresentadas incluem a implementação de novos padrões de relatório e maior transparência em estudos científicos . Há uma tentativa de padronizar o relato de dados e metodologia por meio da criação diretrizes através de agências como como o CONSORT e a rede EQUATOR.^[20]

A crise de reprodutibilidade é uma crise metodológica em andamento, na qual se constatou que muitos estudos científicos são difíceis ou impossíveis de replicar.^[23][24] Embora a crise tenha suas raízes na meta-pesquisa de meados ao final de 1900, a frase "crise de replicação" não foi cunhada até o início da década de 2010 como parte de uma crescente conscientização da comunidade sobre o problema.^{[13] [20]} A crise de replicação foi constatada particularmente na psicologia (especialmente na psicologia social) e na medicina.^[25][26] A replicação é uma parte essencial do processo científico, e a falha generalizada da replicação põe em causa a confiabilidade dos campos afetados.^[27]

Além disso, a replicação da pesquisa (ou falha na replicação) é, de forma geral, menos valorizada em termos de recompensas que a pesquisa original e isso desencoraja o relato e até tentativas de replicar estudos.^[28][29]

Esse ramo da metaciência procura identificar bases científicas para a revisão por pares e alternativas a esse sistema. A meta-pesquisa avalia os sistemas de revisão por pares, incluindo a revisão por pares antes da publicação, a revisão por pares após a publicação e a revisão por pares aberta . Também busca desenvolver melhores critérios de financiamento à pesquisa.^[20]

Esse ramo da metaciência busca melhores sistemas de recompensas e incentivos para indivíduos com boas práticas de pesquisa. Isso inclui o estudo da precisão, eficácia, custos e benefícios de diferentes abordagens para classificar e avaliar pesquisas e pesquisadores .^[20] Críticos argumentam que incentivos perversos criaram um ambiente de publicação ou perecimento (do inglês, publish or perish) na academia, promovendo a produção de junk science, pesquisa de baixa qualidade e falsos positivos. De acordo com Brian Nosek, “o problema que enfrentamos é que o sistema de incentivos se concentra quase inteiramente em conseguir publicar sua pesquisa, e não em pesquisar da forma correta”.^[30] Os proponentes da reforma procuram estruturar o sistema de incentivos para favorecer maior estudos e resultados com maior qualidade.^[31]

A meta-pesquisa, identificando falhas na prática científica, inspirou algumas reformas na ciência que vêm sendo postas em prática. Essas reformas buscam abordar e solucionar problemas na prática científica que levam a pesquisas de baixa qualidade ou ineficientes.

A prática de registrar um estudo científico antes de ser realizado é chamada de pré-registro. Surgiu como um meio de lidar com a crise de replicação. O pré-registro pode ser realizado em um repositório, ou então através da submissão de um relatório registrado a um periódico científico, que é aceito para publicação ou rejeitado com base em justificativa teórica, desenho experimental e análise estatística proposta antes mesmo que a pesquisa seja feita. O pré-registro de estudos serve para evitar o viés de publicação, reduzir o p-hacking e aumentar a replicabilidade.^[32][33]

A necessidade de maior consistência e qualidade geral de relato levou ao surgimento de organizações que produzem tais diretrizes, como o CONSORT (Consolidated Standards of Reporting Trials) e a EQUATOR Network.^[7][8][9]

A rede EQUATOR (Enhancing the QUAlity and Transparency Of health Research) é uma iniciativa internacional destinada a promover informações transparentes e rigorosas sobre estudos de pesquisa em saúde, aumentando o valor e confiabilidade da literatura da área de pesquisa médica. ^[34]A rede atua como uma organização "guarda-chuva", reunindo desenvolvedores de diretrizes, editores de revistas médicas e revisores, órgãos de financiamento de pesquisas e outras partes interessadas com um interesse mútuo em melhorar a qualidade das publicações de pesquisa e da própria pesquisa.^[35]

A pesquisa clínica em medicina geralmente é de baixa qualidade e muitos estudos não podem ser replicados.^[36][37] A indústria farmacêutica exerce influência substancial no projeto e na execução de pesquisas médicas. Conflitos de interesse são comuns entre autores de literatura médica ^[38] e entre editores de revistas médicas. Embora quase todas as revistas médicas exijam que seus autores divulguem conflitos de interesse, os editores não são obrigados a fazê-lo.^[39] Conflitos financeiros de interesse foram associados a taxas mais altas de resultados positivos do estudo e em estudos de antidepressivos, o patrocínio farmacêutico é o melhor preditor do resultado do estudo.^[40]

O cegamento é outro foco da meta-pesquisa, pois o erro causado pelo mau cegamento, ou não cegamento, dos pesquisadores é uma fonte de viés experimental. O cegamento não é bem reportado na literatura médica, e a falta de conhecimento generalizado sobre o assunto resultou em má implementação da cegueira em diversosensaios clínicos .^[41] Além disso, falhas no cegamento raramente são medidas ou relatadas.^[42] Pesquisas mostrando o fracasso do cegamento em ensaios antidepressivos levaram alguns cientistas a argumentar que os antidepressivos não são melhores que o placebo .^[43][44] À luz de uma meta-pesquisa que mostre falhas no cegamento, os padrões CONSORT recomendam que todos os ensaios clínicos avaliem e relatem a qualidade do cegamento.^[45]

Estudos demonstraram que revisões sistemáticas são utilizadas de maneira subótima no planejamento de uma nova pesquisa ou na análise final dos resultados.^[46] Meta-análises cumulativas de estudos que avaliam a eficácia de intervenções médicas mostraram que muitos ensaios clínicos poderiam ter sido evitados se uma revisão sistemática das evidências existentes fosse realizada antes da realização de um novo estudo.^[47][48][49] Por exemplo, Lau et al. analisaram 33 ensaios clínicos (envolvendo 36974 pacientes) avaliando a eficácia da estreptoquinase intravenosa no infarto agudo do miocárdio. Sua meta-análise cumulativa demonstrou que 25 dos 33 estudos poderiam ter sido evitados se uma revisão sistemática fosse realizada antes da realização de um novo estudo. Em outras palavras, randomizar 34542 pacientes era potencialmente desnecessário.

Um estudo descobriu que apenas 2 dos 25 ensaios clínicos randomizados publicados em cinco grandes revistas médicas gerais em maio de 1997 incluíram uma revisão sistemática atualizada na discussão dos resultados. Os relatórios subsequentes confirmaram este resultado.^[50][51][52] Esses relatórios também mostraram que a maioria dos ensaios clínicos randomizados publicados em cinco grandes revistas médicas não apresentou nenhuma revisão sistemática das evidências existentes para justificar a pesquisa.^[53] Robinson et al. analisaram 1523 ensaios clínicos incluídos em 227 meta-análises e concluíram que "menos de um quarto dos estudos anteriores relevantes" foram citados. Eles também confirmaram as descobertas anteriores de que os relatórios de ensaios clínicos não apresentam revisão sistemática para justificar a pesquisa ou resumir os resultados.^[54]

A metaciência revelou problemas significativos na pesquisa psicológica. O campo sofre de alto viés, baixa reprodutibilidade e uso indevido de estatística generalizado .^[55][56][57] A crise de replicação afeta a psicologia mais fortemente do que qualquer outro campo; até dois terços das descobertas altamente divulgadas podem ser impossíveis de replicar.^[58] Meta-pesquisas apontam que 80-95% dos estudos psicológicos publicados corroboram suas hipóteses iniciais, o que implica fortemente a existência de viés de publicação para resultados positivos.^[59]

A crise de replicação realimentou a esforços para retestar descobertas importantes do campo.^[60][61] Em resposta a preocupações com o viés de publicação e o hackeamento de p, mais de 140 revistas de psicologia adotaram a revisão cega ao resultado, na qual os estudos são pré-registrados e publicados sem levar em consideração seus resultados.^[62] Uma análise dessas reformas estimou que 61% dos estudos com resultados cegos produzem resultados nulos, em contraste com 5 a 20% em pesquisas anteriores. Essa análise mostra que a revisão por pares, sem resultados, reduz substancialmente o viés de publicação.^[59]

Os psicólogos rotineiramente confundem significância estatística com importância prática, relatando entusiasticamente grande certeza em fatos sem importância.^[63] Alguns psicólogos responderam com um aumento no uso de estatísticas de tamanho de efeito, em vez de depender exclusivamente dos valores de p.

Richard Feynman observou que as estimativas de constantes físicas estavam mais próximas dos valores publicados do que seria esperado por acaso. Acreditava-se que isso era resultado de viés de confirmação: os resultados que concordavam com a literatura existente eram mais prováveis de serem acreditados e, portanto, publicados. Os físicos agora implementam ofuscamento para evitar esse tipo de viés.^[64]

A jornalologia, também conhecida como ciência da publicação, é o estudo acadêmico de todos os aspectos do processo de publicação acadêmica .^[65][66] O campo procura melhorar a qualidade da pesquisa acadêmica implementando práticas baseadas em evidências na publicação acadêmica.^[67] O termo "jornalologia" foi cunhado por Stephen Lock, o ex editor-chefe do BMJ. O primeiro Congresso de Revisão por Pares, realizado em 1989 em Chicago, Illinois, é considerado um momento crucial na fundação da jornalologia como um campo distinto.^[68] O campo da revista científica tem influenciado na busca pelo pré-registro de estudos em ciências, particularmente em ensaios clínicos. Agora, o registro de ensaios clínicos é esperado na maioria dos países.

A cientometria preocupa-se com a medição de dados bibliográficos em publicações científicas. As principais questões de pesquisa incluem a medição do impacto de trabalhos de pesquisa individuais e dos periódicos acadêmicos que os publicam, a compreensão do processo de citaçãos científicas e o uso de tais medidas em contextos de política e gerenciamento.^[69]

Ciência de dados científicos é o uso da ciência de dados para analisar trabalhos de pesquisa. Abrange métodos qualitativos e quantitativos. A pesquisa em ciência de dados científicos inclui detecção de fraudes ^[70] e análise de redes de citações.^[71]

• Epistemiologia
• Ciência
• Práticas de Pesquisa Questionáveis
• P-hacking
• Viés de citação
• Viés de memória
• Viés de sobrevivência
• Viés de confirmação
• Open science
• Logosofia
• Saúde baseada em eviências
• História da ciência

Referências

• Harris, Richard. Rigor Mortis: How Sloppy Science Creates Worthless Cures, Crushes Hopes, and Wastes Billions. [S.l.: s.n.] ISBN 9780465097913 

• «Iniciativa Brasileira de Reprodutibildade» 
• Minerva: Um Jornal de Ciência, Aprendizado e Política
• Integridade da pesquisa e revisão por pares
• Política de Pesquisa
• Ciência e Políticas Públicas

Conferências

• Simpósio Metascience2019 em Stanford

• Portal da ciência
• Portal da história da ciência