Qualidade da evidência em Ensaios Clínicos I: Cochrane Risk of Bias Tool

Respostas incorretas em pesquisa pode ser decorrente de dois fatores: o acaso (erros aleatórios) ou vieses (erros sistemáticos). Viés (bias) é um erro sistemático na condução do estudo (por exemplo, no recrutamento, avaliação de desfechos ou análise dos dados), podendo levar a resultados incorretos.

A qualidade metodológica de um estudo está associada a menor risco de vieses. Resultados procedente de estudos de boa qualidade são mais confiáveis, enquanto isso, maior grau de incerteza está presente em resultados procedentes de estudos de baixa qualidade. Assim, a análise da qualidade metodológica de estudos é importante no processo de desenvolvimento de uma revisão sistemática.

Entre os instrumentos disponíveis para avaliação da qualidade da evidência de ensaios clínicos em uma revisão sistemática, o mais conhecido e utilizado é a ferramenta da Cochrane de avaliação de risco de viés (Cochrane Risk of Bias Tool). De acordo com o instrumento, para cada estudo independentemente são avaliados diferentes domínios relacionados a risco de vieses:

• Geração da sequência de randomização: corresponde ao método utilizado para gerar a sequência de alocação dos participantes, que deve ser aleatório;
• Sigilo da alocação: o método para alocar os participantes aos grupos do estudo, que idealmente o investigador não deve conseguir interferir para onde ele será alocado até que o participante tenha ingressado no estudo;
• Mascaramento (cegamento) de participantes e equipe: corresponde ao paciente e a equipe do estudo desconhecer a que grupo o mesmo foi alocado;
• Mascaramento (cegamento) na avaliação de desfecho: corresponde aos avaliadores de desfecho desconhecerem a que grupo os participantes foram alocados;
• Dados incompletos de desfechos: corresponde a perdas de seguimento de participantes do estudo ou missings para determinados desfechos avaliados;
• Relato seletivo de desfechos: corresponde à possibilidade dos autores terem avaliados múltiplos desfechos, mas relatados apenas alguns de maior conveniência;
• Outras fontes de vieses: outros potenciais vieses, não compreendidos nos domínios acima descritos.

Para cada um desses domínios é avaliado o risco de viés, sendo classificado como alto (high), incerto (nuclear) ou baixo risco de viés (low risk of bias). Informações adicionais sobre como aplicar o instrumento podem ser consultadas no capítulo 8 do Cochrane Handbook.

A avaliação da qualidade dos estudos faz parte da extração de dados, também sendo recomendada sua realização em duplicata. Os dados podem ser apresentados em forma de tabela ou figuras. As tabelas podem ser realizadas em um editor de texto comum (como o Microsoft Word); as figuras geralmente são feitas com o Review Manager (RevMan), software de desenvolvimento de revisões sistemáticas da Cochrane. Em um artigo geralmente é apresentada uma tabela ou figura única, podendo ser essa colocada no apêndice ou no corpo do artigo. Abaixo seguem dois exemplos:

Tabela: exemplo da apresentação da qualidade dos estudos individuais em uma revisão sistemática (fonte: Tricco AC et al. CMAJ. 2013 Nov 5;185(16):1393-401)

Figura: exemplo da apresentação da qualidade dos estudos individuais em uma revisão sistemática (fonte: Jin-Wei Ai et al. Sci Rep. 2017; 7: 40185)

Críticas sobre o instrumento

A Cochrane Risk of Bias Tool foi desenvolvida entre 2005 e 2007, sendo relativamente simples de ser aplicada e mais acurada do que os demais instrumentos disponíveis na época. Contudo, nos últimos anos, com a evolução do entendimento sobre vieses epidemiológicos e revisões sistemáticas, vem sendo levantadas potenciais limitações do instrumento. Em especial:

• O instrumento avalia o estudo em geral, apesar dos vieses poderem ter influência diferente em cada desfecho. Por exemplo, cegamento de avaliadores de desfecho pode ser importante para avaliação de dor, mas não possui impacto sobre mortalidade;
• Há sobreposição dos domínios de “Geração da sequência de randomização” e “Sigilo de Alocação”, devendo os mesmos serem avaliados em conjunto;
• Pode haver baixa concordância entre diferentes avaliadores, em especial se o instrumento for aplicado por pesquisadores sem treinamento adequado e sem padronização dos julgamentos;
• Particularidades de ensaios clínicos em cluster e do tipo crossover não são compreendidas no instrumento;
• O domínio “outras fontes de vieses” não é claro para os avaliadores.

Direcionamentos futuros:

Novo instrumento para avaliação do risco de viés foi desenvolvido pela Colaboração Cochrane, sendo apresentado no Cochrane Colloquium, em outubro de 2016, em Seul. O instrumento é chamado de RoB 2.0 (de Risk of Bias). Discutiremos em nosso próximo post. Em nosso julgamento o RoB 2.0 é mais completo e acurado, apesar de possuir maior complexidade. Esse instrumento ainda não é o instrumento oficial da Cochrane, mas está disponível para ser utilizado. Acreditamos que o RoB 2.0 irá gradativamente ocupar o espaço do Cochrane Risk of Bias Tool, mas por ora, seu uso é opcional.

Importante mencionar que o esses instrumentos são utilizados para avaliar a qualidade de ensaios clínicos individuais e não a qualidade do conjunto da evidência, que usualmente é avaliado com o GRADE. O GRADE deve ser aplicado em uma revisão sistemática sequencialmente a esses instrumentos, seja o RoB 2.0, seja a Cochrane Risk of Bias Tool.

Cursos

Para quem quiser se aprofundar mais nesses temas, a HTANALYZE oferece cursos introdutórios e avançados em revisão sistemática e metanálise. Acesse nosso site para maiores informações.