Utilizando o Sistema GRADE em Revisões Sistemáticas e Metanálises

O GRADE (Grading of Recommendations Assessment, Development and Evaluation) é um sistema desenvolvido para graduar a qualidade das evidências e a força das recomendações em saúde. Atualmente cerca de 100 instituições internacionais utilizam o GRADE, entre elas a Organização Mundial da Saúde (OMS), o National Institute for Health and Clinical Excellence (NICE), o Centers for Disease Controland Preventon (CDC) e a colaboração Cochrane.

O sistema GRADE atribui níveis de evidência e classifica a força da recomendação para questões em saúde.

O nível de evidência representa a confiança na informação utilizada. No sistema GRADE, a avaliação da qualidade da evidência é realizada para cada desfecho analisado utilizando o conjunto disponível de evidência. Por exemplo, se a revisão sistemática é para avaliar o efeito de corticoesteroides em pacientes com sepse, pode ser dado um nível de evidência para o desfecho mortalidade e outro nível de evidência para tempo de hospitalização. No GRADE a qualidade da evidência é classificada em quatro níveis: alto, moderado, baixo, muito baixo, conforme apresentado no quadro abaixo.

Os seguintes fatores são considerados para determinar o nível da evidência:
• Delineamento do estudo;
• Limitações metodológicas (risco de viés);
• Inconsistência;
• Evidência indireta;
• Imprecisão;
• Viés de publicação.
• Magnitude de efeito;
• Gradiente dose-resposta;
• Fatores de confusão residuais.

Comparado aos demais sistemas utilizados para a classificação das evidências, o GRADE é o mais abrangente, considerando uma gama maior de informações. Para aprender mais sobre o processo de avaliação da qualidade de evidência de acordo com o GRADE, sugerimos a leitura da diretriz metodológica do Ministério da Saúde “Sistema GRADE – manual de graduação da qualidade da evidência e força de recomendação para tomada de decisão em saúde”, que tem o Dr. Maicon Falavigna, sócio da HTANALYZE e membro do GRADE working group, como um dos autores. O link para esse documento encontra-se no final do post.

Em revisões sistemáticas a avaliação GRADE geralmente é apresentada através do que chamamos de tabela sumária de resultados. Abaixo segue um exemplo obtido de uma revisão da Colaboração Cochrane.

Observe que há uma linha para cada desfecho de interesse em saúde. Como pode ser visto na segunda coluna, o número de estudos e de pacientes varia para cada desfecho, e é avaliada a qualidade da evidência para esse desfecho tendo por base esse conjunto de estudos. São apresentadas medidas de efeito absoluto e relativo para auxiliar na tomada de decisão. Por exemplo, para tromboembolismo sintomático (Symptomatic VTE) a intervenção implica em uma redução relativa de risco de 45% (RR = 0.55); esperando um risco basal de 2,9% (29 eventos em 1000), o uso de heparina reduzirá em 13 o número de eventos a cada 1000 pacientes tratados. Note também que foi avaliada a qualidade da evidência para qualidade de vida (Health related quality of life), apesar de não possuir medida sumária quantitativa; abordagem semelhante pode ser utilizada em revisões sistemáticas qualitativas. For fim, observe que nas notas da tabela estão explícitos os julgamentos realizados para graduar a qualidade da evidência, deixando o processo transparente.

A força da recomendação expressa a ênfase para que seja adotada ou rejeitada uma determinada conduta, considerando potenciais vantagens e desvantagens, como tamanho do efeito, qualidade da evidência e custos da intervenção. A recomendação é classificada em forte ou fraca, podendo ser a favor ou contra realizar a intervenção proposta. Mesmo baseada na mesma evidência, a recomendação pode ser diferente, ou ter diferente graduação, de acordo com o cenário ao qual será aplicada. Por exemplo, uma intervenção de alto custo pode ter uma recomendação forte a favor de seu uso em um país desenvolvido, enquanto, por limitações financeiras, pode ter uma recomendação fraca de uso em um país em desenvolvimento.

Abaixo colocamos algumas perguntas e respostas comuns em nossos cursos abordando o uso do GRADE na publicação de revisões sistemáticas:

1 – Qual é a diferença entre instrumentos como o Cochrane Risk of Bias Tool e o GRADE?
O Cochrane Risk of Bias Tool é utilizado para avaliar a qualidade metodológica (risco de viés) dos estudos individuais. O GRADE tenta avaliar o conjunto da evidência para cada questão de pesquisa proposta (PICO), considera, além do risco de viés, outros domínios, como visto no texto acima. Consideramos essas abordagens como complementares, não substitutivas.

2 – Em uma revisão sistemática devo apresentar tanto a qualidade da evidência quanto a força da recomendação?
Não, a força de recomendação envolve a discussão de domínios que transcendem a qualidade da evidência. Por exemplo, é necessária a discussão sobre custos, custo-efetividade e preferências dos usuários. Essa discussão é variável de acordo com o cenário no qual quer se propor uma recomendação e geralmente é utilizado em documentos como protocolos e diretrizes clínico-assistenciais.

3 – O GRADE pode ser utilizado apenas para revisões sistemáticas de intervenções?
O sistema é utilizado principalmente para avaliar a qualidade da evidência para intervenções, sendo mais simples e difundido para esse uso. Contudo há extensões que permitem a sua utilização para outros propósitos, como testes diagnósticos e avaliação prognóstica. Também pode ser utilizado para revisões sistemáticas qualitativas, apesar de ser pouco comum. No final do post são apresentadas algumas referências específicas para leitura complementar.

4 – Avaliações GRADE podem ser discordantes?
Sim, o GRADE é um sistema estruturado, mas os julgamentos são susceptíveis a subjetividade. Por isso é necessária a apresentação de tabelas GRADE deixando claro o motivo de cada nível atribuído, garantindo a transparência do processo e dando base ao leitor tirar suas próprias conclusões caso assim o deseje. Apesar desta subjetividade, a concordância costuma ser boa entre diferentes avaliadores (kappa = 0,72)

5 – Devo avaliar a qualidade da evidência da minha revisão utilizado o GRADE?
Recomendamos essa prática, em especial se estiver realizando uma revisão de intervenção. A utilização do GRADE em revisões sistemáticas é uma tendência, demandando pouco trabalho adicional, fornecendo informações relevantes para o autor e, por conseguinte, aumentando as chances de publicação e de citação da revisão.

6 – Como posso descrever a qualidade da evidência e uma revisão sistemática utilizando o GRADE?
Há diversas formas possíveis, não havendo uma forma padrão. Sugerimos descrever narrativamente o nível de evidência no abstract, junto à medida de efeito. Por exemplo, “the intervention reduced hospitalization rate (RR 0.60; 95%CI 0.40 – 0.85; moderate quality of evidence). Além disso é importante a apresentação das tabelas GRADE, sendo a tabela de “Sumário de Resultados” preferível ao “Perfil de Evidências” devido à sua maior simplicidade e clareza. A tabela irá conter as informações sobre os julgamentos realizados pelos autores para atribuir determinado nível de evidência às questões de pesquisa, assegurando a transparência do processo. Essa tabela pode ser apresentada no apêndice caso haja limitação no número de tabelas e de figuras no corpo do artigo.

7 – Como posso criar tabelas GRADE?
Tabelas GRADE podem ser desenvolvidas utilizando o aplicativo “Guideline Development Tool”. Ele é um aplicativo web-based gratuito, não requerendo instalação. Apesar de ser desenvolvido principalmente para auxiliar o processo de desenvolvimento de diretrizes clínico-assistenciais, possui um módulo que possibilita facilidade no processo de criar as tabelas, sendo possível algumas funcionalidades como importação direta de dados a partir do RevMan e exportação das tabelas para formato Word, permitindo posterior edição. Atualmente o aplicativo está sendo traduzido para o português.

Tem outras dúvidas? Faça sua pergunta nos comentários que teremos o maior prazer em responder.

Material complementar sugerido:

Ministério da Saúde. Diretrizes Metodológicas: O sistema GRADE – manual de graduação da qualidade da evidência e força de recomendação para tomada de decisão em saúde. 2014. Disponível em: http://bvsms.saude.gov.br/bvs/ct/PDF/diretriz_do_grade.pdf

GRADE  guidelines – Journal of Clinical Epidemiology series. Disponível em: http://www.jclinepi.com/content/jce-GRADE-Series

MacGRADE Centre Training Modules. Disponível em: http://cebgrade.mcmaster.ca/training/

Iorio A, Spencer FA, Falavigna M, Alba C, Lang E, Burnand B, McGinn T, Hayden J, Williams K, Shea B, Wolff R, Kujpers T, Perel P, Vandvik PO, Glasziou P, Schunemann H, Guyatt G. Use of GRADE for assessment of evidence about prognosis: rating confidence in estimates of event rates in broad categories of patients. BMJ. 2015 Mar 16;350:h870.

Schünemann HJ, Oxman AD, Brozek J, Glasziou P, Jaeschke R, Vist GE, Williams JW Jr, Kunz R, Craig J, Montori VM, Bossuyt P, Guyatt GH; GRADE Working Group. Grading quality of evidence and strength of recommendations for diagnostic tests and strategies. BMJ. 2008 May 17;336(7653):1106-10.

Puhan MA, Schünemann HJ, Murad MH, Li T, Brignardello-Petersen R, Singh JA, Kessels AG, Guyatt GH; GRADE Working Group.A GRADE Working Group approach for rating the quality of treatment effect estimates from network meta-analysis.BMJ. 2014 Sep 24;349:g5630.