10.2.8 Evaluación de la calidad metodológica

Las síntesis de investigación elegibles para su inclusión en una Revisión Paraguas del JBI deben ser evaluadas en cuanto a su calidad metodológica. Idealmente, solo las revisiones sistemáticas de alta calidad deberían ser incluidas en una revisión paraguas. Existe una variedad de listas de verificación y herramientas disponibles para evaluar las síntesis de investigación y las revisiones sistemáticas.  La mayoría de las listas de verificación utilizan una serie de criterios que pueden puntuarse como "cumple" o "no cumple" o "poco claro" y, en algunos casos, como "no aplica". La decisión de incluir o no un estudio pueden basarse en el cumplimiento de una proporción predeterminada de todos los criterios o en el cumplimiento de determinados criterios. También es posible ponderar determinados criterios de forma diferente. Las decisiones sobre un sistema de puntuación o cualquier punto de corte para la exclusión deben tomarse por adelantado y ser acordadas por todos los revisores antes de que comience la valoración crítica. El protocolo, por lo tanto, debe detallar cómo se evaluará la calidad de las síntesis de investigación seleccionadas, por ejemplo, el uso de una puntuación de corte predeterminada.

La política del JBI es que todas las revisiones sistemáticas deben ser evaluadas críticamente utilizando el instrumento estándar de valoración crítica del JBI para Revisiones Sistemáticas y Síntesis de Investigación que está disponible en el Anexo 10.1 de este capítulo (más detalles sobre las preguntas de valoración en Anexo 10.2). Para una Revisión Paraguas del JBI los criterios de evaluación están disponibles para su selección en el software JBI SUMARI. La herramienta está diseñada para ser utilizada con dos revisores independientes que realicen la valoración crítica de cada síntesis de investigación seleccionada. Los revisores no conocen la evaluación del otro y las evaluaciones solo pueden compararse una vez que ambos revisores han completado la valoración inicial de un artículo. En caso de falta de consenso, los revisores deberán debatir entre sí. En algunos casos puede ser conveniente solicitar la ayuda de un tercer revisor. La fuente de la herramienta de valoración crítica del JBI para síntesis de investigación debe citarse en el protocolo (Aromataris et al., 2015).