Page Comparison

Research syntheses that are eligible for inclusion in a JBI Umbrella Review must be assessed for methodological quality. Ideally, only high quality systematic reviews should be included in an Umbrella Review. There are a variety of checklists and tools available to assess research syntheses and systematic reviews. Most checklists use a series of criteria that can be scored as being “met” or “not met” or “unclear” and in some instances as “not applicable”. The decision as to whether or not to include a study can be made based on meeting a pre-determined proportion of all criteria, or on certain criteria being met. It is also possible to weight certain criteria differently. Decisions about a scoring system or any cut-off for exclusion should be made in advance and agreed upon by all reviewers before critical appraisal commences. The protocol, therefore, should detail how selected research syntheses will be assessed for quality, e.g. use of a predetermined cut off score.

It is the JBI policy that all systematic reviews need to be critically appraised using the standard JBI critical appraisal instrument for Systematic reviews and Research Syntheses that is available in Appendix 10.1 of this chapter (further details regarding the appraisal questions can be found in Appendix 10.2). For a JBI Umbrella Review the assessment criteria are available for selection in the JBI SUMARI software. The tool is designed to be used with two independent reviewers conducting the critical appraisal of each research synthesis selected. Reviewers are blinded to each other’s assessment and assessments can only be compared once initial appraisal of an article is completed by both reviewers. Where there is a lack of consensus, discussion between reviewers should occur. In some instances it may be appropriate to seek assistance from a third reviewer. The source of the JBI critical appraisal tool for research syntheses should be cited in the protocol Las síntesis de investigación elegibles para su inclusión en una Revisión Paraguas del JBI deben ser evaluadas en cuanto a su calidad metodológica. Idealmente, solo las revisiones sistemáticas de alta calidad deberían ser incluidas en una revisión paraguas. Existe una variedad de listas de verificación y herramientas disponibles para evaluar las síntesis de investigación y las revisiones sistemáticas.  La mayoría de las listas de verificación utilizan una serie de criterios que pueden puntuarse como "cumple" o "no cumple" o "poco claro" y, en algunos casos, como "no aplica". La decisión de incluir o no un estudio pueden basarse en el cumplimiento de una proporción predeterminada de todos los criterios o en el cumplimiento de determinados criterios. También es posible ponderar determinados criterios de forma diferente. Las decisiones sobre un sistema de puntuación o cualquier punto de corte para la exclusión deben tomarse por adelantado y ser acordadas por todos los revisores antes de que comience la valoración crítica. El protocolo, por lo tanto, debe detallar cómo se evaluará la calidad de las síntesis de investigación seleccionadas, por ejemplo, el uso de una puntuación de corte predeterminada.

La política del JBI es que todas las revisiones sistemáticas deben ser evaluadas críticamente utilizando el instrumento estándar de valoración crítica del JBI para Revisiones Sistemáticas y Síntesis de Investigación que está disponible en el Anexo 10.1 de este capítulo (más detalles sobre las preguntas de valoración en Anexo 10.2). Para una Revisión Paraguas del JBI los criterios de evaluación están disponibles para su selección en el software JBI SUMARI. La herramienta está diseñada para ser utilizada con dos revisores independientes que realicen la valoración crítica de cada síntesis de investigación seleccionada. Los revisores no conocen la evaluación del otro y las evaluaciones solo pueden compararse una vez que ambos revisores han completado la valoración inicial de un artículo. En caso de falta de consenso, los revisores deberán debatir entre sí. En algunos casos puede ser conveniente solicitar la ayuda de un tercer revisor. La fuente de la herramienta de valoración crítica del JBI para síntesis de investigación debe citarse en el protocolo (Aromataris et al., 2015).