Page Comparison

This section should describe the critical appraisal process and instruments that will be used in the review process and the procedures for solving disagreements between reviewers.

The goal of critical appraisal (assessment of risk of bias) is to assess the methodological quality of a study and to determine the extent to which a study has excluded or minimized the possibility of bias in its design, conduct and analysis. Bias refers to systematic errors in the design, conduct and analysis of quantitative studies that may impact the validity of inferences from these studies. Critical appraisal of the studies included in a systematic review is performed with the explicit goal of identifying the risk of diverse biases in these studies. JBI uses standardized critical appraisal tools for the assessment of risk of diverse biases encountered in quantitative studies. There are JBI standardized appraisal tools based on study design appropriate for JBI reviews of effectiveness (see Appendix 3.2 regarding the JBI standardized appraisal tools). JBI systematic reviews are required to use these JBI standardized appraisal tools.Reviewers should refer in the review protocol to the JBI standardized critical appraisal checklists and provide references for these checklists. It is not necessary to provide these checklists in appendices of the review protocol. If non-JBI appraisal tools are proposed then these tools should be briefly described and correctly referenced. In this case, an explicit justification for the use of non-JBI appraisal tools should be provided in the review protocol. 

Two reviewers should perform independent critical appraisal of retrieved studies using the standardized critical appraisal checklists developed by JBI. The protocol should specify that any disagreements are solved by consensus or by the decision of a third reviewer. In experimental studies (randomized experimental studies and quasi-experimental studies) the most important biases are: selection bias, performance bias, attrition bias, detection bias, and reporting bias. In observational studies the most important biases are: selection bias, information bias, and confounding. The review protocol should specify that reviewers plan to report in narrative form and in tables the results of risk of bias (methodological quality) assessments for each aspect of methodological quality (randomization; blinding; measurement; statistical analysis etc.) for each individual study and the overall risk of bias of the entire set of included studies. The critical appraisal phase of the review should not be treated as a rapid ‘box ticking exercise’ on checklists, but rather as a complex, profound, critical, systematic, thorough examination of the risk of bias of each included study, a solid foundation for an appropriate synthesis of the results.

The review protocol should specify if and how the results of critical appraisal will be used for the exclusion of studies from the review. For example, if studies judged of low methodological quality will be excluded from the review, the details of the circumstances under which such decisions will be made and the explicit criteria or decision rules should be explicitly provided, including explanations for what is considered low methodological quality by reviewers. It is the decision of the review team if they want to exclude from the review studies judged of low methodological quality. Reviewers should explain and justify their criteria and decision rules. The decision as to whether or not to include a study can be made based on meeting a predetermined proportion of all criteria, or on certain criteria being met. It is also possible to weight the different criteria differently. The decisions about the scoring system and the cut-off for inclusion of a study in the review should be made in advance and be agreed upon by all participating reviewers before critical appraisal commences. The review protocol should specify if and how the results of critical appraisal will be used in the synthesis (narrative synthesis or meta-analysis) of the results. It is recommended that the results of critical appraisal should be used in the synthesis phase of the review, for the critical examination of the impact of methodological quality of studies on results (including subgroup analysis or sensitivity analysis). JBI reviewers are encouraged to read the article by Porritt et al (2014) regarding study selection and critical appraisalEsta sección debe describir el proceso de valoración crítica y los instrumentos que se utilizarán en el proceso de revisión, así como los procedimientos para resolver desacuerdos entre los revisores.

El objetivo de la valoración crítica (evaluación del riesgo de sesgo) es evaluar la calidad metodológica de un estudio y determinar hasta qué punto un estudio ha excluido o minimizado la posibilidad de sesgo en su diseño, realización y análisis. El sesgo se refiere a errores sistemáticos en el diseño, en la realización y en el análisis de estudios cuantitativos que pueden afectar la validez de las inferencias de estos estudios. La valoración crítica de los estudios incluidos en una revisión sistemática se realiza con el objetivo explícito de identificar el riesgo de diversos sesgos en estos estudios. El JBI utiliza herramientas estandarizadas de valoración crítica para la evaluación del riesgo de diversos sesgos encontrados en estudios cuantitativos. Existen herramientas estandarizadas de valoración del JBI basadas en el diseño del estudio apropiadas para las revisiones de eficacia del JBI (ver Anexo 3.2 sobre las herramientas estandarizadas de valoración del JBI). Se requiere que las revisiones sistemáticas del JBI utilicen estas herramientas estandarizadas de valoración del JBI. Los revisores deben hacer referencia en el protocolo de revisión a las listas de verificación estandarizadas de valoración crítica del JBI y proporcionar referencias para estas listas de verificación. No es necesario proporcionar estas listas de verificación en los Anexos del protocolo de revisión. Si se proponen herramientas de valoración que no sean del JBI, estas herramientas deben describirse brevemente y referenciarse de manera correcta. En este caso, se debe proporcionar en el protocolo de revisión una justificación explícita del uso de herramientas de valoración que no sean del JBI.

Dos revisores deben realizar una valoración crítica independiente de los estudios recuperados utilizando las listas de verificación estandarizadas de valoración crítica desarrolladas por el JBI. El protocolo debe especificar que cualquier desacuerdo se resuelva por consenso o por decisión de un tercer revisor. En los estudios experimentales (estudios experimentales aleatorizados y estudios cuasiexperimentales) los sesgos más importantes son: sesgo de selección, sesgo de realización, sesgo de deserción, sesgo de detección y sesgo de reporte. En los estudios observacionales, los sesgos más importantes son: sesgo de selección, sesgo de información y factores de confusión. El protocolo de revisión debe especificar que los revisores planean informar en forma narrativa y en tablas los resultados de las evaluaciones de riesgo de sesgo (calidad metodológica) para cada aspecto de la calidad metodológica (aleatorización, cegamiento, medición, análisis estadístico, etc.) para cada estudio individual y el riesgo general de sesgo de todo el conjunto de estudios incluidos. La fase de valoración crítica de la revisión no debe tratarse como un rápido "ejercicio de marcar casillas" en las listas de verificación, sino como un análisis complejo, profundo, crítico, sistemático y exhaustivo del riesgo de sesgo de cada estudio incluido, una base sólida para una síntesis apropiada de los resultados.

El protocolo de revisión debe especificar si los resultados de la valoración crítica se utilizarán para la exclusión de estudios de la revisión y cómo se hará. Por ejemplo, si se van a excluir de la revisión estudios considerados de baja calidad metodológica, se deben proporcionar explícitamente los detalles de las circunstancias bajo las cuales se tomarán tales decisiones y los criterios explícitos o las reglas de decisión, incluidas las explicaciones sobre lo que los revisores consideran de baja calidad metodológica. Es decisión del equipo de revisión si desea excluir de la revisión los estudios considerados de baja calidad metodológica. Los revisores deben explicar y justificar sus criterios y reglas de decisión. La decisión de incluir o no un estudio pueden basarse en el cumplimiento de una proporción predeterminada de todos los criterios, o en el cumplimiento de determinados criterios. También es posible ponderar los diferentes criterios de manera diferente. Las decisiones sobre el sistema de puntuación y el punto de corte para la inclusión de un estudio en la revisión deben tomarse por adelantado y ser acordadas por todos los revisores participantes antes de que comience la valoración crítica. El protocolo de revisión debe especificar si y cómo se utilizarán los resultados de la valoración crítica en la síntesis (síntesis narrativa o metaanálisis) de los resultados. Se recomienda que los resultados de la valoración crítica se utilicen en la fase de síntesis de la revisión, para el análisis crítico del impacto de la calidad metodológica de los estudios sobre los resultados (incluido el análisis de subgrupos o el análisis de sensibilidad). Se recomienda a los revisores del JBI que lean el artículo de Porritt et al. (2014) sobre la selección de estudios y la valoración crítica.