Content Comparison

Assessment of methodological quality, or critical appraisal, is a process conducted in systematic reviews to establish the internal validity and risk of bias of studies that meet the review inclusion criteria. JBI has developed a number of tools for assessing the quality of various quantitative study designs that are appropriate to use in systematic reviews assessing questions of etiology & risk (see Appendix II).

The protocol should indicate which tool is going to be used that match the included study designs when determining methodological quality of papers to include in the review. JBI appraisal tools should be used preferentially; if not clear reasoning should be provided. Critical appraisal tools should be cited in the protocol and should be appended if the tools are modified in any way. Critical appraisal must be conducted by two reviewers independently of each other. The reviewers should then meet to discuss the results of their critical appraisal for their final appraisal. If the two reviewers disagree on the final critical appraisal and this cannot be resolved through discussion, a third reviewer may be required.

When detailing the methods of the review report, the section on appraisal should detail the approach to critical appraisal, not the assessment results, and should be consistent with the protocol. The approach to critical appraisal process should include information on what constitutes acceptable levels of information for appraisal and whether the decision to include or exclude studies following critical appraisal is based on meeting a predetermined proportion of criteria or weighing criteria differently. The authors of the review should state a priori in the review protocol the criteria used to determine the inclusion or exclusion of poor quality studies. The authors have to make explicit and agree on criteria to determine whether a study is of good, moderate or poor quality, and based on these criteria or a combination of criteria, the authors can decide whether to include only good quality studies or all studies irrespective of the quality. However, the importance of these criteria (e.g. selection, measurement bias, confounding) will vary with study type and problems specific to the review question.

The report should detail the criteria that were considered when determining the methodological quality of papers considered for inclusion in the review. In the systematic review, appraisal questions should be presented with the results, or appendedLa evaluación de la calidad metodológica, o valoración crítica, es un proceso realizado en las revisiones sistemáticas para establecer la validez interna y el riesgo de sesgo de los estudios que cumplen los criterios de inclusión de la revisión. El JBI ha desarrollado una serie de herramientas para evaluar la calidad de diversos diseños de estudios cuantitativos que son apropiados para su uso en revisiones sistemáticas que evalúan preguntas de etiología y riesgo. (Ver Anexo II).

El protocolo debe indicar qué herramienta se va a utilizar que se ajuste a los diseños de los estudios incluidos a la hora de determinar la calidad metodológica de los artículos que se van a incluir en la revisión. Las herramientas de valoración del JBI deben utilizarse preferentemente; en caso contrario, debe justificarse. Las herramientas de valoración crítica deben citarse en el protocolo y adjuntarse si se modifican de algún modo. La valoración crítica debe ser realizada por dos revisores independientes entre sí. A continuación, los revisores deben reunirse para discutir los resultados de su valoración crítica para su valoración final. Si los dos revisores no están de acuerdo en la valoración crítica final y esto no puede resolverse mediante discusión, puede ser necesario un tercer revisor.

Al detallar los "Métodos" del informe de revisión, la sección sobre la valoración debe detallar el enfoque de la valoración crítica, no los resultados de la evaluación, y debe ser coherente con el protocolo. El enfoque del proceso de valoración crítica debe incluir información sobre qué constituye niveles aceptables de información para la valoración y si la decisión de incluir o excluir estudios tras la valoración crítica se basa en el cumplimiento de una proporción predeterminada de criterios o en ponderar los criterios de forma diferente. Los autores de la revisión deben indicar a priori en el protocolo de revisión los criterios utilizados para determinar la inclusión o exclusión de estudios de baja calidad. Los autores tienen que explicitar y acordar criterios para determinar si un estudio es de buena, moderada o mala calidad, y basándose en estos criterios o en una combinación de ellos, los autores pueden decidir si incluyen solo estudios de buena calidad o todos los estudios independientemente de la calidad. Sin embargo, la importancia de estos criterios (por ejemplo, selección, sesgo de medición, confusión) variará según el tipo de estudio y los problemas específicos de la pregunta de revisión.

El informe debe detallar los criterios que se consideraron para determinar la calidad metodológica de los artículos considerados para su inclusión en la revisión. En la revisión sistemática, las preguntas de valoración deben presentarse con los resultados, o adjuntarse como anexo.