Page Comparison

As the process relates to textual findings rather than numeric data, the need for methodological homogeneity – so important in the meta-analysis of the results of quantitative studies – is not a consideration.

This section of the report should include how the findings were synthesized. Where meta-aggregation is possible, textual findings should be pooled using JBI SUMARI. The units of extraction in this process are specific conclusions stated by the author/speaker and the text that demonstrate the argument or basis of the conclusion. Conclusions are principal opinion statements embedded in the paper and are identified by the reviewer after examining the text in the paper; the conclusion is the claim or assertion of the author. It is for this reason that reviewers are required to read and re-read the paper closely to identify the conclusions to be entered into JBI SUMARI. Conclusions should be extracted as verbatim statements from the author.

The processes for categorization and formulating synthesized findings mirror that of the JBI SUMARI qualitative module. For a more detailed discussion of synthesis, reviewers are encouraged to read the section on data synthesis for qualitative studies.

Data synthesis should involve the aggregation or synthesis of findings to generate a set of statements that represent that aggregation, through assembling the findings rated according to their credibility, and categorizing these findings on the basis of similarity in meaning. These categories should then be subjected to a meta-synthesis in order to produce a single comprehensive set of synthesized findings that can be used as a basis for evidence-based practice. Where textual pooling is not possible the findings can be presented in narrative form.

Prior to carrying out data synthesis, reviewers first need to establish, and then document:

-          their own rules for setting up categories

-          how to assign conclusions (findings) to categories

-          how to aggregate categories into synthesized findings.

In JBI SUMARI, a reviewer can add conclusions to a study after an extraction is completed on that paper.

The JBI approach to synthesizing the conclusions of textual or non-research studies requires reviewers to consider the credibility (logic, authenticity) of each report as a source of guidance for practice; identify and extract the conclusions from papers included in the review; and to aggregate these conclusions as synthesized findings.

The most complex problem in synthesizing textual data is agreeing on and communicating techniques to compare the conclusions of each publication. The JBI approach uses the SUMARI analytical module for the meta-synthesis of opinion and text. This process involves categorizing and re-categorizing the conclusions of two or more studies to develop synthesized findings. Reviewers should also document these decisions and their rationale in the systematic review report.

Many text- and opinion-based reports do not state conclusions explicitly. It is for this reason that reviewers are required to read and re-read each paper closely to identify the conclusions to be generated into JBI SUMARI.

Each conclusion/finding should be assigned a level of credibility, based on the congruency of the finding with supporting data from the paper where the finding was found. Textual evidence has three levels of credibility; thus, the reviewer is required to determine if, when comparing the Conclusion with the argument the Conclusion represents evidence that is:

Unequivocal - relates to evidence beyond reasonable doubt which may include conclusions that are matter of fact, directly reported/observed and not open to challenge

Credible - relates to those conclusions that are, albeit interpretations, plausible in light of the data and theoretical framework.

Not Supported - is when the findings are not supported by the data

In the systematic review report, it may be set out in the following way.

Papers were pooled using JBI SUMARI. This involved a three stage process:

1. Extraction of Level 1 author’s conclusions from full text articles and rating each according to its assessed validity (unequivocal, credible, not supported).

2. Categories were developed and assigned (Level 2 conclusions) based on similarity of meaning of Level 1 conclusions.

3. A set of synthesized conclusions were developed (Level 3 conclusions) after subjecting the categories to meta-synthesis. This represents the meta-aggregation of Level 1 and Level 2 conclusions.

4. Recommendations for practice and research were developed from the meta-syntheses and graded according to JBI Grades of Recommendation.

 Have all of the conclusions been extracted from the included papers? Do all of the conclusions have illustrations? Do all of the conclusions have levels of credibility assigned to themDado que el proceso se refiere a hallazgos textuales y no a datos numéricos, no se tiene en cuenta la necesidad de homogeneidad metodológica, tan importante en el metaanálisis de los resultados de estudios cuantitativos.

Esta sección del informe debe incluir cómo se sintetizaron los hallazgos. Cuando la metaagregación es posible, los hallazgos textuales deben ser agrupados utilizando el JBI SUMARI. Las unidades de extracción en este proceso son las conclusiones específicas enunciadas por el autor/ponente y el texto que demuestra el argumento o la base de la conclusión. Las conclusiones son las principales declaraciones de opinión incluidas en el artículo y son identificadas por el revisor tras analizar el texto del documento; la conclusión es la afirmación o aseveración del autor. Por esta razón, los revisores deben leer y releer atentamente el artículo para identificar las conclusiones que deben introducirse en el JBI SUMARI. Las conclusiones deben extraerse como declaraciones textuales del autor.

Los procesos de categorización y formulación de hallazgos sintetizados reflejan los del módulo cualitativo del JBI SUMARI. Para una discusión más detallada de la síntesis, se recomienda a los revisores leer la sección sobre síntesis de datos para estudios cualitativos.

La síntesis de datos debe implicar la agregación o síntesis de hallazgos para generar un conjunto de afirmaciones que representen esa agregación, mediante el ensamblaje de los hallazgos clasificados según su credibilidad, y la categorización de estos hallazgos en función de la similitud en el significado. A continuación, estas categorías deben someterse a una metasíntesis para producir un único conjunto exhaustivo de hallazgos sintetizados que pueda utilizarse como base para la práctica basada en la evidencia. Cuando no sea posible agrupar los textos, los hallazgos pueden presentarse en forma narrativa.

Antes de llevar a cabo la síntesis de los datos, los revisores primero tienen que establecer, y luego documentar:

• sus propias normas para establecer categorías

• cómo asignar conclusiones (hallazgos) a categorías

• cómo agregar categorías a hallazgos sintetizados.

En el JBI SUMARI, un revisor puede añadir conclusiones a un estudio después de que la extracción se haya completado en ese artículo.

El enfoque del JBI para sintetizar las conclusiones de estudios textuales o no procedentes de la investigación requiere que los revisores consideren la credibilidad (lógica, autenticidad) de cada informe como fuente de orientación para la práctica; identifiquen y extraigan las conclusiones de los artículos incluidos en la revisión; y agreguen estas conclusiones como hallazgos sintetizados.

El problema más complejo a la hora de sintetizar datos textuales es acordar y comunicar técnicas para comparar las conclusiones de cada publicación. El enfoque del JBI utiliza el módulo analítico SUMARI para la metasíntesis de opinión y texto. Este proceso consiste en categorizar y recategorizar las conclusiones de dos o más estudios para elaborar hallazgos sintetizados. Los revisores también deben documentar estas decisiones y su justificación en el informe de la revisión sistemática.

Muchos informes basados en textos y opiniones no formulan conclusiones de manera explícita. Es por esta razón que se requiere que los revisores lean y relean cada artículo detenidamente para identificar las conclusiones que se generarán en el JBI SUMARI.

A cada conclusión o hallazgo se le debe asignar un nivel de credibilidad, basado en la congruencia del hallazgo con los datos de respaldo del documento en el que este se encontró. La evidencia textual tiene tres niveles de credibilidad; por lo tanto, el revisor debe determinar si, al comparar la Conclusión con el argumento, la Conclusión representa evidencia que sea:

Inequívoca: se refiere a la evidencia que va más allá de toda duda razonable y que puede incluir conclusiones que son una cuestión de hecho, informadas u observadas directamente y que no pueden cuestionarse.

Creíble: se refiere a aquellas conclusiones que son, aunque interpretativas, plausibles a la luz de los datos y el marco teórico.

No respaldada: cuando los datos no respaldan los hallazgos.

En el informe de la revisión sistemática, puede exponerse de la siguiente manera.

Los artículos se agruparon utilizando JBI SUMARI mediante un proceso de tres etapas:

1. Extracción de las conclusiones de Nivel 1 del autor de los artículos a texto completo y calificación de cada una de ellas según su validez evaluada (inequívoca, creíble, no respaldada).

2. Se desarrollaron y asignaron categorías (conclusiones de Nivel 2) basadas en la similitud de significado de las conclusiones de Nivel 1

3. Se elaboró un conjunto de conclusiones sintetizadas (conclusiones de Nivel 3) tras someter las categorías a metasíntesis. Esto representa la metaagregación de las conclusiones de Nivel 1 y Nivel 2.

4. Las recomendaciones para la práctica y la investigación se desarrollaron a partir de las metasíntesis y se clasificaron de acuerdo con los Grados de Recomendación del JBI.

¿Se han extraído todas las conclusiones de los artículos incluidos? ¿Todas las conclusiones tienen ilustraciones? ¿Se han asignado niveles de credibilidad a todas las conclusiones?