A meta-analysis is a statistical process that essentially calculates effect sizes for individual studies, converts them to a common metric, and then combines them to obtain an average effect size (Field, 2001). This statistical combination increases the power of the overall estimate from various small individual studies as a result of the overall increase in the sample size. In addition, meta-analysis also enables reviewers to explore the differences between individual studies. Meta-analysis should only be undertaken when the studies are sufficiently similar to combine; in the absence of this homogeneity, the conclusion from the meta-analysis may be invalid. The findings may also depend on the selection and quality of the studies included and the availability of relevant data.
Where meta-analysis is used, the statistical methods and the software used should be described. Prior to a meta-analysis to be undertaken, relevant data needs to extracted. If the data is heterogeneous and is presented as a narrative summary, sources of heterogeneity should be discussed (e.g. clinical, methodological or statistical) as well as on what basis it was determined inappropriate to combine the data statistically (such as differences in populations, study designs or clinical or statistical heterogeneity).
There are established methods for conducting meta-analyses of randomized controlled trials and some observational study designs. However, no clear guidance exists on synthesizing frequency data from incidence and prevalence estimates. This section provides this guidance.
Effect size
The effect size statistically describes the relationship between two variables and is represented by a square on forest plot. In traditional effectiveness reviews, this could be the impact of a new therapy on mortality rates or the effect of a new teaching method on exam scores. The effect size could be a single number such as for a prevalence study or a ratio such as a risk ratio. The effect size has been described as being the “currency of the systematic review” as the aim of the meta-analysis is to summarize the effect size of each included study to obtain a summary effect (Borenstein M, Hedges LV, Higgins JPT, & Rothstein HR, 2009). The summary effect is shown as a diamond on a forest plot. When effect sizes are statistically combined, the methods used make certain assumptions.
Statistical combination of data
In meta-analysis, the results of similar, individual studies are combined to determine the overall effect. In meta-analysis, the effect-size and weight of each study are calculated. The effect size indicates the direction and magnitude of the results of a particular study (i.e. do the results favor the treatment or control, and if so, by how much), while the weight is indicative of how much information a study provides to the overall analysis when all studies are combined together.
It has been suggested that there are three important criteria for choosing a summary statistic for meta-analysis: consistency of effect across studies, (ii) mathematical properties, and (iii) ease of interpretation (Deeks & Altman, 2001).
Consistency of effect is important because the aim of meta-analysis is to bring together the results of several studies into a single result.
The main mathematical property required by summary statistics is the availability of a reliable variance estimate. Consensus about the other two mathematical properties (reliance on which of the two outcome states [e.g. mortality/survival] is coded as the event and odds ratio being the only statistic which is unbounded) has not yet been reached.
Ease of interpretation
Essentially there are three popular approaches to conduct meta-analysis for all types of data: Hedge and Olkin technique, Rosenthal and Rubin technique and the Hunter and Schmidt technique. Hedge and Olkin developed both fixed- and random-effects models for pooling data, Rosenthal and Rubin developed a fixed-effects model only and Hunter and Schmidt developed a random-effects model.
Statistical assumptions in meta-analysis
Meta-analysis can be based on either one of two statistical assumptions – fixed or random effects. It is important to distinguish between fixed- and random-effects models when conducting meta-analysis, as it can lead to false assumptions about statistical significance of the pooled estimate.
The main difference between fixed and random effects models is in the calculation of standard errors associated with the combined effect size. Fixed effects models use only within-study variability in their error term because all other ‘unknowns’ in the model are assumed not to affect the effect size. In contrast, in random effects models it is necessary to account for the errors associated with sampling from populations that themselves have been sampled from a superpopulation. As such the error term contains two components: within-study variability and variability arising from differences between studies (Field, 2001).
The fixed effects model assumes that there is one true effect for the population underlying the studies in the analysis and that all the differences in the data are due to sampling error or chance within each study and that there is no heterogeneity between the studies. A fixed effect model is statistically stringent and should be used when there is little heterogeneity, as determined by Chi-square or I2 tests. This model therefore assumes that the overall sample consists of samples that all belong to the same underlying population (Kock, 2009). The between-study variability will be zero in this model as it assumes that the population effect size is identical for all studies. In an analysis based on a fixed effects model, inference is applicable or generalizable (“conditional”) based on statistical justification only on the studies actually done (Petitti, 2000). The fixed effects model assumes that there is little interest or value in generalizing the results to other studies (Fleiss, 1993; Un metaanálisis es un proceso estadístico que básicamente calcula los tamaños del efecto de los estudios individuales, los convierte en una métrica común y luego los combina para obtener un tamaño promedio del efecto (Field, 2001). Esta combinación estadística aumenta la potencia de la estimación global a partir de varios estudios individuales pequeños como resultado del aumento global del tamaño de la muestra. Además, el metaanálisis también permite a los revisores explorar las diferencias entre estudios individuales. El metaanálisis solo debe realizarse cuando los estudios son lo suficientemente similares como para combinarse; en ausencia de esta homogeneidad, la conclusión del metaanálisis puede no ser válida. Los hallazgos también pueden depender de la selección y la calidad de los estudios incluidos y de la disponibilidad de datos pertinentes.
Cuando se recurra al metaanálisis, deberán describirse los métodos estadísticos y los programas informáticos utilizados. Antes de realizar un metaanálisis, es necesario extraer los datos pertinentes. Si los datos son heterogéneos y se presentan en forma de resumen narrativo, deben discutirse las fuentes de heterogeneidad (por ejemplo, clínica, metodológica o estadística), así como en qué se basó la determinación de que no era apropiado combinar los datos estadísticamente (como diferencias en las poblaciones, diseños de estudio o heterogeneidad clínica o estadística).
Existen métodos establecidos para realizar metaanálisis de ensayos controlados aleatorizados y algunos diseños de estudios observacionales. Sin embargo, no existen orientaciones claras sobre la síntesis de datos de frecuencia a partir de las estimaciones de incidencia y prevalencia. Esta sección proporciona esta orientación.
Tamaño del efecto
El tamaño del efecto describe de manera estadística la relación entre dos variables y se representa mediante un cuadrado en el diagrama de bosque. En las revisiones de eficacia tradicionales, podría tratarse del impacto de una nueva terapia en las tasas de mortalidad o del efecto de un nuevo método de enseñanza en las calificaciones de los exámenes. El tamaño del efecto puede ser una sola cifra, como en el caso de un estudio de prevalencia, o una proporción, como una razón de riesgo. El tamaño del efecto se ha descrito como la "moneda de cambio de la revisión sistemática", ya que el objetivo del metaanálisis es resumir el tamaño del efecto de cada estudio incluido para obtener un efecto resumen (Borenstein M, Hedges LV, Higgins JPT y Rothstein HR, 2009). Cuando se combinan de manera estadística los tamaños de los efectos, los métodos utilizados hacen ciertas suposiciones.
Combinación estadística de datos
En el metaanálisis, los resultados de estudios individuales similares se combinan para determinar el efecto global. En el metaanálisis, se calculan el tamaño del efecto y el peso de cada estudio. El tamaño del efecto indica la dirección y la magnitud de los resultados de un estudio concreto (es decir, si los resultados favorecen al tratamiento o al control y, en caso afirmativo, en qué medida), mientras que el peso indica cuánta información aporta un estudio al análisis global cuando se combinan todos los estudios.
Se ha sugerido que existen tres criterios importantes para elegir una estadística de resumen para el metaanálisis: (i) coherencia del efecto entre los estudios, (ii) propiedades matemáticas y (iii) facilidad de interpretación (Deeks y Altman, 2001).
La coherencia del efecto es importante porque el objetivo del metaanálisis es reunir los resultados de varios estudios en un único resultado.
La principal propiedad matemática que requieren las estadísticas de resumen es la disponibilidad de una estimación fiable de la varianza. Aún no se ha llegado a un consenso sobre las otras dos propiedades matemáticas (dependencia de cuál de los dos estados de resultado [por ejemplo, mortalidad/supervivencia] se codifica como evento y razón de probabilidades es la única estadística no limitada).
Facilidad de interpretación
Básicamente, existen tres enfoques populares para realizar metaanálisis de todo tipo de datos: la técnica de Hedge y Olkin, la técnica de Rosenthal y Rubin y la técnica de Hunter y Schmidt. Hedge y Olkin desarrollaron modelos de efectos fijos y aleatorios para agrupar datos, Rosenthal y Rubin desarrollaron un modelo de efectos fijos solamente y Hunter y Schmidt desarrollaron un modelo de efectos aleatorios.
Supuestos estadísticos en el metaanálisis
El metaanálisis puede basarse en uno de dos supuestos estadísticos: efectos fijos o aleatorios. Es importante distinguir entre los modelos de efectos fijos y aleatorios al realizar un metaanálisis, ya que puede dar lugar a falsos supuestos sobre la significación estadística de la estimación agrupada.
La principal diferencia entre los modelos de efectos fijos y los modelos de efectos aleatorios radica en el cálculo de los errores estándar asociados al tamaño del efecto combinado. Los modelos de efectos fijos solo utilizan la variabilidad dentro del estudio en su término de error, porque se supone que todas las demás "incógnitas" del modelo no afectan al tamaño del efecto. En cambio, en los modelos de efectos aleatorios es necesario tener en cuenta los errores asociados al muestreo de poblaciones que a su vez han sido muestreadas de una superpoblación. Como tal, el término de error contiene dos componentes: la variabilidad dentro del estudio y la variabilidad derivada de las diferencias entre estudios (Field, 2001).
El modelo de efectos fijos asume que existe un efecto verdadero para la población subyacente a los estudios del análisis y que todas las diferencias en los datos se deben a errores de muestreo o al azar dentro de cada estudio y que no existe heterogeneidad entre los estudios. Un modelo de efectos fijos es estadísticamente estricto y debe utilizarse cuando hay poca heterogeneidad, según determinen las pruebas de Chi-cuadrado o I2. Por lo tanto, este modelo asume que la muestra global está formada por muestras que pertenecen todas a la misma población subyacente (Kock, 2009). La variabilidad entre estudios será cero en este modelo, ya que asume que el tamaño del efecto poblacional es idéntico para todos los estudios. En un análisis basado en un modelo de efectos fijos, la inferencia es aplicable o generalizable ("condicional") basándose en la justificación estadística solo en los estudios realmente realizados (Petitti, 2000). El modelo de efectos fijos asume que hay poco interés o valor en generalizar los resultados a otros estudios (Fleiss, 1993; Munn, Tufanaru, & Aromataris, 2014).
A random effects model allows more flexibility, assuming that there may be other factors influencing the data than error or chance, within and between studies. As a result, in an analysis based on a random effects model, inference relies on the assumption that the studies used in the analysis are a random sample of some hypothetical population of studies Un modelo de efectos aleatorios permite una mayor flexibilidad, al asumir que puede haber otros factores que influyan en los datos, además del error o el azar, dentro de los estudios y entre ellos. Como resultado, en un análisis basado en un modelo de efectos aleatorios, la inferencia se basa en el supuesto de que los estudios utilizados en el análisis son una muestra aleatoria de alguna población hipotética de estudios (Munn, Tufanaru, et al., 2014; Petitti, 2000). For example, the effect size may be influenced in studies where the participants are more educated, older or healthier or if a more intense intervention is being used. The effect size is assumed to follow a normal distribution and consequently has a mean and variance. The random-effects model considers both between-study variability and within-study variability. The random-effects model enables generalizations beyond the population included in the studies.
There is no consensus about whether fixed or random effects models should be used in meta-analysis. In many cases when heterogeneity is absent, the two methods will give similar overall results. When heterogeneity is present, the random effects estimate provides a more conservative estimate of the overall effect size, and is less likely to detect significant differences. For this reason, random effects models are sometimes employed when heterogeneity is not severe; however, the random effects model does not actually analyze the heterogeneity away and should not be considered as a substitute for a thorough investigation into the reasons for heterogeneity. Additionally, random effects models give relatively more weight to the results of smaller studies – this may not be desirable because smaller studies are typically more prone to bias and are often lower quality than larger studies.
There are a number of meta-analytical techniques available – the selection of a particular technique is governed by three things: the study type, the nature of the data extracted and the assumptions underlying the meta-analysis.
Meta-analysis of prevalence and incidence data - Proportions
Prevalence and incidence data is often reported as a proportion. When pooling proportions for meta-analysis, a transformation of the data is required. There are two main ways to transform the data, the Freeman-Tukey transformation (arcsine square root transformation), and the Logit transformation, both of these are used to calculate the weighted summary proportion under the fixed and random effects model. The resultant meta-analysis will give pooled proportion with 95% CI both for the fixed effects model and the random effects model and in addition, will list the proportions (expressed as a percentage), with their 95% CI, found in the individual studies included in the meta-analysis. The results are then presented graphically in a forest plot. For all meta-analyses, prevalence estimates are transformed to logits to improve their statistical properties. These are then back-transformed to prevalence.
Converting proportions (p) to logits (Sutton, Abrams, Jonas, Sheldon, & Song, 2000):
Logit = log(oddsPor ejemplo, el tamaño del efecto puede verse influido en los estudios en los que los participantes tienen un mayor nivel educativo, son más mayores o están más sanos, o si se utiliza una intervención más intensa. Se supone que el tamaño del efecto sigue una distribución normal y, en consecuencia, tiene una media y una varianza. El modelo de efectos aleatorios tiene en cuenta tanto la variabilidad entre estudios como la variabilidad dentro de un mismo estudio. El modelo de efectos aleatorios permite generalizaciones más allá de la población incluida en los estudios.
No existe consenso sobre si en el metaanálisis deben utilizarse modelos de efectos fijos o aleatorios. En muchos casos, cuando no hay heterogeneidad, los dos métodos dan resultados globales similares. Cuando existe heterogeneidad, la estimación de efectos aleatorios proporciona una estimación más conservadora del tamaño global del efecto y es menos probable que detecte diferencias significativas. Por esta razón, los modelos de efectos aleatorios se emplean a veces cuando la heterogeneidad no es grave; sin embargo, el modelo de efectos aleatorios no analiza realmente la heterogeneidad y no debe considerarse un sustituto de una investigación exhaustiva de las razones de la heterogeneidad. Además, los modelos de efectos aleatorios dan relativamente más peso a los resultados de los estudios más pequeños, lo que puede no ser deseable porque los estudios más pequeños suelen ser más propensos a sesgos y de menor calidad que los estudios más grandes.
Existen varias técnicas de metaanálisis. La selección de una técnica concreta depende de tres factores: el tipo de estudio, la naturaleza de los datos extraídos y los supuestos en los que se basa el metaanálisis.
Metaanálisis de datos de prevalencia e incidencia - Proporciones
Los datos de prevalencia e incidencia suelen presentarse como proporción. Cuando se agrupan proporciones para metaanálisis, es necesario transformar los datos. Existen dos formas principales de transformar los datos: la transformación Freeman-Tukey (transformación de la raíz cuadrada del arcoseno) y la transformación Logit; ambas se utilizan para calcular la proporción sumaria ponderada según el modelo de efectos fijos y aleatorios. El metaanálisis resultante proporcionará la proporción agrupada con un IC del 95 % tanto para el modelo de efectos fijos como para el modelo de efectos aleatorios y, además, enumerará las proporciones (expresadas como porcentaje), con su IC del 95 %, encontradas en los estudios individuales incluidos en el metaanálisis. Luego, los resultados se presentan de forma gráfica en un diagrama de bosque. En todos los metaanálisis, las estimaciones de prevalencia se transforman a logits para mejorar sus propiedades estadísticas. A continuación, se vuelven a transformar a prevalencia.
Conversión de proporciones (p) a logits: (Sutton, Abrams, Jonas, Sheldon, & Song, 2000)
Logit = log(probabilidades) = log(p/1?p).
Using the number of cases with an event (Nevent) and without an event Utilizando el número de casos con evento (Nevento) y sin evento (N-eventevento), the variance of logit is given byla varianza del logit viene dada por
Var(logit)=1/Nevent Nevento +1N-event.
There are different models for performing the meta-analysis as mentioned above. Normally the reviewer is provided with a choice of using the Mantel-Haenszel model or the DerSimonian and Laird model. We recommend that the meta-analyses of the prevalence reported in the studies is grouped by a random-effects model and is presented with 95% confidence intervals (95% CI). Random effects model are used when there is sufficient information on standard errors. However, bear in mind that the random-effects model gives a conservative estimate with a wider confidence interval. The random effects model allows for between-study variation by assuming that the individual study prevalence estimates follow a normal distribution. The fixed model can be chosen but the reviewer should be aware of its underlying principles, particularly in relation to its assumption that there is one true effect, which may not hold for prevalence and incidence data.
Heterogeneity of the results is tested by the I-squared, Tau-squared, Cochran’s Q test and Chi-squared (p > 0.05) tests. These tests of heterogeneity evaluate whether the differences in prevalence estimates across studies are higher than expected by chance. To identify the sources of heterogeneity across studies, subgroup analysis or meta-regression can be used to assess the contribution of each variable (i.e. year of study, geographic location, characteristic of countries, study population etc.) to the overall heterogeneity. Those variables significantly associated with the heterogeneity (p < 0·05) can be included in a multivariate hierarchical model. A p value of <0·05 is considered statistically significant in all the analyses.
Below is an example of a table of studies that were combined in a meta-analysis. These studies reported on overall termination rates for scans in the general MRI population.
Study
Events
evento.
Como ya se ha mencionado, existen diferentes modelos para realizar el metaanálisis. Normalmente, el revisor puede elegir entre utilizar el modelo de Mantel-Haenszel o el modelo de DerSimonian y Laird. Recomendamos que el metaanálisis de la prevalencia reportada en los estudios se agrupe mediante un modelo de efectos aleatorios y se presente con intervalos de confianza del 95 % (IC 95 %). El modelo de efectos aleatorios se utiliza cuando existe suficiente información sobre los errores estándar. Sin embargo, hay que tener en cuenta que el modelo de efectos aleatorios ofrece una estimación conservadora con un intervalo de confianza más amplio. El modelo de efectos aleatorios permite la variación entre estudios al suponer que las estimaciones de prevalencia de cada estudio siguen una distribución normal. Puede elegirse el modelo fijo, pero el revisor debe ser consciente de sus principios subyacentes, en particular en relación con su suposición de que existe un único efecto verdadero, que puede no ser válida para los datos de prevalencia e incidencia.
La heterogeneidad de los resultados se comprueba mediante las pruebas I-cuadrado, Tau-cuadrado, Q de Cochran y Chi-cuadrado (p > 0,05). Estas pruebas de heterogeneidad evalúan si las diferencias en las estimaciones de prevalencia entre los estudios son superiores a las esperadas por azar. Para identificar las fuentes de heterogeneidad entre los estudios, puede utilizarse el análisis de subgrupos o la metarregresión para evaluar la contribución de cada variable (es decir, el año del estudio, la ubicación geográfica, las características de los países, la población del estudio, etc.) a la heterogeneidad global. Las variables asociadas de manera significativa con la heterogeneidad (p < 0,05) pueden incluirse en un modelo jerárquico multivariado. Un valor p < 0,05 se considera estadísticamente significativo en todos los análisis.
A continuación se muestra un ejemplo de tabla de estudios combinados en un metaanálisis. Estos estudios reportaron sobre las tasas globales de finalización de escáner en la población general de IRM (imagen por resonancia magnética).
Estudio | Eventos | Muestra | % |
Dantendorfer 1997 | 2 | 297 | 0.673400673 |
Dewey 2007 (all) | 1004 | 55734 | 1.801413859 |
Eshed 2007 | 59 | 4821 | 1.223812487 |
Lang et al (2010)* | 336 | 34521 | 0.973320587 |
Nawaz 2009* | 58 | 2630 | 2.205323194 |
Sarji 1998 | 18 | 3324 | 0.541516245 |
Wiebe 2004 | 14 | 1790 | 0.782122905 |
Figure: Meta-analysis of scan termination due to claustrophobia in general scan types
The figure above represents meta-analysis of proportion data using random effects model from the seven studies. There was significant heterogeneity present in the studies, with a Cochran Q test reaching statistical significance and an I2 value of 96.1%. The pooled proportion equaled 1.18% (95% CI 0.79 – 1.65). However, due to the significant heterogeneity, this value should be interpreted with caution.
There are limitations with conducting meta-analysis of frequency data, including Figura: Metaanálisis de la finalización de escáner por claustrofobia en los tipos generales de escáner
La figura anterior representa el metaanálisis de los datos de proporciones utilizando el modelo de efectos aleatorios de los siete estudios. Los estudios presentaban una heterogeneidad significativa, con una prueba Q de Cochran que alcanzó significación estadística y un valor I2 del 96,1 %. La proporción agrupada fue igual al 1,18 % (IC 95 %: 0,79 — 1,65). Sin embargo, debido a la heterogeneidad significativa, este valor debe interpretarse con cautela.
Existen limitaciones a la hora de realizar metaanálisis de datos de frecuencia, entre ellas: (Saha, Chant, & McGrath, 2008):
Heterogeneity of data: If the data from the included studies are heterogenous, then the standard errors or confidence intervals for a pooled effect estimate will not adequately reflect the variability of underlying data.
Inadequate reporting of frequency estimates: standard error (SE) for each estimate is required to weight the estimate when pooling the data. Standard errors can still be calculated if the data for the numerator, denominator and the duration of the study were available; however, these calculated SEs will not take into account various adjustments.
How to interpret effect sizes?
Once authors calculate effect sizes, they need to answer the question: What does the effect size mean?
An effect size is simply a number and its meaning and importance must be explained by the researcher. An effect size of any magnitude can mean different things depending on the research that produced it and the results of similar past studies. Therefore, it is the researcher’s responsibility to discuss the importance of their findings and this information requires comparing current effects to those obtained in previous work in the same research area. Confidence Intervals (CIs) are an important way to evaluate the precision of a study’s findings by providing a range of likely values around the obtained effect size.
Heterogeneity
When used in relation to meta-analysis, the term ‘heterogeneity’ refers to the amount of variation in characteristics of included studies. For example, if three studies are to be included in a meta-analysis, does each of the included studies have similar demographics, and assess the same intervention? While some variation between studies will always occur due to chance alone, heterogeneity is said to occur if there are significant differences between studies, and under these circumstances meta-analysis is not valid and should not be undertaken.
There are three types of heterogeneity; clinical, methodological, and statistical heterogeneity (Higgins & Thompson, 2002). Differences in the characteristics of study populations and measurements represent clinical heterogeneity. Differences in study designs and methodological quality (risk of bias) represent methodological heterogeneity. Statistical heterogeneity is the variation of effects sizes between studies. Statistical heterogeneity may arise because of clinical heterogeneity, methodological heterogeneity, or simply by chance.
There is often heterogeneity amongst studies addressing prevalence and incidence. This is due to a number of reasons. Firstly, clinical heterogeneity may be present due to the measures used to determine the presence of a variable (Webb et al., 2005). For example, different scales exist to measure depression, and depending on the scale used, a person may be classified as suffering from depression whilst using one scale and not suffering based on a different scale. Additionally, prevalence and incidence studies often look at specific populations at a specific point of time, and the scope of the study may be limited by state or national borders. Another consideration with the population is whether those considered at risk or eligible for the disease have been included
Heterogeneidad de los datos: si los datos de los estudios incluidos son heterogéneos, los errores estándar o los intervalos de confianza de una estimación del efecto agrupado no reflejarán adecuadamente la variabilidad de los datos subyacentes.
Notificación inadecuada de las estimaciones de frecuencia: el error estándar (SE) de cada estimación es necesario para ponderar la estimación al agrupar los datos. Los errores estándar aún pueden calcularse si se dispusiera de los datos del numerador, el denominador y la duración del estudio; sin embargo, estos SE calculados no tendrán en cuenta diversos ajustes.
¿Cómo interpretar los tamaños del efecto?
Una vez que los autores calculan el tamaño del efecto, tienen que responder a la pregunta: ¿Qué significa el tamaño del efecto?
Un tamaño del efecto es simplemente un número y su significado e importancia deben ser explicados por el investigador. Un tamaño del efecto de cualquier magnitud puede significar cosas diferentes en función de la investigación que lo produjo y de los resultados de estudios anteriores similares. Por lo tanto, es responsabilidad del investigador discutir la importancia de sus hallazgos y esta información requiere comparar los efectos actuales con los obtenidos en trabajos anteriores en la misma área de investigación. Los intervalos de confianza (IC) son una forma importante de evaluar la precisión de los hallazgos de un estudio, ya que proporcionan un rango de valores probables en torno al tamaño del efecto obtenido.
Heterogeneidad
Cuando se utiliza en relación con el metaanálisis, el término "heterogeneidad" se refiere a la cantidad de variación en las características de los estudios incluidos. Por ejemplo, si se van a incluir tres estudios en un metaanálisis, ¿tiene cada uno de los estudios incluidos características demográficas similares y evalúa la misma intervención? Aunque siempre se producirá cierta variación entre los estudios debido únicamente al azar, se dice que existe heterogeneidad si hay diferencias significativas entre los estudios, y en estas circunstancias el metaanálisis no es válido y no debe llevarse a cabo.
Existen tres tipos de heterogeneidad: clínica, metodológica y estadística (Higgins y Thompson, 2002). Las diferencias en las características de las poblaciones de estudio y las mediciones representan la heterogeneidad clínica. Las diferencias en los diseños de los estudios y en la calidad metodológica (riesgo de sesgo) representan la heterogeneidad metodológica. La heterogeneidad estadística es la variación del tamaño de los efectos entre los estudios. La heterogeneidad estadística puede deberse a la heterogeneidad clínica, a la heterogeneidad metodológica o simplemente al azar.
A menudo existe heterogeneidad entre los estudios que abordan la prevalencia y la incidencia. Esto se debe a varias razones. En primer lugar, puede haber heterogeneidad clínica debido a las medidas utilizadas para determinar la presencia de una variable (Webb et al., 2005). Por ejemplo, existen diferentes escalas para medir la depresión y, dependiendo de la escala utilizada, una persona puede ser clasificada como depresiva según una escala y como no depresiva según otra. Además, los estudios de prevalencia e incidencia suelen analizar poblaciones específicas en un momento concreto, y el alcance del estudio puede estar limitado por fronteras estatales o nacionales. Otra consideración relativa a la población es si se ha incluido a las personas consideradas de riesgo o susceptibles de padecer la enfermedad (Webb et al., 2005). For example, if look at the prevalence or incidence of breast cancer, have these studies reported the proportion out of the whole population, all females, only adult females, and so on. These different populations may contribute to clinical heterogeneity.
Methodological heterogeneity is also important to consider. Prevalence and incidence data can arise from various study designs with differing levels of methodological quality. This can also results in differences amongst studies.
But how does one tell whether or not differences are significant?
Firstly, the studies should be assessed carefully to determine whether there is clinical or methodological heterogeneity present. If conducting a meta-analysis, then a visual inspection of the meta-analysis output (e.g. the forest plot) is the first stage of assessing heterogeneity. If the results are scattered across the forest plot and none of the confidence intervals overlap, this is a good indicator of heterogeneity.
A formal statistical test of the similarity of studies is provided by test of homogeneity. The test calculates a probability (P value) from a Chi-square statistic calculated using estimates of the individual study weight, effect size and the overall effect size. Note, however, that this test suffers from lack of power – and will often fail to detect a significant difference when a difference actually exists – especially when there are relatively few studies included in the meta-analysis. Because of this low power, some review authors use a significance level of P < 0.1, rather than the conventional 0.05 value, in order to protect against the possibility of falsely stating that there is no heterogeneity present. Often when combining the results from a series of observational studies, this is the default significance level due to the increased heterogeneity associated inherent with the study design.
The I2 statistic is the percentage of observed total variation across due to heterogeneity and not due to chance. A value of 0% indicates no observed heterogeneity and larger values show increasing heterogeneity.
If there is statistically significant heterogeneity, a narrative synthesis or graphical representation is recommended.
Subgroup analysis (Analysis of subgroups or subsets):
Subgroup analysis is a means of investigating heterogeneous results and can be used to estimate the influence of various subsets including age group, gender, type of population and sampling strategy used to gather data (e.g. letter, phone, face-to-face). However, subgroups should be pre-specified a priori and should be few. Subgroup analysis may include by study design or by patient groups.
Meta-regression
Meta-regression investigates whether particular covariates explain any of the heterogeneity of treatment effects between studies. A meta-regression is either a linear or logistic regression and can be fixed-effect or random-effect model. The unit of analysis is a study and predictors in the regression are the study-level covariates.
Publication bias
The research that appears in the published literature may be systematically unrepresentative of the population of completed studies. ‘File drawer’ problem or ‘Publication bias’ is a term coined by Rosenthal to mean the number of statistically non-significant studies (p > 0.05) that remain unpublished (Rosenthal & Rubin, 1982). A Funnel plot is used to detect publication bias. This is a scatter plot of effect estimate (x-axis) against inverse of its variance (y-axis). If there is no bias then the funnel will appear symmetric and inverted and if there is bias, the funnel will be asymmetric or skewed in shapePor ejemplo, si nos fijamos en la prevalencia o incidencia del cáncer de mama, ¿han informado estos estudios de la proporción con respecto a toda la población, a todas las mujeres, solo a las mujeres adultas, etc.? Estas diferentes poblaciones pueden contribuir a la heterogeneidad clínica.
También es importante tener en cuenta la heterogeneidad metodológica. Los datos de prevalencia e incidencia pueden proceder de diversos diseños de estudio con distintos niveles de calidad metodológica. Esto también puede dar lugar a diferencias entre los estudios.
Pero, ¿cómo saber si las diferencias son o no significativas?
En primer lugar, los estudios deben evaluarse cuidadosamente para determinar si existe heterogeneidad clínica o metodológica. Si se realiza un metaanálisis, la primera etapa para evaluar la heterogeneidad es una inspección visual del resultado del metaanálisis (por ejemplo, el diagrama de bosque). Si los resultados están dispersos en el diagrama de bosque y ninguno de los intervalos de confianza se solapa, es un buen indicador de heterogeneidad.
Una prueba estadística formal de la similitud de los estudios es la prueba de homogeneidad. La prueba calcula una probabilidad (valor P) a partir de un estadístico Chi-cuadrado calculado mediante estimaciones del peso de cada estudio, el tamaño del efecto y el tamaño del efecto global. Tenga en cuenta, no obstante, que esta prueba sufre de falta de poder — y a menudo no detectará una diferencia significativa cuando realmente exista una diferencia — especialmente cuando haya relativamente pocos estudios incluidos en el metaanálisis. Debido a este bajo poder, algunos autores de revisiones utilizan un nivel de significación de P < 0,1, en lugar del valor convencional de 0,05, para protegerse contra la posibilidad de afirmar falsamente que no existe heterogeneidad. A menudo, cuando se combinan los resultados de una serie de estudios observacionales, este es el nivel de significación por defecto debido a la mayor heterogeneidad asociada inherente al diseño del estudio.
El estadístico I2 es el porcentaje de variación total observada debido a la heterogeneidad y no al azar. Un valor del 0 % indica que no se ha observado heterogeneidad y valores mayores muestran una heterogeneidad creciente.
Si existe heterogeneidad estadísticamente significativa, se recomienda una síntesis narrativa o una representación gráfica.
Análisis de subgrupos (Análisis de subgrupos o subconjuntos):
El análisis de subgrupos es un medio para investigar resultados heterogéneos y puede utilizarse para estimar la influencia de diversos subconjuntos, como el grupo etario, el sexo, el tipo de población y la estrategia de muestreo utilizada para recopilar datos (por ejemplo, carta, teléfono, cara a cara). Sin embargo, los subgrupos deben especificarse previamente a priori y deben ser pocos. El análisis de subgrupos puede incluir por diseño del estudio o por grupos de pacientes.
Metarregresión
La metarregresión investiga si determinadas covariables explican parte de la heterogeneidad de los efectos del tratamiento entre los estudios. Una metarregresión es una regresión lineal o logística y puede ser un modelo de efectos fijos o aleatorios. La unidad de análisis es un estudio y los predictores de la regresión son las covariables a nivel de estudio.
Sesgo de publicación
La investigación que aparece en la literatura publicada puede ser sistemáticamente no representativa de la población de estudios completados. El problema del "cajón de sastre" o "sesgo de publicación" es un término acuñado por Rosenthal para referirse al número de estudios estadísticamente no significativos (p > 0,05) que permanecen sin publicar (Rosenthal & Rubin, 1982). Para detectar el sesgo de publicación se utiliza un gráfico de embudo. Se trata de un gráfico de dispersión de la estimación del efecto (eje x) frente a la inversa de su varianza (eje y). Si no hay sesgo, el embudo aparecerá simétrico e invertido y si hay sesgo, el embudo tendrá forma asimétrica o sesgada.