5.5.8.2 Metaanálisis

Un metaanálisis es un proceso estadístico que básicamente calcula los tamaños del efecto de los estudios individuales, los convierte en una métrica común y luego los combina para obtener un tamaño promedio del efecto (Field, 2001). Esta combinación estadística aumenta la potencia de la estimación global a partir de varios estudios individuales pequeños como resultado del aumento global del tamaño de la muestra. Además, el metaanálisis también permite a los revisores explorar las diferencias entre estudios individuales. El metaanálisis solo debe realizarse cuando los estudios son lo suficientemente similares como para combinarse; en ausencia de esta homogeneidad, la conclusión del metaanálisis puede no ser válida. Los hallazgos también pueden depender de la selección y la calidad de los estudios incluidos y de la disponibilidad de datos pertinentes.

Cuando se recurra al metaanálisis, deberán describirse los métodos estadísticos y los programas informáticos utilizados. Antes de realizar un metaanálisis, es necesario extraer los datos pertinentes. Si los datos son heterogéneos y se presentan en forma de resumen narrativo, deben discutirse las fuentes de heterogeneidad (por ejemplo, clínica, metodológica o estadística), así como en qué se basó la determinación de que no era apropiado combinar los datos estadísticamente (como diferencias en las poblaciones, diseños de estudio o heterogeneidad clínica o estadística).

Existen métodos establecidos para realizar metaanálisis de ensayos controlados aleatorizados y algunos diseños de estudios observacionales. Sin embargo, no existen orientaciones claras sobre la síntesis de datos de frecuencia a partir de las estimaciones de incidencia y prevalencia. Esta sección proporciona esta orientación.

Tamaño del efecto

El tamaño del efecto describe de manera estadística la relación entre dos variables y se representa mediante un cuadrado en el diagrama de bosque. En las revisiones de eficacia tradicionales, podría tratarse del impacto de una nueva terapia en las tasas de mortalidad o del efecto de un nuevo método de enseñanza en las calificaciones de los exámenes. El tamaño del efecto puede ser una sola cifra, como en el caso de un estudio de prevalencia, o una proporción, como una razón de riesgo. El tamaño del efecto se ha descrito como la "moneda de cambio de la revisión sistemática", ya que el objetivo del metaanálisis es resumir el tamaño del efecto de cada estudio incluido para obtener un efecto resumen (Borenstein M, Hedges LV, Higgins JPT y Rothstein HR, 2009). Cuando se combinan de manera estadística los tamaños de los efectos, los métodos utilizados hacen ciertas suposiciones.

Combinación estadística de datos

En el metaanálisis, los resultados de estudios individuales similares se combinan para determinar el efecto global. En el metaanálisis, se calculan el tamaño del efecto y el peso de cada estudio. El tamaño del efecto indica la dirección y la magnitud de los resultados de un estudio concreto (es decir, si los resultados favorecen al tratamiento o al control y, en caso afirmativo, en qué medida), mientras que el peso indica cuánta información aporta un estudio al análisis global cuando se combinan todos los estudios.

­Se ha sugerido que existen tres criterios importantes para elegir una estadística de resumen para el metaanálisis: (i) coherencia del efecto entre los estudios, (ii) propiedades matemáticas y (iii) facilidad de interpretación (Deeks y Altman, 2001).

La coherencia del efecto es importante porque el objetivo del metaanálisis es reunir los resultados de varios estudios en un único resultado.

La principal propiedad matemática que requieren las estadísticas de resumen es la disponibilidad de una estimación fiable de la varianza. Aún no se ha llegado a un consenso sobre las otras dos propiedades matemáticas (dependencia de cuál de los dos estados de resultado [por ejemplo, mortalidad/supervivencia] se codifica como evento y razón de probabilidades es la única estadística no limitada).

Facilidad de interpretación

Básicamente, existen tres enfoques populares para realizar metaanálisis de todo tipo de datos: la técnica de Hedge y Olkin, la técnica de Rosenthal y Rubin y la técnica de Hunter y Schmidt. Hedge y Olkin desarrollaron modelos de efectos fijos y aleatorios para agrupar datos, Rosenthal y Rubin desarrollaron un modelo de efectos fijos solamente y Hunter y Schmidt desarrollaron un modelo de efectos aleatorios.

Supuestos estadísticos en el metaanálisis

El metaanálisis puede basarse en uno de dos supuestos estadísticos: efectos fijos o aleatorios. Es importante distinguir entre los modelos de efectos fijos y aleatorios al realizar un metaanálisis, ya que puede dar lugar a falsos supuestos sobre la significación estadística de la estimación agrupada.

La principal diferencia entre los modelos de efectos fijos y los modelos de efectos aleatorios radica en el cálculo de los errores estándar asociados al tamaño del efecto combinado. Los modelos de efectos fijos solo utilizan la variabilidad dentro del estudio en su término de error, porque se supone que todas las demás "incógnitas" del modelo no afectan al tamaño del efecto. En cambio, en los modelos de efectos aleatorios es necesario tener en cuenta los errores asociados al muestreo de poblaciones que a su vez han sido muestreadas de una superpoblación. Como tal, el término de error contiene dos componentes: la variabilidad dentro del estudio y la variabilidad derivada de las diferencias entre estudios (Field, 2001).

El modelo de efectos fijos asume que existe un efecto verdadero para la población subyacente a los estudios del análisis y que todas las diferencias en los datos se deben a errores de muestreo o al azar dentro de cada estudio y que no existe heterogeneidad entre los estudios. Un modelo de efectos fijos es estadísticamente estricto y debe utilizarse cuando hay poca heterogeneidad, según determinen las pruebas de Chi-cuadrado o I2. Por lo tanto, este modelo asume que la muestra global está formada por muestras que pertenecen todas a la misma población subyacente (Kock, 2009). La variabilidad entre estudios será cero en este modelo, ya que asume que el tamaño del efecto poblacional es idéntico para todos los estudios. En un análisis basado en un modelo de efectos fijos, la inferencia es aplicable o generalizable ("condicional") basándose en la justificación estadística solo en los estudios realmente realizados (Petitti, 2000). El modelo de efectos fijos asume que hay poco interés o valor en generalizar los resultados a otros estudios (Fleiss, 1993; Munn, Tufanaru, & Aromataris, 2014).

Un modelo de efectos aleatorios permite una mayor flexibilidad, al asumir que puede haber otros factores que influyan en los datos, además del error o el azar, dentro de los estudios y entre ellos. Como resultado, en un análisis basado en un modelo de efectos aleatorios, la inferencia se basa en el supuesto de que los estudios utilizados en el análisis son una muestra aleatoria de alguna población hipotética de estudios (Munn, Tufanaru, et al., 2014; Petitti, 2000). Por ejemplo, el tamaño del efecto puede verse influido en los estudios en los que los participantes tienen un mayor nivel educativo, son más mayores o están más sanos, o si se utiliza una intervención más intensa. Se supone que el tamaño del efecto sigue una distribución normal y, en consecuencia, tiene una media y una varianza. El modelo de efectos aleatorios tiene en cuenta tanto la variabilidad entre estudios como la variabilidad dentro de un mismo estudio. El modelo de efectos aleatorios permite generalizaciones más allá de la población incluida en los estudios.

No existe consenso sobre si en el metaanálisis deben utilizarse modelos de efectos fijos o aleatorios. En muchos casos, cuando no hay heterogeneidad, los dos métodos dan resultados globales similares. Cuando existe heterogeneidad, la estimación de efectos aleatorios proporciona una estimación más conservadora del tamaño global del efecto y es menos probable que detecte diferencias significativas. Por esta razón, los modelos de efectos aleatorios se emplean a veces cuando la heterogeneidad no es grave; sin embargo, el modelo de efectos aleatorios no analiza realmente la heterogeneidad y no debe considerarse un sustituto de una investigación exhaustiva de las razones de la heterogeneidad. Además, los modelos de efectos aleatorios dan relativamente más peso a los resultados de los estudios más pequeños, lo que puede no ser deseable porque los estudios más pequeños suelen ser más propensos a sesgos y de menor calidad que los estudios más grandes.

Existen varias técnicas de metaanálisis. La selección de una técnica concreta depende de tres factores: el tipo de estudio, la naturaleza de los datos extraídos y los supuestos en los que se basa el metaanálisis.

Metaanálisis de datos de prevalencia e incidencia - Proporciones

Los datos de prevalencia e incidencia suelen presentarse como proporción. ­Cuando se agrupan proporciones para metaanálisis, es necesario transformar los datos. Existen dos formas principales de transformar los datos: la transformación Freeman-Tukey (transformación de la raíz cuadrada del arcoseno) y la transformación Logit; ambas se utilizan para calcular la proporción sumaria ponderada según el modelo de efectos fijos y aleatorios. El metaanálisis resultante proporcionará la proporción agrupada con un IC del 95 % tanto para el modelo de efectos fijos como para el modelo de efectos aleatorios y, además, enumerará las proporciones (expresadas como porcentaje), con su IC del 95 %, encontradas en los estudios individuales incluidos en el metaanálisis. Luego, los resultados se presentan de forma gráfica en un diagrama de bosque. En todos los metaanálisis, las estimaciones de prevalencia se transforman a logits para mejorar sus propiedades estadísticas. A continuación, se vuelven a transformar a prevalencia.

Conversión de proporciones (p) a logits: (Sutton, Abrams, Jonas, Sheldon, & Song, 2000)

Logit = log(probabilidades) = log(p/1?p).

Utilizando el número de casos con evento (Nevento) y sin evento (N-evento), la varianza del logit viene dada por

Var(logit)=1/Nevento +1N-evento.

Como ya se ha mencionado, existen diferentes modelos para realizar el metaanálisis. Normalmente, el revisor puede elegir entre utilizar el modelo de Mantel-Haenszel o el modelo de DerSimonian y Laird. ­Recomendamos que el metaanálisis de la prevalencia reportada en los estudios se agrupe mediante un modelo de efectos aleatorios y se presente con intervalos de confianza del 95 % (IC 95 %). El modelo de efectos aleatorios se utiliza cuando existe suficiente información sobre los errores estándar. Sin embargo, hay que tener en cuenta que el modelo de efectos aleatorios ofrece una estimación conservadora con un intervalo de confianza más amplio. El modelo de efectos aleatorios permite la variación entre estudios al suponer que las estimaciones de prevalencia de cada estudio siguen una distribución normal. Puede elegirse el modelo fijo, pero el revisor debe ser consciente de sus principios subyacentes, en particular en relación con su suposición de que existe un único efecto verdadero, que puede no ser válida para los datos de prevalencia e incidencia.

La heterogeneidad de los resultados se comprueba mediante las pruebas I-cuadrado, Tau-cuadrado, Q de Cochran y Chi-cuadrado (p > 0,05). Estas pruebas de heterogeneidad evalúan si las diferencias en las estimaciones de prevalencia entre los estudios son superiores a las esperadas por azar. Para identificar las fuentes de heterogeneidad entre los estudios, puede utilizarse el análisis de subgrupos o la metarregresión para evaluar la contribución de cada variable (es decir, el año del estudio, la ubicación geográfica, las características de los países, la población del estudio, etc.) a la heterogeneidad global. Las variables asociadas de manera significativa con la heterogeneidad (p < 0,05) pueden incluirse en un modelo jerárquico multivariado. Un valor p < 0,05 se considera estadísticamente significativo en todos los análisis.

A continuación se muestra un ejemplo de tabla de estudios combinados en un metaanálisis. Estos estudios reportaron sobre las tasas globales de finalización de escáner en la población general de IRM (imagen por resonancia magnética).

Figura: Metaanálisis de la finalización de escáner por claustrofobia en los tipos generales de escáner

Figure: Meta-analysis of scan termination due to claustrophobia in general scan types

The figure above represents meta-analysis of proportion data using random effects model from the seven studies. There was significant heterogeneity present in the studies, with a Cochran Q test reaching statistical significance and an I2 value of 96.1%. The pooled proportion equaled 1.18% (95% CI 0.79 – 1.65).  However, due to the significant heterogeneity, this value should be interpreted with caution.

There are limitations with conducting meta-analysis of frequency data, including (Saha, Chant, & McGrath, 2008):

Heterogeneity of data: If the data from the included studies are heterogenous, then the standard errors or confidence intervals for a pooled effect estimate will not adequately reflect the variability of underlying data.

Inadequate reporting of frequency estimates: standard error (SE) for each estimate is required to weight the estimate when pooling the data. Standard errors can still be calculated if the data for the numerator, denominator and the duration of the study were available; however, these calculated SEs will not take into account various adjustments.

How to interpret effect sizes?

Once authors calculate effect sizes, they need to answer the question: What does the effect size mean?

An effect size is simply a number and its meaning and importance must be explained by the researcher. An effect size of any magnitude can mean different things depending on the research that produced it and the results of similar past studies. Therefore, it is the researcher’s responsibility to discuss the importance of their findings and this information requires comparing current effects to those obtained in previous work in the same research area. Confidence Intervals (CIs) are an important way to evaluate the precision of a study’s findings by providing a range of likely values around the obtained effect size.

Heterogeneity

When used in relation to meta-analysis, the term ‘heterogeneity’ refers to the amount of variation in characteristics of included studies. For example, if three studies are to be included in a meta-analysis, does each of the included studies have similar demographics, and assess the same intervention? While some variation between studies will always occur due to chance alone, heterogeneity is said to occur if there are significant differences between studies, and under these circumstances meta-analysis is not valid and should not be undertaken.

There are three types of heterogeneity; clinical, methodological, and statistical heterogeneity (Higgins & Thompson, 2002). Differences in the characteristics of study populations and measurements represent clinical heterogeneity. Differences in study designs and methodological quality (risk of bias) represent methodological heterogeneity. Statistical heterogeneity is the variation of effects sizes between studies. Statistical heterogeneity may arise because of clinical heterogeneity, methodological heterogeneity, or simply by chance.

There is often heterogeneity amongst studies addressing prevalence and incidence. This is due to a number of reasons.  Firstly, clinical heterogeneity may be present due to the measures used to determine the presence of a variable (Webb et al., 2005).  For example, different scales exist to measure depression, and depending on the scale used, a person may be classified as suffering from depression whilst using one scale and not suffering based on a different scale. Additionally, prevalence and incidence studies often look at specific populations at a specific point of time, and the scope of the study may be limited by state or national borders. Another consideration with the population is whether those considered at risk or eligible for the disease have been included (Webb et al., 2005).  For example, if look at the prevalence or incidence of breast cancer, have these studies reported the proportion out of the whole population, all females, only adult females, and so on. These different populations may contribute to clinical heterogeneity.

Methodological heterogeneity is also important to consider. Prevalence and incidence data can arise from various study designs with differing levels of methodological quality. This can also results in differences amongst studies.

But how does one tell whether or not differences are significant?

Firstly, the studies should be assessed carefully to determine whether there is clinical or methodological heterogeneity present.  If conducting a meta-analysis, then a visual inspection of the meta-analysis output (e.g. the forest plot) is the first stage of assessing heterogeneity. If the results are scattered across the forest plot and none of the confidence intervals overlap, this is a good indicator of heterogeneity.

A formal statistical test of the similarity of studies is provided by test of homogeneity. The test calculates a probability (P value) from a Chi-square statistic calculated using estimates of the individual study weight, effect size and the overall effect size. Note, however, that this test suffers from lack of power – and will often fail to detect a significant difference when a difference actually exists – especially when there are relatively few studies included in the meta-analysis. Because of this low power, some review authors use a significance level of P < 0.1, rather than the conventional 0.05 value, in order to protect against the possibility of falsely stating that there is no heterogeneity present. Often when combining the results from a series of observational studies, this is the default significance level due to the increased heterogeneity associated inherent with the study design.

The I2 statistic is the percentage of observed total variation across due to heterogeneity and not due to chance. A value of 0% indicates no observed heterogeneity and larger values show increasing heterogeneity.

If there is statistically significant heterogeneity, a narrative synthesis or graphical representation is recommended.

Subgroup analysis (Analysis of subgroups or subsets): 
Subgroup analysis is a means of investigating heterogeneous results and can be used to estimate the influence of various subsets including age group, gender, type of population and sampling strategy used to gather data (e.g. letter, phone, face-to-face). However, subgroups should be pre-specified a priori and should be few. Subgroup analysis may include by study design or by patient groups.

Meta-regression

Meta-regression investigates whether particular covariates explain any of the heterogeneity of treatment effects between studies. A meta-regression is either a linear or logistic regression and can be fixed-effect or random-effect model. The unit of analysis is a study and predictors in the regression are the study-level covariates.

Publication bias

The research that appears in the published literature may be systematically unrepresentative of the population of completed studies. ‘File drawer’ problem or ‘Publication bias’ is a term coined by Rosenthal to mean the number of statistically non-significant studies (p > 0.05) that remain unpublished (Rosenthal & Rubin, 1982). A Funnel plot is used to detect publication bias. This is a scatter plot of effect estimate (x-axis) against inverse of its variance (y-axis). If there is no bias then the funnel will appear symmetric and inverted and if there is bias, the funnel will be asymmetric or skewed in shape.