Page Comparison

Un metaanálisis es un proceso estadístico que básicamente calcula los tamaños del efecto de los estudios individuales, los convierte en una métrica común y luego los combina para obtener un tamaño promedio del efecto (Field, 2001). Esta combinación estadística aumenta la potencia de la estimación global a partir de varios estudios individuales pequeños como resultado del aumento global del tamaño de la muestra. Además, el metaanálisis también permite a los revisores explorar las diferencias entre estudios individuales. El metaanálisis solo debe realizarse cuando los estudios son lo suficientemente similares como para combinarse; en ausencia de esta homogeneidad, la conclusión del metaanálisis puede no ser válida. Los hallazgos también pueden depender de la selección y la calidad de los estudios incluidos y de la disponibilidad de datos pertinentes.

Cuando se recurra al metaanálisis, deberán describirse los métodos estadísticos y los programas informáticos utilizados. Antes de realizar un metaanálisis, es necesario extraer los datos pertinentes. Si los datos son heterogéneos y se presentan en forma de resumen narrativo, deben discutirse las fuentes de heterogeneidad (por ejemplo, clínica, metodológica o estadística), así como en qué se basó la determinación de que no era apropiado combinar los datos estadísticamente (como diferencias en las poblaciones, diseños de estudio o heterogeneidad clínica o estadística).

Existen métodos establecidos para realizar metaanálisis de ensayos controlados aleatorizados y algunos diseños de estudios observacionales. Sin embargo, no existen orientaciones claras sobre la síntesis de datos de frecuencia a partir de las estimaciones de incidencia y prevalencia. Esta sección proporciona esta orientación.

Tamaño del efecto

El tamaño del efecto describe de manera estadística la relación entre dos variables y se representa mediante un cuadrado en el diagrama de bosque. En las revisiones de eficacia tradicionales, podría tratarse del impacto de una nueva terapia en las tasas de mortalidad o del efecto de un nuevo método de enseñanza en las calificaciones de los exámenes. El tamaño del efecto puede ser una sola cifra, como en el caso de un estudio de prevalencia, o una proporción, como una razón de riesgo. El tamaño del efecto se ha descrito como la "moneda de cambio de la revisión sistemática", ya que el objetivo del metaanálisis es resumir el tamaño del efecto de cada estudio incluido para obtener un efecto resumen (Borenstein M, Hedges LV, Higgins JPT y Rothstein HR, 2009). Cuando se combinan de manera estadística los tamaños de los efectos, los métodos utilizados hacen ciertas suposiciones.

Combinación estadística de datos

En el metaanálisis, los resultados de estudios individuales similares se combinan para determinar el efecto global. En el metaanálisis, se calculan el tamaño del efecto y el peso de cada estudio. El tamaño del efecto indica la dirección y la magnitud de los resultados de un estudio concreto (es decir, si los resultados favorecen al tratamiento o al control y, en caso afirmativo, en qué medida), mientras que el peso indica cuánta información aporta un estudio al análisis global cuando se combinan todos los estudios.

­Se ha sugerido que existen tres criterios importantes para elegir una estadística de resumen para el metaanálisis: (i) coherencia del efecto entre los estudios, (ii) propiedades matemáticas y (iii) facilidad de interpretación (Deeks y Altman, 2001).

La coherencia del efecto es importante porque el objetivo del metaanálisis es reunir los resultados de varios estudios en un único resultado.

La principal propiedad matemática que requieren las estadísticas de resumen es la disponibilidad de una estimación fiable de la varianza. Aún no se ha llegado a un consenso sobre las otras dos propiedades matemáticas (dependencia de cuál de los dos estados de resultado [por ejemplo, mortalidad/supervivencia] se codifica como evento y razón de probabilidades es la única estadística no limitada).

Facilidad de interpretación

Básicamente, existen tres enfoques populares para realizar metaanálisis de todo tipo de datos: la técnica de Hedge y Olkin, la técnica de Rosenthal y Rubin y la técnica de Hunter y Schmidt. Hedge y Olkin desarrollaron modelos de efectos fijos y aleatorios para agrupar datos, Rosenthal y Rubin desarrollaron un modelo de efectos fijos solamente y Hunter y Schmidt desarrollaron un modelo de efectos aleatorios.

Supuestos estadísticos en el metaanálisis

El metaanálisis puede basarse en uno de dos supuestos estadísticos: efectos fijos o aleatorios. Es importante distinguir entre los modelos de efectos fijos y aleatorios al realizar un metaanálisis, ya que puede dar lugar a falsos supuestos sobre la significación estadística de la estimación agrupada.

La principal diferencia entre los modelos de efectos fijos y los modelos de efectos aleatorios radica en el cálculo de los errores estándar asociados al tamaño del efecto combinado. Los modelos de efectos fijos solo utilizan la variabilidad dentro del estudio en su término de error, porque se supone que todas las demás "incógnitas" del modelo no afectan al tamaño del efecto. En cambio, en los modelos de efectos aleatorios es necesario tener en cuenta los errores asociados al muestreo de poblaciones que a su vez han sido muestreadas de una superpoblación. Como tal, el término de error contiene dos componentes: la variabilidad dentro del estudio y la variabilidad derivada de las diferencias entre estudios (Field, 2001).

El modelo de efectos fijos asume que existe un efecto verdadero para la población subyacente a los estudios del análisis y que todas las diferencias en los datos se deben a errores de muestreo o al azar dentro de cada estudio y que no existe heterogeneidad entre los estudios. Un modelo de efectos fijos es estadísticamente estricto y debe utilizarse cuando hay poca heterogeneidad, según determinen las pruebas de Chi-cuadrado o I2. Por lo tanto, este modelo asume que la muestra global está formada por muestras que pertenecen todas a la misma población subyacente (Kock, 2009). La variabilidad entre estudios será cero en este modelo, ya que asume que el tamaño del efecto poblacional es idéntico para todos los estudios. En un análisis basado en un modelo de efectos fijos, la inferencia es aplicable o generalizable ("condicional") basándose en la justificación estadística solo en los estudios realmente realizados (Petitti, 2000). El modelo de efectos fijos asume que hay poco interés o valor en generalizar los resultados a otros estudios (Fleiss, 1993; Munn, Tufanaru, & Aromataris, 2014).

Un modelo de efectos aleatorios permite una mayor flexibilidad, al asumir que puede haber otros factores que influyan en los datos, además del error o el azar, dentro de los estudios y entre ellos. Como resultado, en un análisis basado en un modelo de efectos aleatorios, la inferencia se basa en el supuesto de que los estudios utilizados en el análisis son una muestra aleatoria de alguna población hipotética de estudios (Munn, Tufanaru, et al., 2014; Petitti, 2000). Por ejemplo, el tamaño del efecto puede verse influido en los estudios en los que los participantes tienen un mayor nivel educativo, son más mayores o están más sanos, o si se utiliza una intervención más intensa. Se supone que el tamaño del efecto sigue una distribución normal y, en consecuencia, tiene una media y una varianza. El modelo de efectos aleatorios tiene en cuenta tanto la variabilidad entre estudios como la variabilidad dentro de un mismo estudio. El modelo de efectos aleatorios permite generalizaciones más allá de la población incluida en los estudios.

No existe consenso sobre si en el metaanálisis deben utilizarse modelos de efectos fijos o aleatorios. En muchos casos, cuando no hay heterogeneidad, los dos métodos dan resultados globales similares. Cuando existe heterogeneidad, la estimación de efectos aleatorios proporciona una estimación más conservadora del tamaño global del efecto y es menos probable que detecte diferencias significativas. Por esta razón, los modelos de efectos aleatorios se emplean a veces cuando la heterogeneidad no es grave; sin embargo, el modelo de efectos aleatorios no analiza realmente la heterogeneidad y no debe considerarse un sustituto de una investigación exhaustiva de las razones de la heterogeneidad. Además, los modelos de efectos aleatorios dan relativamente más peso a los resultados de los estudios más pequeños, lo que puede no ser deseable porque los estudios más pequeños suelen ser más propensos a sesgos y de menor calidad que los estudios más grandes.

Existen varias técnicas de metaanálisis. La selección de una técnica concreta depende de tres factores: el tipo de estudio, la naturaleza de los datos extraídos y los supuestos en los que se basa el metaanálisis.

Metaanálisis de datos de prevalencia e incidencia - Proporciones

Los datos de prevalencia e incidencia suelen presentarse como proporción. ­Cuando se agrupan proporciones para metaanálisis, es necesario transformar los datos. Existen dos formas principales de transformar los datos: la transformación Freeman-Tukey (transformación de la raíz cuadrada del arcoseno) y la transformación Logit; ambas se utilizan para calcular la proporción sumaria ponderada según el modelo de efectos fijos y aleatorios. El metaanálisis resultante proporcionará la proporción agrupada con un IC del 95 % tanto para el modelo de efectos fijos como para el modelo de efectos aleatorios y, además, enumerará las proporciones (expresadas como porcentaje), con su IC del 95 %, encontradas en los estudios individuales incluidos en el metaanálisis. Luego, los resultados se presentan de forma gráfica en un diagrama de bosque. En todos los metaanálisis, las estimaciones de prevalencia se transforman a logits para mejorar sus propiedades estadísticas. A continuación, se vuelven a transformar a prevalencia.

Conversión de proporciones (p) a logits: (Sutton, Abrams, Jonas, Sheldon, & Song, 2000)

Logit = log(probabilidades) = log(p/1?p).

Utilizando el número de casos con evento (Nevento) y sin evento (N-evento), la varianza del logit viene dada por

Var(logit)=1/Nevento +1N-evento.

Como ya se ha mencionado, existen diferentes modelos para realizar el metaanálisis. Normalmente, el revisor puede elegir entre utilizar el modelo de Mantel-Haenszel o el modelo de DerSimonian y Laird. ­Recomendamos que el metaanálisis de la prevalencia reportada en los estudios se agrupe mediante un modelo de efectos aleatorios y se presente con intervalos de confianza del 95 % (IC 95 %). El modelo de efectos aleatorios se utiliza cuando existe suficiente información sobre los errores estándar. Sin embargo, hay que tener en cuenta que el modelo de efectos aleatorios ofrece una estimación conservadora con un intervalo de confianza más amplio. El modelo de efectos aleatorios permite la variación entre estudios al suponer que las estimaciones de prevalencia de cada estudio siguen una distribución normal. Puede elegirse el modelo fijo, pero el revisor debe ser consciente de sus principios subyacentes, en particular en relación con su suposición de que existe un único efecto verdadero, que puede no ser válida para los datos de prevalencia e incidencia.

La heterogeneidad de los resultados se comprueba mediante las pruebas I-cuadrado, Tau-cuadrado, Q de Cochran y Chi-cuadrado (p > 0,05). Estas pruebas de heterogeneidad evalúan si las diferencias en las estimaciones de prevalencia entre los estudios son superiores a las esperadas por azar. Para identificar las fuentes de heterogeneidad entre los estudios, puede utilizarse el análisis de subgrupos o la metarregresión para evaluar la contribución de cada variable (es decir, el año del estudio, la ubicación geográfica, las características de los países, la población del estudio, etc.) a la heterogeneidad global. Las variables asociadas de manera significativa con la heterogeneidad (p < 0,05) pueden incluirse en un modelo jerárquico multivariado. Un valor p < 0,05 se considera estadísticamente significativo en todos los análisis.

A continuación se muestra un ejemplo de tabla de estudios combinados en un metaanálisis. Estos estudios reportaron sobre las tasas globales de finalización de escáner en la población general de IRM (imagen por resonancia magnética).

Image Added

Figura: Metaanálisis de la finalización de escáner por claustrofobia en los tipos generales de escáner

Image Removed

Figure: Meta-analysis of scan termination due to claustrophobia in general scan types

The figure above represents meta-analysis of proportion data using random effects model from the seven studies. There was significant heterogeneity present in the studies, with a Cochran Q test reaching statistical significance and an I2 value of 96.1%. The pooled proportion equaled 1.18% (95% CI 0.79 – 1.65).  However, due to the significant heterogeneity, this value should be interpreted with caution.

There are limitations with conducting meta-analysis of frequency data, including La figura anterior representa el metaanálisis de los datos de proporciones utilizando el modelo de efectos aleatorios de los siete estudios. Los estudios presentaban una heterogeneidad significativa, con una prueba Q de Cochran que alcanzó significación estadística y un valor I2 del 96,1 %. La proporción agrupada fue igual al 1,18 % (IC 95 %: 0,79 — 1,65). Sin embargo, debido a la heterogeneidad significativa, este valor debe interpretarse con cautela.

Existen limitaciones a la hora de realizar metaanálisis de datos de frecuencia, entre ellas: (Saha, Chant, & McGrath, 2008):

Heterogeneity of data: If the data from the included studies are heterogenous, then the standard errors or confidence intervals for a pooled effect estimate will not adequately reflect the variability of underlying data.

Inadequate reporting of frequency estimates: standard error (SE) for each estimate is required to weight the estimate when pooling the data. Standard errors can still be calculated if the data for the numerator, denominator and the duration of the study were available; however, these calculated SEs will not take into account various adjustments.

How to interpret effect sizes?

Once authors calculate effect sizes, they need to answer the question: What does the effect size mean?

An effect size is simply a number and its meaning and importance must be explained by the researcher. An effect size of any magnitude can mean different things depending on the research that produced it and the results of similar past studies. Therefore, it is the researcher’s responsibility to discuss the importance of their findings and this information requires comparing current effects to those obtained in previous work in the same research area. Confidence Intervals (CIs) are an important way to evaluate the precision of a study’s findings by providing a range of likely values around the obtained effect size.

Heterogeneity

When used in relation to meta-analysis, the term ‘heterogeneity’ refers to the amount of variation in characteristics of included studies. For example, if three studies are to be included in a meta-analysis, does each of the included studies have similar demographics, and assess the same intervention? While some variation between studies will always occur due to chance alone, heterogeneity is said to occur if there are significant differences between studies, and under these circumstances meta-analysis is not valid and should not be undertaken.

There are three types of heterogeneity; clinical, methodological, and statistical heterogeneity (Higgins & Thompson, 2002). Differences in the characteristics of study populations and measurements represent clinical heterogeneity. Differences in study designs and methodological quality (risk of bias) represent methodological heterogeneity. Statistical heterogeneity is the variation of effects sizes between studies. Statistical heterogeneity may arise because of clinical heterogeneity, methodological heterogeneity, or simply by chance.

There is often heterogeneity amongst studies addressing prevalence and incidence. This is due to a number of reasons.  Firstly, clinical heterogeneity may be present due to the measures used to determine the presence of a

Heterogeneidad de los datos: si los datos de los estudios incluidos son heterogéneos, los errores estándar o los intervalos de confianza de una estimación del efecto agrupado no reflejarán adecuadamente la variabilidad de los datos subyacentes.

Notificación inadecuada de las estimaciones de frecuencia: el error estándar (SE) de cada estimación es necesario para ponderar la estimación al agrupar los datos. Los errores estándar aún pueden calcularse si se dispusiera de los datos del numerador, el denominador y la duración del estudio; sin embargo, estos SE calculados no tendrán en cuenta diversos ajustes.

¿Cómo interpretar los tamaños del efecto?

Una vez que los autores calculan el tamaño del efecto, tienen que responder a la pregunta: ¿Qué significa el tamaño del efecto?

Un tamaño del efecto es simplemente un número y su significado e importancia deben ser explicados por el investigador. Un tamaño del efecto de cualquier magnitud puede significar cosas diferentes en función de la investigación que lo produjo y de los resultados de estudios anteriores similares. Por lo tanto, es responsabilidad del investigador discutir la importancia de sus hallazgos y esta información requiere comparar los efectos actuales con los obtenidos en trabajos anteriores en la misma área de investigación. Los intervalos de confianza (IC) son una forma importante de evaluar la precisión de los hallazgos de un estudio, ya que proporcionan un rango de valores probables en torno al tamaño del efecto obtenido.

Heterogeneidad

Cuando se utiliza en relación con el metaanálisis, el término "heterogeneidad" se refiere a la cantidad de variación en las características de los estudios incluidos. Por ejemplo, si se van a incluir tres estudios en un metaanálisis, ¿tiene cada uno de los estudios incluidos características demográficas similares y evalúa la misma intervención? Aunque siempre se producirá cierta variación entre los estudios debido únicamente al azar, se dice que existe heterogeneidad si hay diferencias significativas entre los estudios, y en estas circunstancias el metaanálisis no es válido y no debe llevarse a cabo.

Existen tres tipos de heterogeneidad: clínica, metodológica y estadística (Higgins y Thompson, 2002). Las diferencias en las características de las poblaciones de estudio y las mediciones representan la heterogeneidad clínica. Las diferencias en los diseños de los estudios y en la calidad metodológica (riesgo de sesgo) representan la heterogeneidad metodológica. La heterogeneidad estadística es la variación del tamaño de los efectos entre los estudios. La heterogeneidad estadística puede deberse a la heterogeneidad clínica, a la heterogeneidad metodológica o simplemente al azar.

A menudo existe heterogeneidad entre los estudios que abordan la prevalencia y la incidencia. Esto se debe a varias razones. En primer lugar, puede haber heterogeneidad clínica debido a las medidas utilizadas para determinar la presencia de una variable (Webb et al., 2005).   For example, different scales exist to measure depression, and depending on the scale used, a person may be classified as suffering from depression whilst using one scale and not suffering based on a different scale. Additionally, prevalence and incidence studies often look at specific populations at a specific point of time, and the scope of the study may be limited by state or national borders. Another consideration with the population is whether those considered at risk or eligible for the disease have been included Por ejemplo, existen diferentes escalas para medir la depresión y, dependiendo de la escala utilizada, una persona puede ser clasificada como depresiva según una escala y como no depresiva según otra. Además, los estudios de prevalencia e incidencia suelen analizar poblaciones específicas en un momento concreto, y el alcance del estudio puede estar limitado por fronteras estatales o nacionales. Otra consideración relativa a la población es si se ha incluido a las personas consideradas de riesgo o susceptibles de padecer la enfermedad (Webb et al., 2005).   For example, if look at the prevalence or incidence of breast cancer, have these studies reported the proportion out of the whole population, all females, only adult females, and so on. These different populations may contribute to clinical heterogeneity.

Methodological heterogeneity is also important to consider. Prevalence and incidence data can arise from various study designs with differing levels of methodological quality. This can also results in differences amongst studies.

But how does one tell whether or not differences are significant?

Firstly, the studies should be assessed carefully to determine whether there is clinical or methodological heterogeneity present.  If conducting a meta-analysis, then a visual inspection of the meta-analysis output (e.g. the forest plot) is the first stage of assessing heterogeneity. If the results are scattered across the forest plot and none of the confidence intervals overlap, this is a good indicator of heterogeneity.

A formal statistical test of the similarity of studies is provided by test of homogeneity. The test calculates a probability (P value) from a Chi-square statistic calculated using estimates of the individual study weight, effect size and the overall effect size. Note, however, that this test suffers from lack of power – and will often fail to detect a significant difference when a difference actually exists – especially when there are relatively few studies included in the meta-analysis. Because of this low power, some review authors use a significance level of P < 0.1, rather than the conventional 0.05 value, in order to protect against the possibility of falsely stating that there is no heterogeneity present. Often when combining the results from a series of observational studies, this is the default significance level due to the increased heterogeneity associated inherent with the study design.

The I2 statistic is the percentage of observed total variation across due to heterogeneity and not due to chance. A value of 0% indicates no observed heterogeneity and larger values show increasing heterogeneity.

If there is statistically significant heterogeneity, a narrative synthesis or graphical representation is recommended.

Subgroup analysis (Analysis of subgroups or subsets): 
Subgroup analysis is a means of investigating heterogeneous results and can be used to estimate the influence of various subsets including age group, gender, type of population and sampling strategy used to gather data (e.g. letter, phone, face-to-face). However, subgroups should be pre-specified a priori and should be few. Subgroup analysis may include by study design or by patient groups.

Meta-regression

Meta-regression investigates whether particular covariates explain any of the heterogeneity of treatment effects between studies. A meta-regression is either a linear or logistic regression and can be fixed-effect or random-effect model. The unit of analysis is a study and predictors in the regression are the study-level covariates.

Publication bias

The research that appears in the published literature may be systematically unrepresentative of the population of completed studies. ‘File drawer’ problem or ‘Publication bias’ is a term coined by Rosenthal to mean the number of statistically non-significant studies (p > 0.05) that remain unpublished (Rosenthal & Rubin, 1982). A Funnel plot is used to detect publication bias. This is a scatter plot of effect estimate (x-axis) against inverse of its variance (y-axis). If there is no bias then the funnel will appear symmetric and inverted and if there is bias, the funnel will be asymmetric or skewed in shapePor ejemplo, si nos fijamos en la prevalencia o incidencia del cáncer de mama, ¿han informado estos estudios de la proporción con respecto a toda la población, a todas las mujeres, solo a las mujeres adultas, etc.? Estas diferentes poblaciones pueden contribuir a la heterogeneidad clínica.

También es importante tener en cuenta la heterogeneidad metodológica. Los datos de prevalencia e incidencia pueden proceder de diversos diseños de estudio con distintos niveles de calidad metodológica. Esto también puede dar lugar a diferencias entre los estudios.

Pero, ¿cómo saber si las diferencias son o no significativas?

En primer lugar, los estudios deben evaluarse cuidadosamente para determinar si existe heterogeneidad clínica o metodológica. Si se realiza un metaanálisis, la primera etapa para evaluar la heterogeneidad es una inspección visual del resultado del metaanálisis (por ejemplo, el diagrama de bosque). Si los resultados están dispersos en el diagrama de bosque y ninguno de los intervalos de confianza se solapa, es un buen indicador de heterogeneidad.

Una prueba estadística formal de la similitud de los estudios es la prueba de homogeneidad. La prueba calcula una probabilidad (valor P) a partir de un estadístico Chi-cuadrado calculado mediante estimaciones del peso de cada estudio, el tamaño del efecto y el tamaño del efecto global. Tenga en cuenta, no obstante, que esta prueba sufre de falta de poder — y a menudo no detectará una diferencia significativa cuando realmente exista una diferencia — especialmente cuando haya relativamente pocos estudios incluidos en el metaanálisis. Debido a este bajo poder, algunos autores de revisiones utilizan un nivel de significación de P < 0,1, en lugar del valor convencional de 0,05, para protegerse contra la posibilidad de afirmar falsamente que no existe heterogeneidad. A menudo, cuando se combinan los resultados de una serie de estudios observacionales, este es el nivel de significación por defecto debido a la mayor heterogeneidad asociada inherente al diseño del estudio.

El estadístico I2 es el porcentaje de variación total observada debido a la heterogeneidad y no al azar. Un valor del 0 % indica que no se ha observado heterogeneidad y valores mayores muestran una heterogeneidad creciente.

Si existe heterogeneidad estadísticamente significativa, se recomienda una síntesis narrativa o una representación gráfica.

Análisis de subgrupos (Análisis de subgrupos o subconjuntos):

El análisis de subgrupos es un medio para investigar resultados heterogéneos y puede utilizarse para estimar la influencia de diversos subconjuntos, como el grupo etario, el sexo, el tipo de población y la estrategia de muestreo utilizada para recopilar datos (por ejemplo, carta, teléfono, cara a cara). Sin embargo, los subgrupos deben especificarse previamente a priori y deben ser pocos. El análisis de subgrupos puede incluir por diseño del estudio o por grupos de pacientes.

Metarregresión

La metarregresión investiga si determinadas covariables explican parte de la heterogeneidad de los efectos del tratamiento entre los estudios. Una metarregresión es una regresión lineal o logística y puede ser un modelo de efectos fijos o aleatorios. ­La unidad de análisis es un estudio y los predictores de la regresión son las covariables a nivel de estudio.

Sesgo de publicación

La investigación que aparece en la literatura publicada puede ser sistemáticamente no representativa de la población de estudios completados. El problema del "cajón de sastre" o "sesgo de publicación" es un término acuñado por Rosenthal para referirse al número de estudios estadísticamente no significativos (p > 0,05) que permanecen sin publicar (Rosenthal & Rubin, 1982). Para detectar el sesgo de publicación se utiliza un gráfico de embudo. Se trata de un gráfico de dispersión de la estimación del efecto (eje x) frente a la inversa de su varianza (eje y). Si no hay sesgo, el embudo aparecerá simétrico e invertido y si hay sesgo, el embudo tendrá forma asimétrica o sesgada.