Page Comparison

Publication bias occurs when published studies differ systematically from all conducted studies on a topic. Publication bias arises when studies with statistically significant results or positive results in a specific direction are more likely to be published compared to studies without statistically significant results or negative results. Reviewers should make all reasonable efforts to include in their systematic review all or most of all relevant studies, regardless of the nature of reports (published or unpublished. Publication bias can have a detrimental effect on the validity of systematic reviews (Deeks et al 2008). Funnel plots are a method of investigating the located studies in a meta-analysis for publication bias, they are scatter plots in which an effect estimate of each study is plotted against a measure of size or precision (i.e. standard error) (Deeks et al 2008). The largest studies should be closest to the ‘true’ value, with the smaller studies spread on either side; creating the shape of a funnel if publication bias is not present. If publication bias has had an effect on the studies available (and there are no other confounding factors) then the ‘funnel’ should be incomplete with an area missing (Deeks et al 2008). Generally the best way to minimise the impact of publication bias on a systematic review is the inclusion of trial registries and unpublished studies or grey literature (Lau et al 2006; Sterne et al 2011). Funnel plots suffer from numerous issues including low power, numerous alternative explanations for asymmetrical distribution of studies, and inaccurate researcher interpretations of plots (Lau et al 2006; Sterne et al 2011). However, they remain a useful and popular way of investigating publication bias (Deeks et al 2008). Potential reasons for funnel plot asymmetry other than publication bias include: poor methodological quality leading to exaggerated effects in smaller studies (which can be the result of poor methodological design, inadequate analysis, or fraud), true heterogeneity, artefactual causes (in some situations sampling variation can lead to an association between the two factors (effect estimate and measure of size or precision)) and chance (Sterne et al 2011). The visual inspection of funnel plots introduces great uncertainty and subjectivity. In a survey utilizing simulated plots, researchers had only 53% accuracy at identifying publication bias (Lau et al 2006). A very liberal minimum number of studies for the performance of a funnel plot to be justified is ten (Lau et al 2006).

Statistical tests for funnel plot asymmetry (also known as tests for publication bias) investigate the association between effect size estimate and measure of study size or precision. The most popular statistical tests for funnel plot asymmetry are Egger test, Begg test, and the Harbord test. These tests were developed based on the following assumptions: large studies are more likely to be published regardless of statistical significance; small studies are at the greatest risk for being lost; in small studies only the large effects are likely to be statistically significant therefore published small studies often show larger effect sizes compared to larger studies; small and unfavorable effects are more likely to be missing; small studies with large effect sizes are likely to be published (Jin et al 2015). Null statistical hypotheses for these tests reflect the hypothesis of symmetry of the plot, that is, the hypothesis of no publication bias. A finding of not statistically significant P-value for the asymmetry test does not exclude bias. These tests are known to have low power.

A statistical test for funnel plot asymmetry investigates whether the association between effect estimate and measure of study size or precision is larger than what can be expected to have occurred by chance (Sterne et al 2011). These tests are known to have low power and consequently a finding of no evidence of asymmetry does not serve to exclude bias (Sterne et al 2011).

The Begg’s Test was proposed by Begg and Mazumdar in 1994. It is used for dichotomous outcomes with intervention effects measured as odds ratios. It is an adjusted rank correlation test (Jin et al 2015). It explores the correlation between the effect estimates and their sampling variances (Jin et al 2015). It is a very popular test, however, it has low power; some statisticians do not recommend its use. It is “fairly powerful” for meta-analysis of 75 studies; it has “moderate power” for meta-analysis of 25 studies (Begg and Mazumdar 1994). It is considered that the test has “appropriate” type I error rate (Jin et al 2015).

The Egger’s test was proposed by Egger et al in 1997. It is used for continuous outcomes with intervention effects measured as mean differences. It is a “regression test”, that is, it uses a linear regression approach (Jin et al 2015). The standard normal deviate (estimated effect size/estimated standard error) is regressed against the estimate’s precision. It is a very popular test. It is considered that the test has “inappropriate” type I error rate when heterogeneity is present and the number of included studies is large (Jin et al 2015). The Egger test for funnel asymmetry is the most cited statistical test for publication bias.

The Harbord Test was proposed by Harbord et al in 2006. It is used for dichotomous outcomes with intervention effects measured as odds ratios. The test uses “a weighted regression model” (Jin et al 2015). It is considered that the test has “inappropriate” type I error rate when heterogeneity is present. It was contended that the Harbord Test has better error rate compared to Egger’s test in balanced trials with little or no heterogeneity (Jin et al El sesgo de publicación ocurre cuando los estudios publicados difieren sistemáticamente de todos los estudios realizados sobre un tema. El sesgo de publicación surge cuando es más probable que se publiquen estudios con resultados estadísticamente significativos o resultados positivos en una dirección específica en comparación con estudios sin resultados estadísticamente significativos o resultados negativos. Los revisores deben hacer todos los esfuerzos razonables para incluir en su revisión sistemática todos o la mayoría de los estudios relevantes, independientemente de la naturaleza de los informes (publicados o no publicados). El sesgo de publicación puede tener un efecto perjudicial sobre la validez de las revisiones sistemáticas (Deeks et al. 2008). Los gráficos de embudo son un método para investigar los estudios localizados en un metaanálisis para el sesgo de publicación, son gráficos de dispersión en los que se traza una estimación del efecto de cada estudio frente a una medida de tamaño o precisión (es decir, error estándar) (Deeks et al. 2008). Los estudios más grandes deberían estar más cerca del valor "verdadero", con los estudios más pequeños dispersos en ambos lados; creando la forma de un embudo si el sesgo de publicación no está presente. Si el sesgo de publicación ha tenido un efecto sobre los estudios disponibles (y no hay otros factores de confusión), entonces el "embudo" debería estar incompleto y faltar un área (Deeks et al. 2008). En general, la mejor manera de minimizar el impacto del sesgo de publicación en una revisión sistemática es la inclusión de registros de ensayos y estudios no publicados o literatura gris (Lau et al. 2006; Sterne et al. 2011). Los gráficos de embudo sufren numerosos problemas, incluido el bajo poder, las numerosas explicaciones alternativas para la distribución asimétrica de los estudios y las interpretaciones inexactas de los gráficos por parte de los investigadores (Lau et al. 2006; Sterne et al. 2011). Sin embargo, siguen siendo una forma útil y popular de investigar el sesgo de publicación (Deeks et al. 2008). Entre las posibles razones de la asimetría de los gráficos de embudo, distintas del sesgo de publicación, se incluyen: la calidad metodológica deficiente que conduce a efectos exagerados en los estudios más pequeños (lo que puede ser el resultado de un diseño metodológico deficiente, análisis inadecuado o fraude), la heterogeneidad real, las causas "artefactuales" (en algunas situaciones, la variación del muestreo puede conducir a una asociación entre los dos factores (estimación del efecto y medida de tamaño o precisión) y el azar (Sterne et al. 2011). La inspección visual de los gráficos de embudo introduce una gran incertidumbre y subjetividad. En una encuesta en la que se utilizaron gráficos simulados, los investigadores tuvieron solo un 53 % de precisión al identificar el sesgo de publicación (Lau et al. 2006). Un número mínimo muy liberal de estudios para que se justifique la realización de un gráfico de embudo es diez (Lau et al. 2006).

Las pruebas estadísticas para la asimetría del gráfico de embudo (también conocidas como pruebas de sesgo de publicación) investigan la asociación entre la estimación del tamaño del efecto y la medida del tamaño o la precisión del estudio. Las pruebas estadísticas más populares para la asimetría del gráfico de embudo son la prueba de Egger, la prueba de Begg y la prueba de Harbord. Estas pruebas se desarrollaron sobre la base de los siguientes supuestos: es más probable que se publiquen estudios grandes, independientemente de su significancia estadística; los estudios pequeños corren el mayor riesgo de perderse; en los estudios pequeños, es probable que solo los efectos grandes sean estadísticamente significativos; por lo tanto, los estudios pequeños publicados a menudo muestran tamaños del efecto más grandes en comparación con los estudios más grandes; es más probable que falten los efectos pequeños y desfavorables; es probable que se publiquen estudios pequeños con tamaños de efecto grandes (Jin et al. 2015). Las hipótesis estadísticas nulas para estas pruebas reflejan la hipótesis de simetría del gráfico, es decir, la hipótesis de ausencia de sesgo de publicación. Un hallazgo de valor P no estadísticamente significativo para la prueba de asimetría no excluye el sesgo. Se sabe que estas pruebas tienen poco poder.

Una prueba estadística para la asimetría del gráfico de embudo investiga si la asociación entre la estimación del efecto y la medida del tamaño o la precisión del estudio es mayor de lo que se puede esperar que haya ocurrido por casualidad (Sterne et al. 2011). Se sabe que estas pruebas tienen un poder estadístico bajo y, en consecuencia, la falta de evidencia de asimetría no sirve para excluir el sesgo (Sterne et al. 2011).

La prueba de Begg fue propuesta por Begg y Mazumdar en 1994. Se utiliza para resultados dicotómicos con efectos de intervención medidos como razones de probabilidades (odds ratios). Es una prueba de correlación de rangos ajustada (Jin et al. 2015). Explora la correlación entre las estimaciones del efecto y sus varianzas de muestreo (Jin et al. 2015). Es una prueba muy popular, sin embargo, tiene poco poder; algunos estadísticos no recomiendan su uso. Es "bastante poderoso" para el metaanálisis de 75 estudios; tiene un "poder moderado" para el metaanálisis de 25 estudios (Begg y Mazumdar 1994). Se considera que la prueba tiene una tasa de error tipo I “apropiada” (Jin et al. 2015).

La prueba de Egger fue propuesta por Egger et al. en 1997. Se utiliza para resultados continuos con efectos de intervención medidos como diferencias de medias. Es una “prueba de regresión”, es decir, utiliza un enfoque de regresión lineal (Jin et al. 2015). La desviación estándar normal (tamaño del efecto estimado/error estándar estimado) se regresiona contra la precisión de la estimación. Es una prueba muy popular. Se considera que la prueba tiene una tasa de error tipo I “inapropiada” cuando hay heterogeneidad y el número de estudios incluidos es grande (Jin et al. 2015). La prueba de Egger para la asimetría del embudo es la prueba estadística más citada para el sesgo de publicación.

La prueba de Harbord fue propuesta por Harbord et al. en 2006. Se utiliza para resultados dicotómicos con efectos de intervención medidos como razones de probabilidades (odds ratios). La prueba utiliza “un modelo de regresión ponderada” (Jin et al. 2015). Se considera que la prueba tiene una tasa de error tipo I “inapropiada” cuando hay heterogeneidad. Se afirmó que la prueba de Harbord tiene una mejor tasa de error en comparación con la prueba de Egger en ensayos equilibrados con poca o ninguna heterogeneidad (Jin et al. 2015).