9.2.5 Evaluación de la calidad metodológica
- Carolyn Phillips
La evaluación de la calidad de los estudios de diagnóstico que se consideran para su inclusión es una parte vital del proceso de revisión sistemática. La calidad metodológica se refiere al riesgo de sesgo derivado del diseño y de la realización del estudio. La calidad de un estudio de diagnóstico viene determinada por su diseño, los métodos de reclutamiento de la muestra del estudio, la realización de las pruebas implicadas, el cegamiento en el proceso de interpretación de las pruebas y la exhaustividad del informe del estudio. El proceso de valoración crítica examina la metodología de un estudio en función de criterios predefinidos, con el objetivo de considerar las fuentes individuales de riesgo de sesgo, y se utiliza para evaluar hasta qué punto se debe creer en los resultados de un estudio o considerarlos válidos tras una evaluación rigurosa (Reitsma et al. 2009).
La Tabla 9.3 se ha modificado y ampliado a partir de "Synthesizing evidence of diagnostic accuracy" (White et al. 2011; Reitsma et al. 2009) y destaca los principales tipos de sesgo que pueden producirse en los estudios de exactitud diagnóstica como resultado de una notificación defectuosa o incompleta. Se han realizado intentos, como los de la iniciativa Standards for Reporting of Diagnostic Accuracy (STARD) (Bossuyt et al. 2003; Meyer et al. 2003), para mejorar la presentación de informes, la calidad metodológica y ayudar a los investigadores primarios a abordar y evitar las fuentes de sesgo.
Tabla 9.3: Tipos de sesgo en los estudios sobre la exactitud de las pruebas diagnósticas
| Tipo de sesgo | ¿Cuándo se produce? | Impacto en la exactitud | Medidas preventivas |
Pacientes/ | Sesgo de espectro | Cuando los pacientes incluidos no representan el espectro de gravedad previsto para la enfermedad objetivo o las enfermedades alternativas |
Depende del extremo del espectro de la enfermedad que representen los pacientes incluidos | Garantizar que los pacientes incluidos representan una amplia muestra de aquellos con los que se pretende utilizar la prueba en la práctica clínica |
Sesgo de selección | Cuando los pacientes elegibles no se inscriben de forma consecutiva o aleatoria | Suele llevar a sobrestimar la exactitud | Considerar a todos los pacientes elegibles e inscribirlos de forma consecutiva o aleatoria | |
Prueba índice | Sesgo de información | Cuando los resultados de la prueba índice se interpretan con conocimiento de los resultados de la prueba de referencia, o con más (o menos) información que en la práctica | Suele dar lugar a una sobrestimación de la exactiutd, a menos que se proporcione menos información clínica que en la práctica, lo que puede dar lugar a una subestimación de la exactitud | Los resultados de las pruebas índice deben interpretarse sin conocer los resultados de las pruebas de referencia, o con más (o menos) información que en la práctica |
Prueba de referencia | Sesgo de clasificación errónea | Cuando la prueba de referencia no clasifica correctamente a los pacientes con la enfermedad objetivo | Depende de si la prueba de referencia y la prueba índice cometen los mismos errores | Garantizar que la referencia clasifica correctamente a los pacientes dentro de la enfermedad objetivo |
Sesgo de verificación parcial | Cuando un conjunto no aleatorio de pacientes no se somete a la prueba de referencia | Suele provocar una sobrestimación de la sensibilidad, el efecto sobre la especificidad varía | Garantizar que todos los pacientes se someten tanto a la prueba de referencia como a la prueba índice | |
| Sesgo de verificación diferencial | Cuando se verifica un conjunto no aleatorio de pacientes con una segunda o tercera prueba de referencia, especialmente cuando esta selección depende del resultado de la prueba índice | Suele llevar a sobrestimar la exactitud | Garantizar que todos los pacientes se someten tanto a la prueba de referencia como a la prueba índice |
| Sesgo de incorporación | Cuando la prueba índice se incorpora a una prueba de referencia (compuesta) | Suele llevar a sobrestimar la exactitud | Garantizar que la prueba de referencia y la prueba índice se realizan por separado |
| Sesgo de progresión de la enfermedad/afección | Cuando el estado del paciente cambia entre la administración de la prueba índice y la de referencia | Subestimación o sobrestimación de la exactitud, en función del cambio en el estado de los pacientes | Realizar la prueba de referencia y la prueba índice con un desfase mínimo. En la medida de lo posible, al mismo tiempo |
| Sesgo de información | Cuando los datos de la prueba de referencia se interpretan conociendo los resultados de la prueba índice | Suele llevar a sobrestimar la exactitud | Interpretar los datos de referencia e índice de forma independiente |
Análisis de datos | Datos excluidos | Cuando no se incluyen en el análisis los resultados no interpretables o intermedios de las pruebas y las retiradas | Suele llevar a sobrestimar la exactitud | Garantizar que se contabilizan todos los pacientes que entraron en el estudio y que se explican todos los resultados no interpretables o intermedios de las pruebas |
La herramienta más utilizada para analizar la exactitud diagnóstica es QUADAS 2, que se publicó en 2011 tras la revisión de la herramienta original QUADAS (Quality Assessment of Diagnostic Accuracy Studies) (Whiting et al. 2011). El JBI fomenta el uso de QUADAS 2, y este capítulo incluye una lista de verificación que incorpora las "preguntas de señalización" de QUADAS 2 (Anexo I). Cabe señalar que QUADAS 2 incluye preguntas relativas al nivel de preocupación de los revisores por la aplicabilidad del estudio considerado a la pregunta de investigación. Para las revisiones sistemáticas de la exactitud de pruebas diagnósticas (EPD) del JBI, un estudio de investigación primaria no debe proceder a la valoración crítica si existe la preocupación de que el estudio no se ajusta a los criterios de inclusión y a la pregunta de investigación. Como tal, este elemento de QUADAS 2 no se aborda en la siguiente lista de verificación (Dominios 1, 2, 3, 4).
Dominio 1: Selección de pacientes
En esta sección se evalúa el riesgo de sesgo de selección en función de cómo se seleccionaron los pacientes para el estudio.
¿Se incluyó una muestra consecutiva o aleatoria de pacientes?
¿Se evitó un diseño de casos y controles?
¿Evitó el estudio exclusiones inadecuadas?
Dominio 2: Pruebas índice
En esta sección se analiza si la realización e interpretación de la prueba índice investigada podría haber introducido sesgos.
¿Se interpretaron los resultados de la prueba índice sin conocer los resultados del estándar de referencia?
Si se utilizó un umbral, ¿se especificó previamente?
Dominio 3: Estándar/prueba de referencia
El objetivo de esta sección es determinar si la forma en que se realizó e interpretó la prueba de referencia podría introducir sesgos en el estudio, y en qué medida.
¿Es probable que el estándar de referencia clasifique correctamente la enfermedad objetivo?
¿Se interpretaron los resultados del estándar de referencia sin conocer los resultados de la prueba índice?
Dominio 4: Flujo y tiempo
El objetivo de esta sección es determinar el riesgo de sesgo atribuible al orden en que se realizaron las pruebas índice y de referencia en el estudio. Si transcurre mucho tiempo entre la realización de las dos pruebas, el estado del paciente puede cambiar y, por tanto, influir en los resultados de la prueba posterior. Además, si la prueba posterior se realiza con conocimiento de los resultados de la prueba anterior, la interpretación de los resultados puede verse afectada.
¿Hubo un intervalo adecuado entre la prueba índice y la prueba de referencia?
¿Recibieron todos los pacientes la misma prueba de referencia?
¿Se incluyó a todos los pacientes en el análisis?
El revisor principal y el secundario deben discutir cada punto de valoración para cada diseño de estudio incluido en su revisión. En particular, las discusiones deben centrarse en lo que se considera aceptable para la revisión en términos de las características específicas del estudio. Los revisores deben tener claro qué constituye niveles aceptables de información para asignar una valoración positiva en comparación con una negativa, o una respuesta de "poco claro".
Esta discusión debe tener lugar antes de realizar la valoración de forma independiente. El peso asignado a las preguntas específicas de la valoración crítica variará entre las revisiones y depende de los revisores establecer qué criterios darán lugar a la inclusión/exclusión de un estudio. Muchos revisores seleccionan una serie de preguntas que deben responderse "Sí" o la revisión será excluida. Es importante que estos criterios se apliquen de forma coherente en todos los estudios. Anteriormente, los protocolos de revisión sistemática publicados en la revista JBI Evidence Synthesis indicaban la herramienta de valoración que se utilizaría en sus protocolos. En su lugar, Campbell et al. 2015, que describe el proceso y la herramienta de valoración, debe citarse en la sección correspondiente del método del protocolo.