Competencia de la AACC demuestra cómo los laboratorios pueden usar el análisis de datos para resolver problemas reales

Los médicos confían en la medición del péptido relacionado con la hormona paratiroidea (PTHrP) para ayudar a establecer un diagnóstico de hipercalcemia humoral maligna, una forma rara de cáncer que causa, entre otras cosas, altos niveles de calcio en la sangre. El problema: los médicos a menudo lo solicitan para pacientes con baja probabilidad previa a la prueba. Las pruebas excesivas de PTHrP pueden conducir a procedimientos costosos, innecesarios y potencialmente dañinos, incluidas pruebas de laboratorio invasivas para localizar un tumor canceroso posiblemente inexistente. Un algoritmo predictivo exitoso ayudaría a los laboratoristas a identificar de manera rápida y precisa las órdenes de pruebas de PTHrP potencialmente inapropiadas al predecir si los datos de laboratorio disponibles en el momento de la orden ya sugieren un resultado anormal de PTHrP. Un desafío de aprendizaje automático presentado por primera vez por la Asociación Americana de Química Clínica (Washington, DC, EUA; www.aacc.org ) en la Reunión Científica Anual y Exposición de Laboratorio Clínico de la AACC de 2022 demostró cómo los laboratorios pueden usar el análisis de datos para resolver estos problemas reales que enfrentan los pacientes y los médicos.

El Concurso de Predicción de Resultados de PTHrP presentado por la AACC en el evento en asociación con la sección de informática del departamento de patología e inmunología de la Facultad de Medicina de la Universidad de Washington, St. Louis (WUSM, St. Louis, MI, EUA) tuvo como objetivo involucrar a la comunidad de profesionales de la medicina de laboratorio en un entorno en línea divertido y amigable donde podrían practicar sus habilidades de análisis de datos, aprender unos de otros y ver cómo otros abordan los problemas en el lado de la medicina de laboratorio basada en datos. Los participantes de la competencia formaron equipos y utilizaron datos clínicos anonimizados reales compartidos de forma segura de las órdenes de PTHrP en WUSM para construir sus algoritmos predictivos. Esto se denomina "conjunto de datos de práctica". El uso de datos clínicos reales fue un gran problema porque la mayoría de las competencias de aprendizaje automático utilizan conjuntos de datos sintetizados. Los organizadores configuraron la competencia utilizando Kaggle, una popular plataforma en línea para concursos y modelos de aprendizaje automático, y seleccionaron la puntuación F1 (la media armónica de sensibilidad y especificidad) como la métrica de rendimiento.

Un desafío importante para los equipos fue desarrollar un modelo predictivo que lograra una alta precisión sin sobreajustarlo al conjunto de datos públicos (el conjunto de datos de práctica). El sobreajuste significaría que el algoritmo funcionó bien con los datos iniciales pero falló si se aplicaba a nuevos datos y no era generalizable. Los organizadores utilizaron un segundo conjunto de datos privado para juzgar la eficacia del algoritmo. De mayo a junio de 2022, 24 equipos ejecutaron un total de 395 iteraciones de sus modelos predictivos a través del conjunto de datos público. Cada vez que un equipo enviaba un modelo predictivo para un intento, usaban la puntuación F1 resultante para mejorar, o "entrenar", el modelo. Para el intento final, cada equipo ejecutó su modelo predictivo a través del conjunto de datos privado. El equipo ganador, Equipo Kagglist, logró una puntuación de F1 de 0,9 con su modelo predictivo. Como referencia, el enfoque manual de WUSM para identificar pacientes en riesgo de PTHrP tuvo una puntuación F1 de 0,6, lo que hace que el algoritmo sea una mejora significativa con respecto a la práctica estándar.

“No deberíamos esperar que un modelo predictivo entrenado en datos de un hospital funcione automáticamente en otros hospitales”, dijo Yingheng Wang del Equipo Kaggle. “En última instancia, debemos apuntar a crear modelos adaptativos que otras instituciones puedan ajustar para sus poblaciones específicas”.

“La calidad de los 24 modelos fue excelente y mostró un alto grado de precisión para la tarea muy difícil con la que desafiamos a los participantes”, dijo el organizador de la competencia Mark Zaydman, MD, PhD, profesor asistente de patología e inmunología en WUSM. “Esta competencia realmente demostró que nuestra comunidad está lista para involucrarse con herramientas sofisticadas de aprendizaje automático y análisis de datos”.

Enlaces relacionados:
AACC  

Visitar la expo >

New

Miembro Oro

STI Test

Vivalytic MG, MH, UP/UU

Miembro Oro

Lector rapido de tarjetas

EASY READER+

New

CMV CLIA Diagnostic

CLIA CMV IgA Screen Group

New

Clinical Informatics Platform

CLARION™