Análisis comparativo para la recuperación de información de resultados en documentos NGS utilizando LLM open source

Abstract

El cáncer es una de las principales causas de mortalidad a nivel mundial, con aproximadamente 10 millones de muertes anuales. Se proyecta un aumento significativo en los casos para 2030, especialmente en países como Perú. El Next Generation Sequencing (NGS) se ha consolidado como una herramienta esencial para el diagnóstico del cáncer, generando una gran cantidad de datos genómicos que presentan desafíos significativos en su procesamiento y análisis, particularmente en documentos no estructurados. Este proyecto se centra en el análisis comparativo de 5 LLMs de código abierto (Qwen, Mistral, LLaMA-2, Gemma-2, Deepseek) para la recuperación de información de resultados en documentos NGS. Estos modelos fueron seleccionados debido a sus características similares, como el tamaño de sus parámetros, que es aproximadamente 7 mil millones (7B). A través de la evaluación de métricas clave como precisión, recall, F1 score, BLEU score y cosine similarity, se busca determinar el desempeño de diferentes LLMs en tareas de extracción de datos genómicos y biomarcadores. La importancia de este trabajo radica en identificar que modelos de lenguaje son más adecuados para abordar las complejidades del lenguaje técnico y los formatos heterogéneos presentes en los documentos NGS. Los resultados obtenidos contribuirán a optimizar el manejo de datos clínicos complejos, mejorando la calidad del procesamiento y reduciendo errores en el flujo de trabajo de oncología, lo que a su vez impactara´ positivamente en la precisión y eficiencia del diagnóstico del cáncer.Cancer is one of the leading causes of mortality worldwide, with approximately 10 million deaths annually. A significant increase in cases is projected by 2030, particularly in countries like Peru. Next Generation Sequencing (NGS) has become an essential tool for cancer diagnosis, generating large volumes of genomic data that present significant challenges in processing and analysis, especially in unstructured documents. This project focuses on the comparative analysis of five open-source LLMs (Qwen, Mistral, LLaMA-2, Gemma-2, Deepseek) for information retrieval from NGS results documents. These models were selected due to their similar characteristics, such as the size of their parameters, which is approximately 7 billion (7B). By evaluating key metrics such as precision, recall, F1 score, BLEU score, and cosine similarity, the study aims to determine the performance of different LLMs in extracting genomic and biomarker data. The importance of this work lies in identifying which language models are best suited to address the complexities of technical language and heterogeneous formats present in NGS documents. The results obtained will help optimize the management of complex clinical data, improving processing quality and reducing errors in oncology workflows. This will positively impact the accuracy and efficiency of cancer diagnosis.