Revista Farmespaña Industrial - Especial Calidad 2025

En la descripción del entrenamiento debe- remos reflejar también si se está empleando un modelo pre-entrenado justificando su adecuación, si el modelo trabaja solo o en conjunto (“ensemble”), si se han realizado técnica de calibración o ajuste (“fine tu- ning”), y las herramientas usadas para ga- rantizar la calidad del entrenamiento (PNTs, control de versiones, …). La evaluación del modelo de IA nos permi- te garantizar que su desempeño sea adecua- do dentro del contexto de uso (COU). Descripción de la Evaluación La evaluación del modelo de ML/IA deberá tener en consideración todos aquellos ele- mentos que forman parte de él, como los algoritmos o los datos, pero también su des- empeño en el contexto de uso, los usuarios que lo van a interactuar y las herramientas de aseguramiento de la calidad. Evaluación de los datos: Además, es importante documentar el pro- ceso de recolección, procesamiento y anota- ción de estos datos, es especial si se ha lleva- do a cabo un aumentado de la muestra con datos sintéticos, así como la metodología utilizada para mantener la independencia de los datasets de entrenamiento y evalua- ción. En caso de solapamiento entre grupos de datos deberá justificarse su idoneidad. Recordemos que los datos son el combus- tible del modelo, si no se realiza un proceso riguroso de adquisición y procesado, pode- mos encontrarnos que el modelo no podrá generar bien los resultados en el entorno productivo. Evaluación del Entorno Un aspecto clave en esta evaluación es el fe- nómeno del data drift, que ocurre cuando los datos operativos difieren de los de entre- namiento, lo que puede afectar la precisión del modelo y requiere monitoreo continuo. Debemos asegurarnos de que los datos his- tóricos se adecuen al contexto de uso del modelo. Evaluación del modelo y las Métricas de evaluación Para medir el rendimiento del modelo, se deben utilizar métricas estandarizadas que permitan evaluar su precisión y fiabili- dad. La elección de las métricas deberá ser justificada. Algunas métricas comunes de clasificación incluyen la sensibilidad (capacidad del mo- delo para detectar correctamente los casos positivos), la especificidad (capacidad de identificar correctamente los negativos), y la curva ROC-AUC, que evalúa el equilibrio entre tasas de verdaderos y falsos positivos. También se debe analizar la incertidum- bre en las predicciones, asegurando que el modelo proporcione estimaciones con un nivel de confianza adecuado. Si el modelo trabaja en conjunto con decisiones huma- nas (human-in-the-loop), la evaluación debe considerar la interacción entre el modelo y los operadores, midiendo el impacto de la IA en la toma de decisiones. Identificación de sesgos Además, es esencial identificar posibles ses- gos y limitaciones del modelo antes de su implementación. Se deben evaluar patrones de error sistemáticos que puedan indicar al- goritmic bias , por ejemplo, si el modelo favo- rece o discrimina a ciertos grupos debido a una representación inadecuada en los datos de entrenamiento. A continuación, se muestra una compara- tiva gráfica entre el ciclo de vida del modelo de ML/AI propuesto en el Anexo D11 de las GAMP5 y los pasos descritos por el Credibility Assessment Plan. Diagrama 3. Ciclo de vida de un modelo de IA ACTUALIZACIÓN REGULATORIA 46 FARMESPAÑA INDUSTRIAL · ESPECIAL CALIDAD EN LA INDUSTRIA FARMACÉUTICA