Revista Farmespaña Industrial - Especial Calidad 2025

decisiones regulatorias sean confiables, pre- cisos y apropiados para su contexto de uso (COU). Este marco se centra en ajustar el ni- vel de rigor de la evaluación de credibilidad en función del riesgo inherente del modelo y del impacto de sus resultados en las decisio- nes regulatorias. El proceso consta de siete pasos clave: Objetivo del modelo: Question of interest La pregunta de interés define de manera precisa el problema, decisión o cuestión es- pecífica que el modelo de IA busca resolver. Responder a la pregunta de interés ayudará a guiar el diseño y desarrollo del modelo, asegurando que esté alineado claramente con su propósito. Dicho de otra manera. Imagina que el mo- delo de IA es una herramienta. La pregunta de interés es la tarea para la que usarás esa herramienta. ¿Por qué es importante la “Question of interest”? Una definición bien formulada nos permitirá delimitar el alcance del modelo, identificar las fuentes de datos necesarias y establecer las métricas que se utilizarán para evaluar su desempeño. Además, esta pregunta conecta el modelo con su contexto de uso, ayudando a deter- minar cómo se integrará en los procesos existentes y qué decisiones dependen de sus resultados. También permitirá anticipar los requisitos regulatorios y las evidencias complementarias necesarias para validar el modelo. Alcance y Business purpose: Context of use (COU) El contexto de uso (COU) define el propósito y alcance del modelo de IA en un proceso es- pecífico. Describe qué será modelado, cómo se utilizarán los resultados y si el modelo fun- cionará junto a otras fuentes de evidencia. El COU permite establecer si el modelo será la única herramienta de decisión o una com- plementaria, y cómo influirá en decisiones crí- ticas del proceso. También delimita las condi- ciones bajo las cuales se utilizará, definiendo su integración en los procedimientos opera- tivos, si las salidas serán verificadas externa- mente y su impacto en la calidad y seguridad. El contexto de uso es el escenario donde actúa el modelo de IA. Delimita el papel del modelo, las reglas de la actuación y cómo interactúa con los demás elementos del entorno. Riesgo del modelo El riesgo del modelo se define como la po- sibilidad de que la salida del modelo lleve a una decisión incorrecta con consecuencias adversas. Este riesgo no está relacionado con el modelo en sí, sino con el impacto de sus resultados en el contexto de uso (COU). El riesgo del modelo se define por dos fac- tores clave: la influencia del modelo y la consecuencia de la decisión. La influencia refleja cuánto peso tiene la salida del mode- lo en el proceso de decisión, mientras que la consecuencia mide la gravedad de un resul- tado adverso si el modelo falla. Buscando la equivalencia con la gestión de riesgos en los sistemas informatizados con- vencionales, podríamos entender la Conse- cuencia como la Severidad. Mientras que la Influencia del modelo podría ser equi- valente a la Detectabilidad, entendiéndose como la disponibilidad de mecanismos que permitan contrastar si hay un fallo. Determinar el riesgo del modelo permite adaptar las actividades de evaluación de credibilidad según su nivel de riesgo. Esto asegura que los recursos se enfoquen en los modelos con mayor impacto y necesidad de supervisión. Llama la atención que la evaluación de riesgos propuesta por la FDA se limite a la Influencia y consecuencia, y no considere la evolución del proceso y sus datos (Data drift), y en consecuencia la pérdida de fiabi- lidad del modelo en el tiempo. Aunque este fenómeno si está contemplado durante la evaluación del modelo y el mantenimiento como veremos más adelante. En el artículo de la ISPE, “AI Maturity Model for GxP Appli- cation: A Foundation for AI Validation”, se incluyen los conceptos de Diseño de contro- les que mide la independencia del modelo en la toma de decisiones y la Autonomía del modelo que sería la capacidad para auto actualizarse, que consideran la evolución del modelo en el tiempo. Esta disparidad en el enfoque de evaluación nos da dos herra- mientas más que podrían usarse comple- mentariamente. A continuación se muestran las matrices definidas por la FDA y el artículo de la ISPE Credibility assessment plan El objetivo del plan es detallar cómo se esta- blecerá la credibilidad de los resultados del modelo de IA dentro de su contexto de uso Diagrama 2. Ejemplo de entrenamiento de una red. Determinar el riesgo del modelo permite adaptar las actividades de evaluación de credibilidad según su nivel de riesgo, lo que asegura que los recursos se enfoquen en los modelos con mayor impacto y necesidad de supervisión ACTUALIZACIÓN REGULATORIA 43 FARMESPAÑA INDUSTRIAL · ESPECIAL CALIDAD EN LA INDUSTRIA FARMACÉUTICA