Gobierno de Modelos Analíticos
¿Qué entendemos por Gobierno del Modelo?
Gobierno del Modelo
Gobernanza es el conjunto de procedimientos y herramientas que minimizan errores y facilitan el control de cada fase del ciclo de vida, y la coexistencia pacífica de diferentes modelos en el ecosistema.
El Gobierno del Modelo se aplica a todo el ciclo de vida de un modelo. Desde la definición, extracción de datos y construcción hecha por el Data Scientist, hasta la industrialización y monitorización realizada en el entorno de producción. Es un ámbito muy importante, requiere recursos, herramientas y compromiso de parte de las partes involucradas. En la figura 1 se muestran algunas de las preguntas que deben tenerse en cuenta, en cada fase de un proyecto analítico, cuando se lleva a cabo el Gobierno del Modelo.
Algunos conceptos que hacen parte de la Gobernanza de Modelos Analiticos son:
- Calidad de los datos. ¿Qué fuentes de información se están utilizando?¿Se trabaja en Cloud?
- Legalidad del uso de datos. ¿Qué normas de confidencialidad deben cumplirse?¿GDPR?
- Usabilidad de los datos. ¿Los datos están siempre disponibles?¿Se adquieren en tiempo real?
- Validación técnica del modelo. ¿Cuál es la calidad predictiva del modelo?¿Se puede poner en producción?
- Validación funcional del modelo. ¿Quién aprueba el modelo?¿En que entorno se despliega?
- Implementación del modelo. ¿Cómo se despliega el modelo en el entorno de industrialización?
- Consumo del modelo. ¿Quién está usando el modelo?¿Lo está usando bien?
- Monitorización del modelo. ¿Qué calidad predictiva tiene en modelo desde que está en producción?
- Coexistencia de modelos. ¿Cuántos modelos existen en producción?¿Hay relación entre diferentes modelos?
Figure 1: Gobernanza de Modelos Analíticos
La mayoría de las veces ya estamos trabajando en la etapa de Monitorización del Modelo. La principal pregunta que e responde es: ¿El modelo sigue siendo igual de bueno que cuando se decidió su puesta en producción? Algunas de las tareas que implica son:
- Monitorizar las previsiones/ puntuaciones obtenidas
- Monitorizar la calidad de las previsiones
- Monitorizar la evolución de las variables que se utilizan en el modelo
- Monitorizar la relación entre las variables del modelo y la previsión
- Informes automáticos.
Este trabajo está directamente relacionado con la coexistencia de modelos porque incluye tareas como:
- Control de versiones puestas en produccion de cada modelo
- Generación de alertas automáticas que indiquen deterioro de calidad predictiva
- De forma opcional, puede incluir informes que afecten a más de un modelo (pe, un resumen de las variables que afecten a más de 1 modelo)
¿Por qué monitorizar?
La frecuencia en que los modelos deben ser monitorizados depende factores como: el contexto de negocio, el uso del modelo, las limitaciones de recursos y tiempo de ejecución, etc. Es difícil establecer un criterio único.
Cambios de Entorno
- Evolución de los inputs que participan en el modelo.
- Cambios en productos, servicios, etc.
- Cambios en la población objetivo.
Uso del Modelo
- La evaluación de la calidad de previsión depende de cuando se dispone del dato real.
- Si los modelos se usan 1 vez por mes, la monitorización debe realizarse también 1 vez por mes.
Antigüedad del Modelo
- Aunque las métricas indiquen que la precisión de la previsión es aceptable, si el modelo lleva años en producción, se recomienda su revisión.
Tiempo de Ejecución
- Recolectar los datos requieren mucho tiempo.
- Parte de los datos vienen de fuentes externas.
- Coste computacional vs riesgo de no tener el modelo actualizado.
Romy Rodriguez-Ravines
GOING BEYOND DATA
Understand, Model, Predict = Learn and extract value from data for people and organizations.