CRISP-DM · Evaluation
Evaluación del modelo de demanda
Resultados del modelo CatBoost al probarlo con datos que no usó para entrenar (25-31 octubre 2023). holdout temporal días 25-31 oct 2023.
Validación temporalCatBoost
Por qué importa esta evaluación
El optimizador usa la demanda prevista para tomar decisiones. Por eso probamos el modelo con días posteriores a los de entrenamiento: así vemos si funciona bien con datos nuevos.
MAE
44.38veh/h
Error absoluto medio
RMSE
87.8
Da más peso a errores grandes
R²
0.92
Calidad general del ajuste
sMAPE
16.79%
Error porcentual
MAE por hora
Error medio del modelo en cada hora del día.
R² por hora
Qué tal ajusta el modelo en cada hora. Cuanto más cerca de 1, mejor.
Real vs predicho
Comparación entre el tráfico real y el que predijo el modelo.
Zonas con más error
Zonas donde el modelo se equivoca más, según el MAE.
| Zona | Calle / sensor | MAE |
|---|---|---|
| 794 | AV. CORTES VALENCIANAS, Nº 28 (de La Safor a Camp de Túria) | 499.64 |
| 735 | SERRERÍA, esq. J. Vilar (de Justo Vilar a Martí Grajales) | 348.91 |
| 807 | MAESTRO RODRIGO, Nº 78 (de La Safor a Camp de Túria) | 337.11 |
| 1019 | BEATA GENOVEVA TORRES S/N | 332.3 |
| 321 | DOLORES MARQUÉS, Nº 13 (de Jose Mª Pinazo a Albocácer) | 273.03 |
| 408 | GRAL. AVILÉS, Nº 58 (de Sta. María a Maestro Rodrigo) | 269.9 |
| 1187 | Cº NUEVO PICAÑA, Nº 5 (de Coeters a Tres Cruces) | 255.49 |
| 827 | AV. HERMANOS MACHADO, S/N (De Salvador Cervero a Salida Ciudad) | 237.48 |
| 1096 | Cº MONCADA - VÍA LATERAL (ENTRADA) (de Poble Nou a Av. Hnos. Machado) | 237.11 |
| 1218 | RONDA NORTE (AV. CATALUÑA) | 201.94 |
| 1090 | HERMANOS MACHADO (JUAN XXIII) | 201.88 |
| 826 | ALAMEDA, Nº 46 (de Vicente Beltrán a Padre Tomás Montañana) | 199.27 |