Meta-learning for time series foundation model selection in retail sales forecasting

Abstract

Los modelos fundacionales para predecir series de tiempo presentan distintos niveles de desempeño en diferentes instancias: en el dataset Rossmann, Chronos-2 produce la predicción más precisa en el 20.7 % de experimentos, mientras que TimesFM domina en el 79.3 % restante. Desde el trabajo seminal de Bates y Granger [1], se sabe que combinar modelos con comportamientos de error complementarios mejora la precisión, pero hacerlo requiere determinar cuándo cada modelo performa mejor. Proponemos un marco de meta-learning que aborda este problema extrayendo 65 características de los embeddings del encoder de Chronos-2, características comprimidas por PCA, propiedades estadísticas de las series de tiempo, señales de diferencias entre modelos e historial por tienda. Un ensamble conformado por una red neuronal y XGBoost mapea estas características a una probabilidad utilizada para combinar las predicciones de ambos modelos mediante un promedio ponderado. Sobre 168 tiendas no vistas (10,248 ventanas), la combinación reduce el Error Absoluto Medio Escalado (MASE) en un 3.28 %, capturando el 91.6 % del máximo alcanzable. Se describe el sistema, una metodología de evaluación a nivel de tienda que previene el leakage de datos, y una comparación de diez estrategias de selección y combinación.

Foundation models for time series forecasting perform differently across instances: on the Rossmann retail dataset, Chronos-2 produces the more accurate forecast on 20.7 % of sliding windows, while TimesFM prevails on the remaining 79.3 %. Since the seminal work of Bates and Granger [1], combining forecasters with complementary error profiles has been known to improve accuracy, but doing so requires determining when each model is preferable. We propose a meta-learning framework that addresses this by extracting 65 features from Chronos-2’s encoder embeddings, PCA-compressed representations, statistical time series properties, model disagreement signals, and per-store history. An ensemble of a neural network and XGBoost maps these features to a probability used to blend both models’ forecasts via weighted averaging. On 168 held-out stores (10,248 windows), the blend reduces Mean Absolute Scaled Error (MASE) by 3.28 %, capturing 91.6 % of the oracle ceiling (the maximum achievable with perfect model selection). We describe the system, a store-level evaluation methodology that guards against data leakage, and a comparison of ten selection and blending strategies.