Cadena de suministros inteligente: aplicación del aprendizaje por reforzamiento profundo en una empresa productora de papel

Abstract

El aprendizaje por refuerzo (AR) ha demostrado ser efectivo en la optimización de procesos industriales, pero enfrenta limitaciones significativas debido a la necesidad de grandes volúmenes de datos, tiempos prolongados de entrenamiento y la falta de sistematización de información relevante. Esta investigación aborda estos desafíos mediante la integración de Modelos de Lenguaje Grandes (MLG) con AR, proponiendo un método novedoso que enriquece los modelos de aprendizaje por refuerzo con conocimiento extraído de MLGs. La metodología propuesta, denominada AFD-MLG-AR-MRP (Autómata Finito Determinista -AFD- generado por Modelo de Lenguaje Grande -MLG- para Aprendizaje por Reforzamiento -AR- con Máquinas de Recompensas -MR-), se implementa en tres etapas: (1) Utilización de MLG para aproximarse a un proces productivo, (2) utilización de un MLG para construir un Autómata Determinístico Finito en base a la información del punto 1 y (3) cálculo de la política optima utilizando Q-learning para Máquinas de Recompensas. El método emplea autómatas determinísticos finitos para codificar el conocimiento extraído de los MLGs y garantiza convergencia teórica bajo condiciones específicas. Los resultados preliminares indican que AFD-MLG-AR-MRP logra una reducción sustantiva en el tiempo de convergencia comparado con métodos tradicionales de AR, mientras mantiene la calidad de las políticas aprendidas. El método demuestra ser particularmente efectivo en entornos industriales donde existe conocimiento experto no estructurado, permitiendo su incorporación sistemática en el proceso de aprendizaje. La validación del método se realiza mediante casos de estudio en entornos de producción simulados, demostrando su capacidad para manejar eficientemente las alucinaciones potenciales de los MLGs. Esta investigación contribuye significativamente al campo de la optimización industrial al proporcionar un framework que integra efectivamente el conocimiento de dominio codificado en MLGs con algoritmos de AR. Los resultados sugieren que este enfoque híbrido permite una implementación más eficiente y adaptable de sistemas de aprendizaje automático en entornos industriales, reduciendo significativamente los requisitos de datos y tiempo de entrenamiento tradicionalmente asociados con AR.Reinforcement learning (RL) has proven to be effective in optimizing industrial processes, but it faces significant limitations due to the need for large volumes of data, prolonged training times, and the lack of systematization of relevant information. This research addresses these challenges by integrating Large Language Models (LLMs) with RL, proposing an innovative method that enriches reinforcement learning models with knowledge extracted from LLMs. The proposed methodology, called AFD-LLM-RL-MRP (Deterministic Finite Automaton -DFA- generated by Large Language Model -LLM- for Reinforcement Learning -RL- with Reward Machines -RM-), is implemented in three stages: (1) Using LLMs to approximate a production process, (2) employing an LLM to build a Deterministic Finite Automaton based on the information from stage 1, and (3) calculating the optimal policy using Q-learning for Reward Machines. The method utilizes deterministic finite automata to encode the knowledge extracted from LLMs and guarantees theoretical convergence under specific conditions. This research makes a significant contribution to the field of industrial optimization by providing a framework that effectively integrates domain knowledge encoded in LLMs with RL algorithms. The results suggest that this hybrid approach enables a more efficient and adaptable implementation of machine learning systems in industrial environments, significantly reducing the data and training time requirements traditionally associated with RL.