A facility- simulator based job scheduling system using reinforcement deep learning

• Main Authors: LEE HO YEOUL, YUN YOUNG MIN
• Format: Patent
• Language: English; Korean
• Published: 13.12.2021
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; CONTROL OR REGULATING SYSTEMS IN GENERAL; CONTROLLING; COUNTING; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS ORELEMENTS; PHYSICS; REGULATING

The present invention relates to a factory simulator-based scheduling system using reinforcement deep learning to train a neural network agent for determining a next task action given a current state of a workflow in a factory environment for producing products when a workflow with multiple processes having a sequential relationship with each other is configured and the processes in the workflow proceed, thereby scheduling a process. The system includes: a neural network agent provided with at least one neural network that outputs the next task to be processed in the state when receiving the state of the factory workflow (hereinafter referred to as the workflow state), in which the neural network is trained by a reinforcement learning method; a factory simulator for simulating the factory workflow; and a reinforcement learning module for simulating the factory workflow with the factory simulator, extracting reinforcement learning data from simulation results, and learning the neural network of the neural network agent with the extracted reinforcement learning data. According to the system as above, the learning data is established by extracting the next state and performance when a working behavior of a specific process is performed in the state of various processes through the simulator, so that the neural network agent is trained stably in a faster time, and accordingly, a more optimized tasks are directed at sites. 다수의 공정이 서로 전후 관계를 가지는 워크플로우를 구성하고 워크플로우 상의 공정들이 진행되면 제품이 생산되는 공장 환경에서, 워크플로우의 현재 상태가 주어지면 다음 작업 행위를 결정하는 신경망 에이전트를 학습시켜 공정을 스케줄링하는, 강화 학습을 이용한 공장 시뮬레이터 기반 스케줄링 시스템에 관한 것으로서, 공장 워크플로우의 상태(이하 워크플로우 상태)를 입력받으면 해당 상태에서 처리할 다음 작업을 출력하는 적어도 하나의 신경망을 구비하되, 상기 신경망은 강화 학습 방식에 의해 학습되는 신경망 에이전트; 공장 워크플로우를 시뮬레이션하는 공장 시뮬레이터; 및, 상기 공장 시뮬레이터로 상기 공장 워크플로우를 시뮬레이션하고, 시뮬레이션 결과로부터 강화학습 데이터를 추출하고, 추출된 강화학습 데이터로 상기 신경망 에이전트의 신경망을 학습시키는 강화학습 모듈을 포함하는 구성을 마련한다. 상기와 같은 시스템에 의하여, 시뮬레이터를 통해 다양한 공정의 상태에서 특정 공정의 작업 행위를 수행했을 경우의 다음 상태와 성과를 추출하여 학습 데이터를 구성함으로써, 신경망 에이전트를 보다 빠른 시간 내에 안정되게 학습할 수 있고, 이로 인해, 현장에서 보다 최적화된 작업을 지시할 수 있다.