Advantage actor-critic deep reinforcement learning approach for paint shop planning and scheduling

Abstract

Paint shops usually act as bottlenecks in production facilities requiring a painting procedure. To enhance efficiency and optimize the process by minimizing color batch changes that can decrease productivity, it is essential to develop optimization algorithms. Traditionally, these problems have been addressed using a mixed-integer linear programming (MILP) approach. However, mathematical optimization methods face challenges in adapting to dynamic production planning environments and the real-time nature of a production facility. This is due to its memoryless structure and search for exact and optimal solutions by solving the entire every time a schedule is required. To overcome the issues, this study proposed a deep reinforcement learning algorithm to solve and optimize a paint shop scheduling and planning problem that can adapt to dynamic environments. The actor-critic approach was the best method amongst the other policy-based state-of-the-art deep reinforcement learning algorithms. To train a DRL agent, a real-life simulation model of a paint shop in a household appliance factory was built to act as an environment. After the training and inference processes, the outcome was a paint shop production plan that minimizes the inventory cost and bottlenecks while maximizing the productivity of washing machine production and achieving energy efficiency through planned production stops. Besides some advantages of linear programming methods, DRL models performed well on the selected application of paint shop scheduling and planning problems. It is seen that DRL methods are superior in terms of efficiency and computational performance on inference step while obtaining at least sub optimal solution.

Boyahaneler genellikle, boyama işlemi gerektiren üretim tesislerinde darboğaz olarak hareket eder. Bu darboğazlara engel olarak üretim verimliliğini artırmak ve renk partisi değişikliklerini en aza indirerek işlemi optimize etmek için optimizasyon algoritmaları geliştirmek gerekmektedir. Geleneksel olarak, bu tür problemler tam sayılı programlama yaklaşımı kullanılarak ele alınmıştır. Ancak, bu gibi matematiksel optimizasyon yöntemleri, dinamik üretim planlama ortamlarına ve üretim tesislerinin gerçek zamanlı doğasına uyum sağlamakta zorluklarla karşılaşmaktadır. Bunun nedeni, bu yaklaşımların belleksiz yapıları ve her seferinde optimal çözümleri bulmak için tüm programı çözmeye çalışmasıdır. Bu sorunların üstesinden gelmek için, bu çalışmada, dinamik ortamlara uyum sağlayabilen bir boyahane planlama ve çizelgeleme problemini çözmek ve optimize etmek için derin pekiştirmeli öğrenme algoritması önerilmiştir. Diğer politika tabanlı son teknoloji derin pekiştirmeli öğrenme (DPÖ) algoritmaları arasında, aktör-eleştirmen yaklaşımı en iyi yöntem olarak belirlenmiştir. DPÖ ajanını eğitmek için, bir ev aletleri fabrikasındaki boyahanenin gerçek simülasyon modeli, sanal bir ortamda oluşturulmuştur. Eğitim ve çıkarım süreçlerinden sonra, sonuç, envanter maliyetini en aza indirirken ve çamaşır makinesi üretiminin verimliliğini en üst düzeye çıkarırken, planlanmış üretim duraklamaları yoluyla enerji verimliliğini sağlayan bir boyahane üretim planı olmuştur. Doğrusal programlama yöntemlerinin bazı avantajlarına rağmen, DPÖ modelleri seçilen boyahane planlama ve programlama problemi uygulamasında çok iyi performans göstermiştir. DPÖ yöntemlerinin, optimale yakın bir çözüm elde ederken, çıkarım adımında verimlilik ve hesaplama performansı açısından üstün olduğu görülmüştür.