Loading...
Thumbnail Image
Export

Author(s)

Directors

Keywords

Framework., Smart robot., Process simulation., Virtual manufacturing., Automation., Reinforcement learning.

Date of the defense

2020-12-17

Abstract

The advent of Industry 4.0 (I4.0) has made the industry to redefine its processes to include new technologies with the purpose of improving its production and therefore become more efficient and economically competitive. This inclusion has the drawback of making the processes more complex for the workers and the industry. One strategy to manage this growing complexity is to create simulation models to help with the decision-making a priori, i.e. before the physical system is available. In particular, virtual simulations can help multidisciplinary teams to share their expertise regarding the production processes, which is beneficial for increasing productivity and identifying issues beforehand, thus, preventing unexpected costs. However, the development of immersive simulators oriented to the industry can be difficult as it must consider many different situations, actors, and workflows as close to the physical systems as possible. As the project evolves, the development can even become unmanageable without proper engineering tools. For this reason, a new framework to model industrial processes that involve I4.0 features was developed. This framework is flexible enough to be adapted to different industrial domains, such as energy, manufacturing, or aerospace, for several purposes that include prototyping, design, process engineering, or decision-making. It is prepared for multiple I4.0 technologies including Virtual Reality (VR), Augmented Reality (AR), Human-Robot Collaboration (HRC), Motion Capture (MoCap), Digital Twin (DT), and Reinforcement Learning (RL), without losing generality. The framework supports the interaction among multiple actors, such as humans and automated devices. It also considers different types of tasks to model processes, including assembly, disassembly, and logistics. It comprises two modules, the process definition and the simulator with an embedded process controller, which communicate through an interface. The proposed framework has been applied to the development of four industrial scenarios: an aircraft Final Assembly Line (FAL) simulator, a guidance tool for high-voltage cell security, an application for machine-tool usage training, and a DT of a robotic Non-Destructive Testing (NDT) system. For the former, a comprehensive study of the productivity and ergonomics of several strategies with different automation levels was made. This study includes the VR simulation of 13 fully automated and 10 semi-automated basic scenarios for cabin and cargo assembly of sidewall panels, hatracks, and linings. The data collected during these simulations served to create 81 whole aircraft new assembly combinations of these parts and evaluate them in terms of 5 Key Performance Indicators (KPIs): assembly time, worker cost, investment, Return of Investment (ROI), and ergonomics. The results show that most of the new proposed scenarios improve the assembly time, worker cost, or ergonomics of the process, with an investment varying between 100K and 200K euros and ROI of 1-2 years. As many I4.0 processes include smart robotics, a workflow for integrating RL technologies to the framework was created. With this workflow, a robotic task can be formalized as a RL problem by leveraging the Markov Decision Process (MDP) theoretical background. Then, a RL method can be chosen to train an agent in the virtual environment. Finally, the model obtained by this training is used to perform the autonomous robotic tasks inside the simulator. Two use examples of this workflow are presented: an agent for robotic reaching task and an agent for the assembly planning of an aircraft part.

La llegada de la Industria 4.0 (I4.0) ha obligado a la industria a redefinir sus procesos para incluir nuevas tecnologías con la finalidad de mejorar su producción y así, ser más eficiente y económicamente competitiva. Esto conlleva procesos más complicados tanto para los trabajadores como para la industria. Una estrategia para gestionar esta creciente complejidad es crear modelos de simulación para ayudar con la toma de decisiones a priori, esto es, antes de que el sistema físico esté disponible. En particular, las simulaciones virtuales pueden ayudar a equipos multidisciplinarios a compartir sus conocimientos sobre los procesos de producción, lo cual es beneficioso para incrementar la productividad e identificar situaciones con anterioridad, previniendo así costos inesperados. Sin embargo, el desarrollo de simuladores virtuales orientados a la industria puede ser difícil ya que se deben considerar diferentes situaciones, actores y flujos de trabajo tan parecidos al sistema original como sea posible. Mientras el proyecto avanza, el desarrollo puede volverse insostenible sin las herramientas ingenieriles adecuadas. Por esta razón, se ha desarrollado un nuevo framework para modelar procesos industriales que incluyen características propias de la I4.0. Este framework es flexible para adaptarse a diferentes dominios industriales, como energía, manufactura o aeronáutica, y a diferentes propósitos incluyendo prototipado, diseño, ingeniería de procesos o toma de decisiones. Está preparado para múltiples tecnologías de la I4.0 tales como realidad virtual (RV), realidad aumentada, colaboración humano-robot, captura de movimientos, gemelo digital (GD) y aprendizaje por refuerzo (AR), sin perder generalidad. Soporta la interacción entre múltiples actores, tales como humanos y dispositivos automatizados. También considera diferentes tareas para el modelado de procesos, incluyendo ensamblaje, desensamblaje y logística. Comprende dos módulos, la definición del proceso y el simulador con un controlador de procesos embebido, los cuales se comunican a través de una interfaz. El framework se ha aplicado al desarrollo de cuatro escenarios industriales: un simulador de línea de ensamblaje de un avión, una herramienta guía para la seguridad en celdas de alto voltaje, una aplicación de entrenamiento para el uso de máquina-herramienta y un GD de un sistema robótico para ensayos no destructivos. Para el primero, se realizó un estudio exhaustivo de la productividad y ergonomía de varias estrategias con varios niveles de automatización. Este estudio incluye la simulación en RV de escenarios básicos para el ensamblaje de paneles, compartimientos de equipaje y recubrimientos dentro de la cabina y el cargo de un avión, 13 de ellos totalmente automatizados y 10 semi-automatizados. Los datos recogidos durante estas simulaciones permitieron crear 81 nuevos escenarios de avión completo con las combinaciones de ensamblaje de estas partes y su evaluación con respecto a 5 indicadores de rendimiento: tiempo de ensamblaje, coste por trabajador, inversión, retorno de inversión y ergonomía. Los resultados muestran que la mayoría de los escenarios propuestos mejoran el tiempo de ensamblaje, costo por trabajador o la ergonomía del proceso, con una inversión entre 100K y 200K euros y un retorno de inversión de 1-2 años. Como muchos procesos de la I4.0 incluyen robótica inteligente, se ha desarrollado un workflow para la integración al framework de tecnologías de AR. Con este, una tarea robótica se formaliza como un problema de AR, basándose en la teoría de procesos de decisión de Markov. Luego, se decide el método adecuado de AR para el entrenamiento del agente en el entorno de RV. Finalmente, se usa el modelo resultante de este entrenamiento para realizar tareas robóticas de forma autónoma dentro del simulador. Se presentan dos ejemplos de uso de este workflow: un agente para la tarea de reaching y otro para la planificación del ensamblaje de una pieza de avión.