MLOPs - Development, Optimization and Deployment of Machine Learning Algorithms on Embedded Hardware

Neuronale Netze sind in den vergangenen Jahren zum de facto Standard für eine Vielzahl von Bildverarbeitungsalgorithmen geworden. Allerdings wirft ihre Anwendung in eingebetteten Systemen wie beispielsweise dem autonomen Fahren oder der Robotik große Herausforderungen auf. Besonders die zielgerichtete Optimierung der Algorithmen hinsichtlich der Hardwareeffizienz, des Energiebedarfes bis hin zu kosten-optimierten Beschleunigern für die Edge-Inferenz von tiefen neuronalen Netzen ist ein spannendes Forschungsgebiet.

Unsere Forschungsgruppe beschäftigt sich mit dem HW/CNN Co-Design, also der Bestrebung, Designer der Algorithmen, Toolchain und Hardware Architekten gleichermaßen bei der Optimierung von lernbasierten Anwendungen einzubinden. Unabhängig ob einem Top-Down, Bottom-Up oder Meet-in-the-Middle Paradigma folgend, muss die Hardwarearchitektur die parallele Verarbeitung der beträchtlichen Anzahl von Faltungsoperationen unterstützen, geschickte Datenfluss- und Wiederverwendungsschemata von Eingangs-Aktivierungen, Parametern und Operanden gewählt werden und schlanke und komprimierte neuronale Netz Architekturen optimieret werden, die es ermöglichen, bereitgestellte HW Ressourcen zu nutzen.

Wir haben uns ganz darauf verschreiben, Methoden und Verfahren zu erforschen, die darauf abzielen, Machine Learning Modelle in echten eingebetteten Systemen zuverlässig und effizient bereitzustellen. MLOps stehen hierbei für uns im Fokus einer datengetriebenen Optimierung und Anwendung von neuronalen Netzen in eingebetteten Systemen. Willst auch du ein Teil der Veränderung sein, dann wirf einen Blick auf die unten ausgeschriebenen Seminar- und Abschlussarbeiten.

Publikationen

  • Manoj Rohit Vemparala, Nael Fasfous, Alexander Frickenstein, Emanuele Valpreda, Manfredi Camalleri, Qi Zhao, Christian Unger, Naveen Shankar Nagaraja, Maurizio Martina, Walter Stechele: HW-Flow: A Multi-Abstraction Level HW-CNN Codesign Pruning Methodology. Leibniz Transactions on Embedded Systems (LITES), 2022 mehr… BibTeX
  • Nael Fasfous, Manoj Rohit Vemparala, Alexander Frickenstein, Emanuele Valpreda, Driton Salihu, Julian Höfer, Anmol Singh, Naveen-Shankar Nagaraja, Hans-Joerg Voegel, Nguyen Anh Vu Doan, Maurizio Martina, Juergen Becker, Walter Stechele: AnaCoNGA: Analytical HW-CNN Co-design using Nested Genetic Algorithms. Design, Automation & Test in Europe Conference & Exhibition (DATE), 2022 mehr… BibTeX
  • Pierpaolo Mori, Manoj Rohit Vemparala, Nael Fasfous, Saptarshi Mitra, Sreetama Sarkar, Alexander Frickenstein, Lukas Frickenstein, Domenik Helms, Naveen-Shankar Nagaraja, Walter Stechele, Claudio Passerone: Accelerating and Pruning CNNs for Semantic Segmentation on FPGA. Design Automation Conference (DAC), 2022 mehr… BibTeX
  • Nael Fasfous, Manoj Rohit Vemparala, Alexander Frickenstein, Emanuele Valpreda, Driton Salihu, Nguyen Anh Vu Doan, Christian Unger, Naveen Shankar Nagaraja, Maurizio Martina, Walter Stechele: HW-FlowQ: A Multi-Abstraction Level HW-CNN Co-design Quantization Methodology. ACM Transactions on Embedded Computing Systems (TECS), 2021 mehr… BibTeX
  • Nael Fasfous, Manoj-Rohit Vemparala, Alexander Frickenstein, Lukas Frickenstein, Mohamed Badawy, Walter Stechele: BinaryCoP: Binary Neural Network-based COVID-19 Face-Mask Wear and Positioning Predictor on Edge Devices. IEEE International Parallel & Distributed Processing Symposium, Reconfigurable Architectures Workshop (IPDPS-RAW), 2021 mehr… BibTeX
  • Manoj Rohit Vemparala, Nael Fasfous, Alexander Frickenstein, Sreetama Sarkar, Qi Zhao, Sabine Kuhn, Lukas Frickenstein, Anmol Singh, Christian Unger, Naveen Nagaraja, Christian Wressnegger, Walter Stechele: Adversarial Robust Model Compression using In-Train Pruning. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2021 mehr… BibTeX
  • Manoj Vemparala, Anmol Singh, Ahmed Mzid, Nael Fasfous, Alexander Frickenstein, Florian Mirus, Hans-Joerg Voegel, Naveen-Shankar Nagaraja, Walter Stechele: Pruning CNNs for LiDAR-based Perception in Resource Constrained Environments. IEEE Intelligent Vehicles Symposium Workshops (IV Workshops), 2021 mehr… BibTeX
  • Ee Heng Chen, Manoj Rohit Vemparala, Nael Fasfous, Alexander Frickenstein, Ahmed Mzid, Naveen-Shankar Nagaraja, Joeran Zeisler, Walter Stechele, Darius Burschka: Investigating Binary Neural Networks for Traffic Sign Detection and Recognition. IEEE Intelligent Vehicles Symposium (IV), 2021 mehr… BibTeX
  • Manoj Rohit Vemparala, Nael Fasfous, Lukas Frickenstein, Alexander Frickenstein, Anmol Singh, Driton Salihu, Christian Unger, Naveen-Shankar Nagaraja, Walter Stechele: Hardware-Aware Mixed-Precision Neural Networks using In-Train Quantization. British Machine Vision Conference (BMVC), 2021 mehr… BibTeX
  • Nael Fasfous, Manoj Rohit Vemparala, Alexander Frickenstein, Mohamed Badawy, Felix Hundhausen, Julian Höfer, Naveen-Shankar Nagaraja, Christian Unger, Hans-Jörg Vögel, Jürgen Becker, Tamim Asfour, Walter Stechele: Binary-LoRAX: Low-power and Runtime Adaptable XNOR Classifier for Semi-Autonomous Grasping with Prosthetic Hands. International Conference on Robotics and Automation (ICRA), 2021 mehr… BibTeX
  • Manoj Rohit Vemparala, Alexander Frickenstein, Nael Fasfous, Lukas Frickenstein, Qi Zhao, Sabine Franziska Kuhn, Daniel Ehrhardt, Yuankai Wu, Christian Unger, Naveen-Shankar Nagaraja, Walter Stechele: BreakingBED - Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks. Intelligent Systems Conference (IntelliSys), 2021 mehr… BibTeX
  • Nael Fasfous, Manoj Rohit Vemparala, Alexander Frickenstein, Walter Stechele: OrthrusPE: Runtime Reconfigurable Processing Elements for Binary Neural Networks. 2020 Design, Automation & Test in Europe Conference & Exhibition (DATE), 2020 mehr… BibTeX
  • Manoj Rohit Vemparala, Nael Fasfous, Alexander Frickenstein, Mhd Ali Moraly, Aquib Jamal, Lukas Frickenstein, Christian Unger, Naveen Shankar Nagaraja, Walter Stechele: L2PF - Learning to Prune Faster. International Conference on Computer Vision & Image Processing (CVIP), 2020 mehr… BibTeX
  • Alexander Frickenstein , Manoj-Rohit Vemparala , Jakob Mayr , Naveen-Shankar Nagaraja, Christian Unger, Frederico Tombari, Walter Stechele: Binary DAD-Net: Binarized Driveable Area Detection Network for Autonomous Driving. International Conference on Robotics and Automation (ICRA 2020), 2020 mehr… BibTeX
  • Alexander Frickenstein, Manoj-Rohit Vemparala, Nael Fasfous, Laura Hauenschild, Naveen-Shankar Nagaraja, Christian Unger, and Walter Stechele: ALF: Autoencoder-based Low-rank Filter-sharing for Efficient Convolutional Neural Networks. The Design Automation Conference (DAC), 2020 mehr… BibTeX
  • Manoj Rohit Vemparala, Alexander Frickenstein, and Walter Stechele: An Efficient FPGA Accelerator Design for Optimized CNNs using OpenCL. ARCS Konferenz, 2019 mehr… BibTeX
  • Alexander Frickenstein, Christian Unger, Walter Stechele: Resource-Aware Multicriterial Optimization of DNNs for Low-Cost Embedded Applications. Conference on Computer and Robot Vision, 2019 mehr… BibTeX
  • Alexander Frickenstein, MR Vemparala, C. Unger, F. Ayar, Walter Stechele: DSC: Dense-Sparse Convolution for Vectorized Inference of Convolutional Neural Networks. Safe Artificial Intelligence for Automated Driving (SAIAD), 2019 mehr… BibTeX