DAVE
Daten- und Verarbeitungsmodell inkl. Prototyp für digitalen Zwilling zur autonomen Navigation eines Binnenschiffes
| Laufzeit: | 01.10.2022 - 30.09.2024 |
| Leitung: | Prof. Dr.-Ing. Horst Hellbrück |
| Mitarbeiter: | Jan-Philipp Schreiter |
Hintergrund
Binnenschiffe spielen seit Jahrhunderten eine entscheidende Rolle im weltweiten Transportwesen, da sie ein kostengünstiges und effizientes Mittel zur Beförderung von Gütern und Personen über Flüsse und Kanäle darstellen. In Zukunft wird die Binnenschifffahrt immer mehr an Bedeutung gewinnen, da sie als eine der am wenigsten umweltschädlichen Verkehrsarten anerkannt ist. Die europäische Binnenschifffahrt steht jedoch vor Herausforderungen wie dem Mangel an qualifiziertem Personal, der zunehmenden Konkurrenz durch alternative Verkehrsträger und der Notwendigkeit, negative ökologische Auswirkungen zu minimieren. Um diesen Herausforderungen zu begegnen, besteht ein wachsendes Interesse an der Einführung des autonomen Betriebs von Binnenschiffen, der sich bereits im Automobilsektor bewährt hat. Die autonome Technologie optimiert die Schiffsnavigation und -planung, wodurch der Bedarf an menschlichen Eingriffen verringert und die Transporteffizienz und -sicherheit erhöht wird. Darüber hinaus sind autonome Schiffe so konzipiert, dass sie mit weniger Besatzung betrieben werden können, was die Sicherheit weiter erhöht und die Kosten senkt. Trotz der fortschrittlichen Technologie des autonomen Fahrens ist die Integration in die Binnenschifffahrt eine komplexe Aufgabe. Binnenschiffe haben eine lange Lebensdauer, und viele von ihnen sind auch nach mehreren Jahrzehnten noch in Betrieb. Diese Langlebigkeit ist zwar lobenswert, bedeutet aber auch, dass viele Schiffe mit veralteter Technik ausgestattet sind, die sich möglicherweise nicht für den autonomen Betrieb eignet.
Ziel
DAVE erstellt den Digitalen Zwilling einer Binnenwasserstraße mit allen Verkehrsteilnehmern sowie der Infrastruktur. So werden Remote Operations, autonomes Fahren und Simulationen zur Analyse des Systemverhaltens und das Lösen von Optimierungsaufgaben ermöglicht. Auch die Kommunikation und Konfliktlösung zwischen Verkehrsteilnehmern auf der Binnenwasserstraße untereinander und mit der Verkehrszentrale werden realisiert.
Aufgabe
Das Teilprojekt des Kompetenzzentrum CoSA der Technischen Hochschule Lübeck umfasst:
- Kommunikation der Sensoren untereinander und zur IoT-Plattform
- Anbindung externer Informationsquellen
- Sammeln von Informationen über das gesamte Schiff
- Kommunikationskonzept mit Sammlung von Sensordaten und effiziente Verarbeitung dieser
- Aufstellen von Verhaltensregeln im Falle von fehlerhaften und verlorenen Datenübertragungen
- Fusion der unabhängigen Sensordaten des digitalen Zwillings
- Wiederkehrende Erprobung des Konzepts mit Sensordaten
- Realitätsnahe Evaluierung des Gesamtsystems
- Entwicklung KI-gestützter Algorithmik um u.a. Entscheidungen über Steuerungsaufgaben des Schiffes zu treffen
Kommunikation
Interne Ansicht Kommunikationskonzept
Externe Ansicht Kommunikationskonzept
Das Kommunikationskonzept für die Echtzeitkommunikation zwischen Sensoren und der IoT-Plattform bindet das zuvor entwickelte Sensorkonzept konsequent ein. Es ist in eine interne und externe Ansicht unterteilt, wobei die interne Ansicht die Komponenten und Schnittstellen an Bord des Schiffs beschreibt und die externe Ansicht die Verbindung des Schiffs zu anderen Teilnehmern betrachtet. Dieses Konzept wird als 'Ship to X' bezeichnet. Die interne Ansicht umfasst verschiedene Sensoren wie Lidar, GPS, Kameras und AIS. Die externe Ansicht hingegen nutzt Technologien wie 5G und Starlink, um eine zuverlässige Kommunikation mit externen Partnern zu gewährleisten.
Die Kommunikationsarchitektur basiert auf Middleware Data Distribution Service (DDS) des Robot Operating System 2 (ROS2). Die Nutzung von ROS2 ermöglicht eine modulare Entwicklung und Integration von Softwarekomponenten für Sensoren, Steuerungssysteme und Kommunikationsmodule. Die ROS2-DDS Middleware gewährleistet souverän den zuverlässigen Datenaustausch innerhalb des Systems.
Die 5G-Kommunikation ist erfolgreich in die Prototypenbox integriert worden. Hierfür wurde ein 5G-Modem des Herstellers Quectel verwendet und die Verbindung in das Forschungsnetz an der TH Lübeck erprobt.
Aufbau + Test
Die Ideen aus dem Sensor- sowie Kommunikationskonzept wurden in einem Prototypen vereint. Folgende Sensoren bzw. Bauteile wurden verwendet:
• LiDAR: RoboSense RS-LIDAR-M1
• Camera: Hik Vision DS-2CD2T47G2-LSU/SL
• NMEA Matrix: Veinland 5NMEAto1-E
• Windsensor: DigitalYacht WND100
• AIS: DigitalYacht AIS100 receiver
• GNSS: DigitalYacht GPS160
• Switch: NETGEAR GS308EPP PoE Switch
• Power: Ecoflow River 2 Max
• Supply: Mean Well NDR-75-24 transformer
Der zusammengebaute Prototyp wurde verschiedenen Tests unterzogen. Einem generellen Funktionstest im Labor, einer Verifizierung der Sensordaten an Land sowie einer Testfahrt auf der Trave. Die synchrone Lieferung mehrerer Datenströme der Sensoren wurde im ersten Schritt anhand einer Aufzeichnung im Labor überprüft. Anschließend wurden die Daten jedes Sensors einzeln verifiziert. Im letzten Test wurde die Sensorplattform auf einem Elektroboot platziert. Mit der Außenmessung im Oktober 2023 auf der Trave in Lübeck konnte unter realitätsnahen Bedingungen getestet werden. Der Schwerpunkt der Messungen lag auf Brückenunterquerungen, um die Menge erfassten Daten zu begrenzen.
KI im Projekt DAVE
Das Projekt DAVE konzentriert sich im Bereich der künstlichen Intelligenz (KI) auf die Objektdetektion und -segmentierung. Hierfür wurden ROS2-Knoten entwickelt, die die Inferenz eines YOLOv8-Modells ermöglichen.
Verschiedene Modelle wurden trainiert, einschließlich der Segmentierung von Wasser und Brücken. Diese Grundlage ermöglicht eine erfolgreiche Umsetzung autonomer Steuerungsaufgaben. In Kombination mit der Fusion der Sensordaten des LiDAR wird eine objektbasierte Distanzmessung realisiert.
Die Sensorplattform integriert ein KI-Modell des Projektpartners Titus Research, das die Erkennung und Auswertung von Verkehrszeichen auf Wasserstraßen ermöglicht. Die KI basiert auf der YOLO-Version 7 und ähnelt der bereits integrierten Objekterkennung der TH Lübeck.
Die TH Lübeck setzt mit dieser fortschrittlichen Technologie neue Maßstäbe in der Nutzung von künstlicher Intelligenz für autonome Systeme im maritimen Bereich.
Sensordatenfusion
Zur Verbesserung der Sensordatenverarbeitung wurden geeignete Methoden für die Kalibrierung der Sensoren Kamera und LiDAR ausgewählt und erfolgreich implementiert. Die extrinsische Kalibrierung von Kamera zu LiDAR wurde durchgeführt, um eine genaue räumliche Zuordnung zwischen den beiden Sensortypen sicherzustellen.
Mittels der dadurch gewonnenen Projektionsmatrix, Transformations- und Verzerrungsmatrix war es möglich, die 3D Punktwolke des LiDAR in das 2D Kamerabild zu projizieren. Diese Fusionierung von Sensordaten wurde anschließend mit dem KI-Modell zur Brücken/Wasser Segmentierung verknüpft, um eine effektive Verarbeitung und Interpretation der Daten zu ermöglichen.
Als Anwendungsfall konnte die Ermittlung der Entfernung detektierter Objekte wie zum Beispiel Brücken realisiert werden. Diese Funktionalität liefert einen erheblichen Mehrwert für autonome Steuerungsaufgaben, indem eine genaue Positionsbestimmung und Objektgrößenanalyse ermöglicht wird. Die Implementierung dieser Sensorkalibrierungsmethoden stellt somit einen bedeutenden Fortschritt in der Entwicklung von autonomen Systemen dar.
Veröffentlichungen
Wissenschaftliche Veröffentlichungen
- Inland Waterway Vessel Autonomy: Sensor and Communication Design - Ieee Oceans 2024 Link
- Sensor Fusion for Object Localization with ROS 2 - 5. KuVS-Fachgespräch zum Thema Lokalisierung Link
- Bridge Detection in Autonomous Shipping: A YOLOv8 Approach with Autodistill and GroundedSAM - MTEC-ICMASS-2024 Link
Weitere Berichte
- IHK Magazin Ein digitaler Zwilling für Binnenschiffe Link zum IHK Beitrag
Sourcecode
Daten
