Als Demonstrationsumgebung dient das Weingut „Auf der Leiten“ in Klagenfurt am Wörthersee. Projektpartner sind ARTI Robots GmbH sowie Alpenspirit GmbH. Roboter können laut ARTI den Weinbau zum Beispiel durch gezieltes Besprühen der Reben, Mäharbeiten, Planzenmonitoring oder beim Ernten unterstützen. Diese Tätigkeiten in den Weinbergen stellen hohe Ansprüche an autonome Navigation: Roboter müssen entlang vorgegebener Reihen und Pfade fahren, während Vegetation, Untergrund und Sichtverhältnisse im Jahresverlauf deutlich variieren. Karten und aktuelle Sensordaten können dadurch voneinander abweichen. Das erschwert die Lokalisierung des Roboters und kann zu ungünstigen Navigationsentscheidungen führen.
Autonome mobile Roboter müssen sich im Freien auch dann zuverlässig orientieren, wenn sich ihre Umgebung laufend verändert. Pflanzen wachsen, Bodenverhältnisse wechseln, Lichtbedingungen variieren. Im FFG-Projekt SEASON-Twin entwickeln deshalb Forscher*innen der JOANNEUM RESEARCH einen digitalen Zwilling des Weinguts und erforschen Methoden, um saisonale und umweltbedingte Veränderungen und Unsicherheiten in der Navigation zu berücksichtigen.
Mit LiDAR-Rucksack und 360-Grad-Kamera durch den Weingarten
Für den Aufbau des digitalen Zwillings war Markus Tauchhammer und das Team vom Digital Twin Lab bereits mehrfach im Feld unterwegs. Zum Einsatz kamen portable LiDAR-Rucksacksysteme sowie panoramische 360-Grad-Bildgebung. „LiDAR steht für ‘Light Detection and Ranging’. Dabei werden die Abstände zu Objekten mithilfe von Laserimpulsen gemessen. Aus Millionen einzelner Messpunkte entstehen dreidimensionale sogenannte Punktwolken, die die Geometrie der Umgebung detailliert wiedergeben“, erklärt Tauchhammer.
Die bisherigen Messkampagnen erfassen unterschiedliche Vegetations- und Umweltzustände. Weitere Aufnahmen, darunter eine Erhebung im Winter, sind in Planung. Damit entsteht schrittweise ein multisaisonaler Datensatz, mit dem sich Veränderungen der Umgebung über das Jahr hinweg vergleichen und quantitativ beschreiben lassen.
„Für einen belastbaren digitalen Zwilling reicht es nicht, eine Umgebung einmal geometrisch möglichst genau zu erfassen. Entscheidend ist, auch ihre zeitliche Veränderung strukturiert abzubilden. Wir wollen aus den 3D-Daten ableiten, welche Merkmale stabil bleiben, welche sich saisonal verändern und wie sich diese Unterschiede für Simulation und Navigation nutzbar machen lassen“, so Tauchhammer weiter.
Von der Punktwolke zum Navigationssystem für Roboter
Die aufgenommenen 3D-Daten werden anschließend semantisch verarbeitet. Die Punktwolken werden segmentiert, klassifiziert und annotiert. Dadurch lassen sich unterschiedliche Bereiche und Objekte der Umgebung nicht nur geometrisch erfassen, sondern auch funktional für die Roboternavigation beschreiben. Die daraus entstehenden Karten lassen eine Bewertung der unterschiedlichen Bereiche zu. Bewertet wird danach, wie gut beziehungsweise mit welchem Aufwand oder Risiko ein Roboter das Gelände befahren kann.
Der digitale Zwilling soll damit weit mehr sein als ein statisches 3D-Modell. Ziel ist eine simulationsfähige virtuelle Umgebung, in der räumliche Strukturen, saisonale Veränderungen und Unsicherheiten gemeinsam berücksichtigt werden können.
Unsicherheiten werden Teil der Navigation
Ein weiterer Schwerpunkt von SEASON-Twin ist das Uncertainty Modelling, also die Modellierung und Quantifizierung von Unsicherheiten. Dabei wird untersucht, wie stark Umweltzustände, Karteninformationen oder Sensordaten variieren können und wie diese Unsicherheiten bei der Navigation berücksichtigt werden sollten.
„Autonome Navigation im Freien ist besonders anspruchsvoll, weil ein Roboter nie mit einer vollständig bekannten und unveränderlichen Umgebung arbeitet. Unser Ziel ist deshalb, Unsicherheiten nicht erst dann zu behandeln, wenn sie zu einem Problem werden, sondern ihre Auswirkungen bereits bei der Navigation systematisch einzubeziehen. Damit sollen Lokalisierung und Pfadplanung robuster gegenüber saisonalen und umweltbedingten Abweichungen werden“, sagt Benjamin Breiling, Projektleiter seitens JOANNEUM RESEARCH ROBOTICS.
Auf Basis des digitalen Zwillings werden zudem Testszenarien entwickelt, mit denen saisonale Einflüsse gezielt untersucht werden können. Zum Einsatz kommen unter anderem generative KI, prozedurale 3D-Szenengenerierung und modellbasierte Veränderungen virtueller Umgebungen. Dadurch lassen sich unterschiedliche Umweltzustände systematisch erzeugen und testen, ohne jede Situation zunächst in der Realität herstellen zu müssen.
Reale Navigationstests im Weinbau
JOANNEUM RESEARCH koordiniert das Projekt SEASON-Twin. Inhaltlich arbeiten dabei die Institute DIGITAL und ROBOTICS zusammen. Das Digital Twin Lab von DIGITAL erstellt den digitalen Zwilling des Weinguts und entwickelt Methoden, um Umweltvariabilität zu analysieren, zu quantifizieren und zu visualisieren. Darauf aufbauend entstehen Simulations- und Testszenarien.
JOANNEUM RESEARCH ROBOTICS untersucht unter anderem Methoden zur Simulation, Unsicherheitsmodellierung sowie zur Risiko- und Performancebewertung. Darüber hinaus werden der digitale Zwilling und die entwickelten Methoden in ein bestehendes autonomes Navigationssystem von ARTI integriert und in realen Navigationstests validiert.
Der Weinbau dient dabei als anspruchsvoller Anwendungsfall. Die entwickelten Methoden sind jedoch nicht darauf beschränkt. Die Erkenntnisse können auch für autonome Systeme in der Landwirtschaft, Forstwirtschaft und im Umweltmonitoring relevant sein. Langfristig können robustere Navigationsverfahren dazu beitragen, Stillstandzeiten und Wartungsaufwand mobiler Robotersysteme zu reduzieren.
