Editor’s note: This article is translated in both English and German. Please see below the English version followed by the German version.

In January 2021, the ISPRS Journal of Photogrammetry and Remote Sensing, recognized worldwide for its scientific publications, published the comprehensive paper by the Munich University of Applied Sciences, Department of Geoinformatics, “Combining graph-cut clustering with object-based stem detection for tree segmentation in highly dense airborne lidar point clouds.“Authored by Sebastian Dersch, Dr. Marco Heurich, Dr. Nina Krüger and Dr. Peter Krzystek, the topic of this paper focuses on single tree detection from area-wide airborne laser scan data observed.

RIEGL made a significant contribution to this work as the high-resolution laser scan data was provided by flying with our DA42 MPP and the VQ-1560i, thanks to the existing RIEGL test site in Styria.

Accurate knowledge of the actual tree population is also becoming increasingly important in forestry. The accumulation of extreme weather events and dry periods caused by climate change have a serious impact on both managed and semi-natural forests. The current stand of a forest is traditionally determined in the forest inventory by measuring selected, representative groups of trees and subsequent extrapolation to the total area. By using laser scanning, it is possible to record a forest over its entire area and thus avoid the errors caused by extrapolation. This ultimately leads to a much more accurate picture of the actual condition.

The first step of such an inventory is the detection of the individual trees in the point cloud. Ideally, various tree parameters can then be derived from the points representing a tree: Height, crown diameter, base height of the crown, breast height diameter, etc.

At the Department of Geoinformatics at Munich University of Applied Sciences, a group of researchers led by Dr. Peter Krzystek has been working for years on efficient methods for single tree detection from area-wide ALS data.

In their recent publication, the researchers now present the latest development in the field of tree segmentation, “Single tree detection has been a major research topic when it comes to support of collecting automatic field inventory using lidar. All previous methods show under-segmentation and over-segmentation effects because the associated control parameters have a limited scope. This paper describes a novel integrated single tree segmentation using a graph-cut clustering method that is supported by automatic stem detection. The key idea is to replace the static stopping criterion, which is usually defined by trial and error or by a sensitivity analysis, here with a query for whether a stem position has been provided by the stem detection in the remaining cluster to be partitioned. The stem detection automatically detects tree stems by identifying vertical lines based on a hierarchical classification procedure.”

Details of stem detection: For a smaller subsection of the point cloud in (a) intermediate results are highlighted for the point level (b), the segment level (c), and the object level (d) (Image from the publication “Combining graph-cut clustering with object-based stem detection for tree segmentation in highly dense airborne lidar point clouds”)

The authors evaluate both stem detection and integrated single tree segmentation on mixed temperate forest plots captured in a leaf-on situation. The highly dense airborne lidar data was acquired in the RIEGL foresting test area in Styria (Eastern Austria) by a RIEGL VQ-1560i Dual Channel Waveform Processing Airborne LiDAR Scanning System with an average point density of more than 200 points/m². These forest areas are characterized by a stem density of around 1000 stems/ha and a tree age between 15 and 63 years.

The algorithms have been tested with reference data measured both by visual interpretation of the laser point clouds and a conventional field campaign. For this purpose, the company FMM (Forest Mapping Management G.m.b.H) of Ing. Hermann and Wiltraud Novak carried out a survey in the test area using conventional methods.

FMM Managing Director Ing. Hermann Novak: “Based on the very good data base of the RIEGL LIDAR and the innovative single tree detection of the Munich University of Applied Sciences, a stand was checked by us using terrestrial measurements. The result was impressive, smallest vegetation structures such as hardwood regeneration were detected exactly. For me as a forester, this method in combination with the RIEGL LIDAR scanner is unsurpassed. The effort and cost to achieve the same result with conventional recording methods would be many times higher.”

Presentation of the analysis of the LiDAR data and the aerial photo data in the terminals of FMM (Semi-automatic Forest Inventory; Tree segments provided by TreeFinder software)

In their publication the authors summarize, “In the experiments, it is confirmed that the automatic stem detection technique successfully locates stems if the lidar point density of the stems is at least five points/m. The experimental results show that stem detection alone can detect more than 80% of the stems, with a precision of better than 70%. Moreover, it proves that the integration of the stem detection renders the graph-cut segmentation effectively independent of the stopping criterion and improves the overall accuracy of the tree segmentation as well. In terms of F-scores, the overall improvement is up to 15% and 6% for reference data from visual inspection and field measurements, respectively. Compared with the results of two existing tree segmentation methods that were applied to the same datasets, the accuracy improvement is also demonstrated by F-scores increased up to 22% and 5%, respectively.  Very interestingly, the integrated tree segmentation considerably enhances the detection accuracy, especially in mixed and deciduous forest areas by more than 10% in the case of reference data provided by visual inspection.”

About Dr. Peter Krzystek
Dr. Peter Krzystek completed his PhD at the Institute of Applied Geodesy for Construction, University of Stuttgart in 1989. During this year, he moved to Inpho GmbH in Stuttgart for his second research assistant position in digital photogrammetry and software development. Dr. Krzystek started his current position as Professor of Photogrammetry, Remote Sensing and Digital Image Processing at Munich University of Applied Sciences in 1998. Here, he specializes in a wide variety of research areas, including machine learning, deep learning, computer vision, forest inventory and LiDAR-based 3D mapping from drones. He is head of the Photogrammetry and Remote Sensing Laboratory and has led the Research Institute for Applications of Machine Learning and Intelligent Systems (IAMLIS) since 2020.

About Sebastian Dersch
Sebastian Dersch successfully completed a Bachelor of Engineering in Geotelematics and Navigation at Munich University of Applied Sciences. He then graduated as Master of Engineering Geomatics at Munich University of Applied Sciences. From 2018 to 2020, he worked in the research group of Dr. Krzystek on topics related to remote sensing, photogrammetry, and machine learning. In 2020, he joined the Institute for Applications of Machine Learning and Intelligent System (IAMLIS; https://www.hm.edu/iamlis/) as a PhD student working on Deep Learning based single tree segmentation with high-resolution 2D and 3D remote sensing data.

About Munich University of Applied Sciences / Institute for Applications of Machine Learning and Intelligent System (IAMLIS)
With 500 professors, 750 lecturers and around 18,000 students, Munich University of Applied Sciences is one of the largest universities of applied sciences in Germany. Students can choose from more than 85 bachelor and master programs in the fields of technology, economics, social studies and design. The university has an excellent network in the Munich economic region, fosters close contacts to industries and is committed to application-orientated teaching and research. In the newly founded Research Institute for Institute for Applications of Machine Learning and Intelligent System (IAMLIS), eight professors are currently conducting research in the fields of robotics, computer vision, remote sensing, distributed systems, and networked intelligent transportation systems. An application-oriented university center for AI research is currently being established in close cooperation with industrial companies.

Click here for more information on this project!

About RIEGL:

RIEGL is an international leading provider of cutting-edge technology in airborne, mobile, terrestrial, industrial and unmanned laser scanning solutions.

RIEGL has been producing LiDAR systems commercially and focuses on pulsed time-of-flight laser radar technology in multiple wavelengths.

RIEGL’s core technology, the digitization of LiDAR signals (“Waveform LiDAR”), provides unique methodologies for resolving range ambiguities, multiple targets per laser shots, optimum distribution of measurements, calibrated amplitudes and reflectance estimates, as well as the seamless integration and calibration of systems.

RIEGL’s Ultimate LiDAR^TM 3D scanners offer a wide array of performance characteristics and serve as a platform for continuing Innovation in 3D for the LiDAR industry.

From the first inquiry, to purchase and integration of the system, as well as training and support, RIEGL maintains an outstanding history of reliability and support to their customers.

Worldwide sales, training, support and services are delivered from RIEGL’s headquarters in Austria; main offices in the USA, Japan, China, Australia and Canada; and a worldwide network of representatives.

Umfassende, wissenschaftliche Arbeit der Hochschule München basiert auf RIEGL Laserdaten-Aufnahmen in der Steiermark

Im Jänner 2021 wurde im weltweit für seine wissenschaftlichen Publikationen anerkannten ISPRS Journal of Photogrammetry and Remote Sensing eine umfassende Arbeit der Hochschule München, Fakultät für Geoinformation zum Thema der Einzelbaumerkennung aus flächendeckenden airborne Laserscandaten veröffentlicht:

Combining graph-cut clustering with object-based stem detection for tree segmentation in highly dense airborne lidar point clouds

Sebastian Dersch, Dr. Marco Heurich, Dr. Nina Krüger, Dr. Peter Krzystek

RIEGL hat einen nicht unwesentlichen Beitrag zu dieser Arbeit geleistet: Die hochauflösenden Laserscandaten konnten – dank des vorhandenen Testgeländes in der Steiermark und durch Befliegung mit der DA42 MPP und dem VQ-1560i von RIEGL zur Verfügung gestellt werden.

Auch in der Forstwirtschaft gewinnt die exakte Kenntnis über den tatsächlichen Baumbestand zunehmend an Bedeutung.

Nicht zuletzt vermehrt auftretende Extremwetterereignisse, oder auch durch Klimaveränderungen hervorgerufene Trockenperioden haben gravierenden Einfluss auf bewirtschaftete, als auch naturnahe Wälder. Der aktuelle Bestand eines Waldes wurde in der Forstinventur traditionell durch Vermessung ausgesuchter, repräsentativer Baumgruppen und anschließender Hochrechnung auf die Gesamtfläche bestimmt.

Durch den Einsatz von Laserscanning ist es möglich einen Wald flächendeckend zu erfassen und so die Fehler durch das Hochrechnen zu vermeiden. Die führt letztendlich zu einem deutlich genaueren Bild des tatsächlichen Zustandes.

Der erste Schritt einer solchen Inventur ist die Erkennung der Einzelbäume in der Punktwolke. Aus den Punkten, die einen Baum repräsentieren, können dann im Idealfall verschiedene Baumparameter abgeleitet werden: Höhe, Kronendurchmesser, Basishöhe der Krone, Brusthöhendurchmesser, etc.

An der Fakultät für Geoinformation der Hochschule München beschäftigt sich eine Forschergruppe um Prof. Dr. Peter Krzystek seit Jahren mit effizienten Methoden zur Einzelbaumerkennung aus flächendeckenden ALS Daten.

In einer aktuellen Publikation stellen die Forscher der Hochschule München nun die neueste Entwicklung im Bereich der Baumsegmentierung vor:

Die Einzelbaumerkennung ist ein wichtiges Forschungsthema, wenn es um die Unterstützung der automatischen Feldinventur mittels LiDAR geht. Alle bisherigen Methoden zeigen Unter- und Übersegmentierungseffekte, da die zugehörigen Steuerungsparameter einen begrenzten Umfang haben.

Dieser Beitrag beschreibt eine neuartige integrierte Einzelbaumsegmentierung unter Verwendung eines Graph-Cut-Clustering-Verfahrens, welches durch eine automatische Stammerkennung unterstützt wird. Die Kernidee besteht darin, das statische Stoppkriterium, das üblicherweise durch Versuch und Irrtum oder durch eine Sensitivitätsanalyse definiert wird, hier durch eine Abfrage zu ersetzen, die ermittelt, ob eine Stamm-Position im verbleibenden zu partitionierenden Cluster durch die Stamm-Erkennung bereitgestellt wurde. Die Stammerkennung erkennt automatisch Baumstämme, indem sie vertikale Linien auf Basis eines hierarchischen Klassifikationsverfahrens identifiziert.

Details der Stammerkennung: Für einen kleineren Ausschnitt der Punktwolke in (a) sind Zwischenergebnisse für die Punktebene (b), die Segmentebene (c) und die Objektebene (d) hervorgehoben (Abbildung aus der Publikation „Combining graph-cut clustering with object-based stem detection for tree segmentation in highly dense airborne lidar point clouds”)

Es wird sowohl die Stammdetektion als auch die integrierte Einzelbaumsegmentierung auf Parzellen eines belaubten Mischwaldes in gemäßigter Klimazone evaluiert. Die hochdichten luftgestützten LiDAR-Daten wurden im RIEGL Testgebiet in der Steiermark mit dem RIEGL VQ-1560i in einer durchschnittlichen Punktdichte von mehr als 200 Punkten/m² erfasst. Diese Waldgebiete sind durch eine Stammdichte von etwa 1000 Stämmen/ha und ein Baumalter zwischen 15 und 63 Jahren gekennzeichnet.

Überprüft wurden die Algorithmen mit Referenzdaten, die sowohl durch visuelle Interpretation der Laserpunktwolken als auch durch eine konventionelle Feldkampagne gemessen wurden. Dafür führte die Firma FMM (Forest Mapping Management G.m.b.H) von Ing. Hermann und Wiltraud Novak im Testgebiet eine Vermessung mit herkömmlichen Methoden durch.

Dazu der Geschäftsführer von FMM, Ing. Hermann Novak: „Ausgehend von der sehr guten Datenbasis des RIEGL LIDAR und der innovativen Einzelbaumerkennung der Hochschule München wurde ein Bestand abgeleitet und von uns mittels terrestrischer Messungen überprüft. Das Ergebnis war beeindruckend, kleinste Vegetationsstrukturen wie zum Beispiel Laubholzverjüngungen wurden exakt erkannt. Für mich als Forstmann ist dieses Verfahren in Kombination mit dem RIEGL LIDAR Scanner unübertroffen. Der Aufwand und die Kosten, mit herkömmlichen Aufnahmemethoden zu dem gleichen Ergebnis zu gelangen, wären um ein Vielfaches höher.“

Darstellung der Auswertung der LiDAR-Daten und der Luftbilddaten in den Endgeräten von FMM (Semi-automatische Forstinventur; Baumsegmente berechnet über TreeFinder Software)

In den Experimenten wird bestätigt, dass das automatische Stammdetektionsverfahren erfolgreich Stämme lokalisiert, wenn die LiDAR-Punktdichte der Stämme mindestens fünf Punkte/m beträgt. Die experimentellen Ergebnisse zeigen, dass die Stammdetektion allein mehr als 80% der Stämme erkennen kann, mit einer Precision (=Relevanz) von mehr als 70%. Außerdem zeigt sich, dass die Integration der Stammdetektion die Graph-Cut-Segmentierung unabhängig vom Abbruchkriterium macht und auch die Gesamtgenauigkeit der Baumsegmentierung verbessert. In Bezug auf die F-Scores (F-Maß) beträgt die Gesamtverbesserung bis zu 15% bzw. 6% für Referenzdaten aus visueller Inspektion bzw. Feldmessungen.

Im Vergleich zu den Ergebnissen zweier bestehender Baumsegmentierungsmethoden, die auf die gleichen Datensätze angewandt wurden, zeigt sich die Genauigkeitsverbesserung ebenfalls durch um bis zu 22% bzw. 5% erhöhte F-Scores.

Sehr interessant ist, dass im Fall von Referenzdaten aus der visuellen Inspektion die integrierte Baumsegmentierung die Erkennungsgenauigkeit vor allem in Misch- und Laubwaldgebieten um mehr als 10% deutlich erhöht wird.

Dr. Peter Krzystek promovierte 1989 am Institut für Anwendungen der Geodäsie im Bauwesen der Universität Stuttgart. In diesem Jahr wechselte er zur Inpho GmbH in Stuttgart als wissenschaftlicher Mitarbeiter für digitale Photogrammetrie und Softwareentwicklung. Seit 1998 ist Dr. Krzystek Professor für Photogrammetrie, Fernerkundung und digitale Bildverarbeitung an der Hochschule München. Hier ist er auf eine Vielzahl von Forschungsgebieten spezialisiert, darunter maschinelles Lernen, Deep Learning, Computer Vision, Waldinventur und LiDAR-basierte 3D-Kartierung mit Drohnen. Er ist Leiter des Labors für Photogrammetrie und Fernerkundung und des im Jahr 2020 neugegründeten Forschungsinstitut für Anwendungen des maschinellen Lernens und intelligenter Systeme (IAMLIS).

Sebastian Dersch studierte an der Hochschule München den Bachelor of Engineering Geotelematik und Navigation. Anschließend absolvierte er ebenfalls an der Hochschule München den Master of Engineering Geomatik. Von 2018 bis 2020 arbeitete er in der Forschungsgruppe von Prof. Krzystek an Themen aus den Bereichen Fernerkundung, Photogrammmetrie und maschinellem Lernen. Seit 2020 ist er im Institut für Anwendungen des maschinellen Lernens und intelligenter Systeme (IAMLIS; https://www.hm.edu/iamlis/) als Doktorand beschäftigt und arbeitet an einer Deep Learning basierten Einzelbaumsegmentierung mithilfe von hochaufgelösten 2D und 3D Fernerkundungsdaten.

Hochschule München / Forschungsinstitut für Anwendungen des maschinellen Lernens und intelligenter Systeme (IAMLIS)
Die Hochschule München ist mit rund 500 Professorinnen und Professoren, 750 Lehrbeauftragten und 18.000 Studierenden eine der größten Hochschulen Deutschlands. In den Bereichen Technik, Wirtschaft, Sozialwissenschaften und Design bietet sie 85 Bachelor- und Masterstudiengänge an. Exzellent vernetzt am Wirtschaftsstandort München, pflegt sie enge Kontakte zur Berufspraxis und engagiert sich in anwendungsbezogener Lehre und Forschung. Im neugegründete Forschungsinstitut für Anwendungen des maschinellen Lernens und intelligenter Systeme (IAMLIS) forschen derzeit acht Professoren in den Bereichen Robotik, Computer Vision, Remote Sensing, verteilte Systeme und vernetzte intelligente Transportsysteme. In enger Kooperation mit Industrieunternehmen wird derzeit ein anwendungsorientiertes Hochschulzentrum für KI-Forschung aufgebaut.

Hier finden Sie die Details zum Projekt der Hochschule München und der neuentwickelten Methode für die Einzelbaumerkennung aus luftgestützten LiDAR Daten.

Mehr über RIEGL:

RIEGL ist ein weltweit führender Anbieter von Laser Scannern und Scanning Systemen für den Vermessungsbereich und liefert modernste Waveform-LiDAR Lösungen für terrestrische, industrielle, mobile, luftgestützte und UAV-basierte Anwendungen.

Seit 1978 fertigt RIEGL LiDAR Sensoren und Systeme für den kommerziellen Einsatz, die auf dem Pulslaufzeitverfahren basieren und bei unterschiedlichen Laser-Wellenlängen arbeiten.

Die von RIEGL konsequent eingesetzte Digitalisierung der LiDAR-Signale („smart waveforms“) ermöglicht Uneindeutigkeiten bei der Zuordnung von Messungen aufzulösen, Mehrfachziele pro Laserschuss zu detektieren, eine optimale Verteilung der Messpunkte zu erzielen, sowie die Ausgabe von kalibrierten Amplituden und Reflektivitätswerten.

Kontinuierliche “Innovation in 3D^®” ermöglicht ein Angebot, das den Anforderungen des sich entwickelnden Marktes immer wieder aufs Neue gerecht wird.

Von Beratung und Kauf bis hin zu Schulung und Systemintegration bietet RIEGL kompetente Unterstützung und zuverlässigen Service. Verkauf, Schulung, Support und Service werden sowohl vom österreichischen Hauptsitz in Horn, NÖ, von den Büros in Wien, Salzburg, und der Steiermark als auch den RIEGL Niederlassungen in den USA, Japan, China, Australien und Kanada sowie durch ein weltweites Netz an Vertriebspartnern abgewickelt.