Filtern
Erscheinungsjahr
Dokumenttyp
- Diplomarbeit (24)
- Studienarbeit (17)
- Bachelorarbeit (10)
- Dissertation (5)
- Masterarbeit (3)
Schlagworte
- Bildverarbeitung (9)
- Robotik (7)
- Mustererkennung (3)
- 3D (2)
- Bildanalyse (2)
- Kamera (2)
- Laserscanner (2)
- Mikroskopie (2)
- Segmentierung (2)
- 2-D (1)
- 3-D-Laserscannen (1)
- 3-D-Scanning (1)
- 3D-Abbildungen (1)
- Action Recognition (1)
- Action Segmentation (1)
- Automatische Klassifikation (1)
- Autonome Robotik (1)
- Autonomes Robotersystem (1)
- Bewegungsmodell (1)
- Bild (1)
- Bildanalyse-Verfahren (1)
- Bildregistrierung (1)
- Bildsensor (1)
- Blinder Fleck (1)
- CAD (1)
- CT-Datensätze (1)
- ColorSym (1)
- Coloskopie (1)
- Communication System (1)
- Computer Vision (1)
- Computer-aided diagnosis (1)
- Computersimulation (1)
- Computertomografie (1)
- Computertomographie (1)
- DIN EN ISO 9241 (1)
- Darmpolyp (1)
- Deep Learning (1)
- Deep Metric Learning (1)
- Digitale Bilder (1)
- Dreidimensionales Modell (1)
- Dynamische Programmierung (1)
- Farbsymmetrie (1)
- FastSLAM Algorithmus (1)
- Flugkörper (1)
- Gittererzeugung (1)
- Glaukom (1)
- Glint Center Estimation Algorithmus (1)
- Grafikprozessor (1)
- Graphikprozessor (1)
- Heidelberg Retina Tomograph (1)
- Hochgeschwindigkeitstracking (1)
- ICP-Algorithmus (1)
- Imitation Learning (1)
- Inpainting-Verfahren (1)
- Interaktives Whiteboard (1)
- Kalibrieren <Messtechnik> (1)
- Kalibrierung (1)
- Kartographie (1)
- Katadioptrisches Stereosystem (1)
- Klassifikation (1)
- Klassifikationsframework (1)
- Linienkorrelationen (1)
- Lokale Bildmerkmale (1)
- Lokalisierung (1)
- Machine Learning (1)
- Mammographie (1)
- Matchingverfahren (1)
- Medizinische Bildverarbeitung (1)
- Medizintechnik (1)
- Merkmalsbewertung (1)
- Merkmalsdetektion (1)
- Mobiler Roboter (1)
- Modellbasiertes Tracking (1)
- Multimodal Action Recognition (1)
- Multiple Object Tracking (1)
- Multivariate Datenanalyse (1)
- Navigation (1)
- Oberflächenorientierung (1)
- Oberflächenstruktur (1)
- Objektentfernung (1)
- One-Shot Action Recognition (1)
- Optisches Mikroskop (1)
- Ornamentik (1)
- Ornamentklassifikation (1)
- PACS- Picture Archiving (1)
- Personentracking (1)
- Personenverfolgungssystem (1)
- Pfadplanung (1)
- Photogrammetrie Kalibrierung EMVA-1288 (1)
- Photogrammetry (1)
- Planspiegel-System (1)
- Pollenanalyse (1)
- Posebestimmung (1)
- Poseschätzung (1)
- Positionsbestimmung (1)
- Punktkorrelationen (1)
- Pupil Center Estimation Algorithmus (1)
- Qt/C++ (1)
- Radiales System (1)
- Random Finite Sets (1)
- Registrierung <Bildverarbeitung> (1)
- Rescue League (1)
- Retinex-Algorithmus (1)
- Rettungsroboter (1)
- RoboCup (1)
- Roboter (1)
- SIFT-Algorithmus (1)
- SIFT-Merkmale (1)
- SIFT-Verfahren (1)
- STOR (1)
- SURF-Algorithmus (1)
- Schatten (1)
- Selbstlokalisation (1)
- Semantik (1)
- Software- Ergonomie (1)
- Standortbestimmung (1)
- Stereobildfolgen (1)
- Stereosehen (1)
- Tanzspiel (1)
- Text (1)
- Texterkennung (1)
- Textur-Mapping (1)
- Tiefenbild (1)
- Tiefenkarte (1)
- Tracking (1)
- Tracking-System (1)
- USARSim (1)
- Ungarische Methode (1)
- Unterwasser-Pipeline (1)
- Unterwasserfahrzeug (1)
- Unterwasserkabel (1)
- Visuelle Odometrie (1)
- Whiteboard (1)
- depth map (1)
- disparity map (1)
- dynamic programming (1)
- image processing (1)
- menschliches Auge (1)
- path planning (1)
- robotics (1)
- stereo vision (1)
Institut
- Institut für Computervisualistik (59) (entfernen)
Das Ziel dieser Arbeit war die Verbesserung einer Positions- und Orientierungsangabe einer Kamera mit Hilfe von bildbasierten Registrierungsverfahren. Des Weiteren sollte herausgefunden werden, inwieweit eine Beschleunigung der Registrierung erreicht werden kann, wenn die Berechnung der Abstandsmaße auf den Grafikprozessor ausgelagert wird. Für das in dieser Arbeit angestrebte System sollte herausgefunden werden, ob und in welchem Maße eine Verbesserung der ursprünglichen Positionsangabe eingetreten ist. Mit dieser Arbeit wurde erreicht, dass ein lauffähiges und in zahlreichen Tests evaluiertes System unter dem Betriebssystem Linux zur Verfügung steht.
On the recognition of human activities and the evaluation of its imitation by robotic systems
(2023)
This thesis addresses the problem of action recognition through the analysis of human motion and the benchmarking of its imitation by robotic systems.
For our action recognition related approaches, we focus on presenting approaches that generalize well across different sensor modalities. We transform multivariate signal streams from various sensors to a common image representation. The action recognition problem on sequential multivariate signal streams can then be reduced to an image classification task for which we utilize recent advances in machine learning. We demonstrate the broad applicability of our approaches formulated as a supervised classification task for action recognition, a semi-supervised classification task for one-shot action recognition, modality fusion and temporal action segmentation.
For action classification, we use an EfficientNet Convolutional Neural Network (CNN) model to classify the image representations of various data modalities. Further, we present approaches for filtering and the fusion of various modalities on a representation level. We extend the approach to be applicable for semi-supervised classification and train a metric-learning model that encodes action similarity. During training, the encoder optimizes the distances in embedding space for self-, positive- and negative-pair similarities. The resulting encoder allows estimating action similarity by calculating distances in embedding space. At training time, no action classes from the test set are used.
Graph Convolutional Network (GCN) generalized the concept of CNNs to non-Euclidean data structures and showed great success for action recognition directly operating on spatio-temporal sequences like skeleton sequences. GCNs have recently shown state-of-the-art performance for skeleton-based action recognition but are currently widely neglected as the foundation for the fusion of various sensor modalities. We propose incorporating additional modalities, like inertial measurements or RGB features, into a skeleton-graph, by proposing fusion on two different dimensionality levels. On a channel dimension, modalities are fused by introducing additional node attributes. On a spatial dimension, additional nodes are incorporated into the skeleton-graph.
Transformer models showed excellent performance in the analysis of sequential data. We formulate the temporal action segmentation task as an object detection task and use a detection transformer model on our proposed motion image representations. Experiments for our action recognition related approaches are executed on large-scale publicly available datasets. Our approaches for action recognition for various modalities, action recognition by fusion of various modalities, and one-shot action recognition demonstrate state-of-the-art results on some datasets.
Finally, we present a hybrid imitation learning benchmark. The benchmark consists of a dataset, metrics, and a simulator integration. The dataset contains RGB-D image sequences of humans performing movements and executing manipulation tasks, as well as the corresponding ground truth. The RGB-D camera is calibrated against a motion-capturing system, and the resulting sequences serve as input for imitation learning approaches. The resulting policy is then executed in the simulated environment on different robots. We propose two metrics to assess the quality of the imitation. The trajectory metric gives insights into how close the execution was to the demonstration. The effect metric describes how close the final state was reached according to the demonstration. The Simitate benchmark can improve the comparability of imitation learning approaches.
Since the invention of U-net architecture in 2015, convolutional networks based on its encoder-decoder approach significantly improved results in image analysis challenges. It has been proven that such architectures can also be successfully applied in different domains by winning numerous championships in recent years. Also, the transfer learning technique created an opportunity to push state-of-the-art benchmarks to a higher level. Using this approach is beneficial for the medical domain, as collecting datasets is generally a difficult and expensive process.
In this thesis, we address the task of semantic segmentation with Deep Learning and make three main contributions and release experimental results that have practical value for medical imaging.
First, we evaluate the performance of four neural network architectures on the dataset of the cervical spine MRI scans. Second, we use transfer learning from models trained on the Imagenet dataset and compare it to randomly initialized networks. Third, we evaluate models trained on the bias field corrected and raw MRI data. All code to reproduce results is publicly available online.
Ziel der Arbeit ist es, Kriterien und Gütemaße zur Bewertung von Merkmalen aus der Musterklassifikation zu finden und diese so in eine graphische Evaluationsumgebung zu integrieren, dass der Nutzer befähigt wird, Erkenntnisse über die Struktur des Merkmalsraumes und die Qualität der einzelnen Merkmale zu erlangen, so dass er zielführend eine möglichst optimale Teilmenge - im Sinne der Klassifikationsgüte und der Anzahl der Merkmale - gewinnen kann. Zunächst werden allgemeine visuelle Merkmale von Pollenkörnern und die manuelle Pollenzählung vorgestellt sowie eine Übersicht über das Pollenmonitor-Projekt zur automatisierten Pollen-Erkennung gegeben. Einem Überblick über die Grundlagen der Mustererkennung mit den Teilschritten Merkmalsextraktion und Klassifikation folgt eine Vorstellung von Kriterien zur Merkmalsbewertung und Verfahren zur Merkmalsselektion. Im Mittelpunkt stehen Entwurf und Umsetzung der Evaluationsumgebung sowie Experimente zur Bewertung und Selektion optimaler Teilmengen aus dem Testdatensatz
In dieser Arbeit wird die Umsetzung und Modifikation des Verfahrens von Finlayson et al. zur Schattenentfernung in einzelnen Farbbildern unter Verwendung des Retinex-Algorithmus vorgestellt. Für die benötigte Detektion von Schattenkanten wurde ein Verfahren von Finlayson et al. umgesetzt und angepasst. Die erforderliche Kamerakalibrierung wurde dabei nicht mit Tageslicht, sondern unter Verwendung künstlicher Lichtquellen realisiert. Anhand von Campus-Bildsequenzen wird ein qualitativer Vergleich des umgesetzten Verfahrens mit dem von Weiss zur Schattenentfernung in Bildserien vorgenommen. Außerdem wird ein erster Ansatz vorgestellt, wie Verfahren zur Schattenentfernung quantitativ bewertet werden können. Die Erzeugung der benötigten Ground-truth-Daten wird mit Hilfe von Laboraufnahmen realisiert, sodass keine manuelle Segmentierung von Schatten erforderlich ist. Anhand der Ergebnisse von Experimenten wird gezeigt, inwieweit die definierten Maße eine Bewertung und einen Vergleich der beiden Verfahren erlauben.
Der Wettbewerb um die besten Technologien zur Realisierung des autonomen Fahrens ist weltweit in vollem Gange.
Trotz großer Anstrengungen ist jedoch die autonome Navigation in strukturierter und vor allem unstrukturierter Umgebung bisher nicht gelöst.
Ein entscheidender Baustein in diesem Themenkomplex ist die Umgebungswahrnehmung und Analyse durch passende Sensorik und entsprechende Sensordatenauswertung.
Insbesondere bildgebende Verfahren im Bereich des für den Menschen sichtbaren Spektrums finden sowohl in der Praxis als auch in der Forschung breite Anwendung.
Dadurch wird jedoch nur ein Bruchteil des elektromagnetischen Spektrums genutzt und folglich ein großer Teil der verfügbaren Informationen zur Umgebungswahrnehmung ignoriert.
Um das vorhandene Spektrum besser zu nutzen, werden in anderen Forschungsbereichen schon seit Jahrzehnten \sog spektrale Sensoren eingesetzt, welche das elektromagnetische Spektrum wesentlich feiner und in einem größeren Bereich im Vergleich zu klassischen Farbkameras analysieren. Jedoch können diese Systeme aufgrund technischer Limitationen nur statische Szenen aufnehmen. Neueste Entwicklungen der Sensortechnik ermöglichen nun dank der \sog Snapshot-Mosaik-Filter-Technik die spektrale Abtastung dynamischer Szenen.
In dieser Dissertation wird der Einsatz und die Eignung der Snapshot-Mosaik-Technik zur Umgebungswahrnehmung und Szenenanalyse im Bereich der autonomen Navigation in strukturierten und unstrukturierten Umgebungen untersucht. Dazu wird erforscht, ob die aufgenommen spektralen Daten einen Vorteil gegenüber klassischen RGB- \bzw Grauwertdaten hinsichtlich der semantischen Szenenanalyse und Klassifikation bieten.
Zunächst wird eine geeignete Vorverarbeitung entwickelt, welche aus den Rohdaten der Sensorik spektrale Werte berechnet. Anschließend wird der Aufbau von neuartigen Datensätzen mit spektralen Daten erläutert. Diese Datensätze dienen als Basis zur Evaluation von verschiedenen Klassifikatoren aus dem Bereich des klassischen maschinellen Lernens.
Darauf aufbauend werden Methoden und Architekturen aus dem Bereich des Deep-Learnings vorgestellt. Anhand ausgewählter Architekturen wird untersucht, ob diese auch mit spektralen Daten trainiert werden können. Weiterhin wird die Verwendung von Deep-Learning-Methoden zur Datenkompression thematisiert. In einem nächsten Schritt werden die komprimierten Daten genutzt, um damit Netzarchitekturen zu trainieren, welche bisher nur mit RGB-Daten kompatibel sind. Abschließend wird analysiert, ob die hochdimensionalen spektralen Daten bei der Szenenanalyse Vorteile gegenüber RGB-Daten bieten
Zur Erstellung von 3-D-Oberflächenmodellen real existierender Objekte wird häufig sehr teure Hardware eingesetzt, z.B. 3-D-Laser-Range-Scanner. Da diese keine Grauwert- oder Farbinformationen erfassen können, muss das Objekt zur Wiedergabe farbiger Strukturen zusätzlich abfotografiert und mit den Bildern registriert werden. Die Arbeit entwickelt demgegenüber ein Verfahren zum Einsatz eines kalibrierten Stereokamerasystems. Aus den erhaltenen Sequenzen zweidimensionaler Stereobilder kann ein texturiertes 3-D-Mesh rekonstruiert werden. Im Vergleich zum Einsatz eines Scanners ist dieses Verfahren zwar weniger genau, aber dafür preisgünstiger, platzsparend und schneller einsetzbar. Den Schwerpunkt der Arbeit bilden die Fusionierung der Tiefenkarten und die Erstellung eines texturierten Meshs aus diesen.
Die Arbeit befasst sich mit atlasbasierter Segmentierung von CT-Datensätzen mit Hilfe von elastischen Registrierungsmethoden. Ziel ist die vollautomatische Segmentierung eines beliebigen Eingabedatensatzes durch Registrierung mit einem vorsegmentierten Referenzdatensatz, dem Atlanten. Ein besonderes Augenmerk liegt dabei auf der Implementierung und Evaluation elastischer Registrierungsverfahren, da rigide Registrierungsmethoden besonders in Bereichen hoher anatomischer Varianzen keine genaue Segmentierung gewährleisten. Im Vordergrund steht zunächst die Generierung zweier Atlanten, die als durchschnittliche Referenzdatensätze Informationen über die anatomische Varianz männlicher und weiblicher Bevölkerungsgruppen enthalten. Weiter werden vier etablierte elastische Registrierungsarten implementiert und im Hinblick auf eine atlasbasierte Segmentierung der wichtigen Organe des menschlichen Torsos evaluiert: BSpline-Registrierung, Demons-Registrierung, Level-Set-Motion-Registrierung und FEM-Registrierung. Robustheit und Genauigkeit der implementierten Verfahren wurden anhand von Lungen- und Abdomendatensätzen sowohl intra- als auch interpatientenspezifisch ausgewertet. Es wird gezeigt, dass vor allem die elastische BSpline-Registrierung hier genauere Segmentierungsergebnisse liefern kann, als es mit einer rigiden Registrierung möglich ist.
3D-Modelle werden heute in vielen Bereichen wie Multimedia Anwendungen, Robotik oder der Filmindustrie immer wichtiger. Besonders interessant ist dabei die Erstellung eines 3D-Modells aus einer monokularen Bilderserie, da die hierfür nötigen Kameras immer günstiger, kleiner und ausgereifter produziert werden. Geeignetere Kameras werden in immer mehr Geräten wie Smartphones, Tablet-PCs, Autos etc. verbaut, wodurch sich ein großes Potential für die Verwendung dieser Rekonstruktionstechnik ergibt.
Als Grundlage dieser Arbeit dient eine mit einer kalibrierten Kamera aufgenommene Bilderserie. Aus dieser werden 2D-Punktkorrespondenzen, mit den verbreiteten SURF-Features oder den A-KAZE-Features gewonnen. Aufbauend auf den 2D-Punktkorrespondenzen kann aus diesen mit Hilfe verschiedener Algorithmen ein 3D-Modell in Form einer Punktwolke und Kameraposen rekonstruiert werden.
Um Fehler in dem entstandenen Modell gering zu halten, wird insbesondere aufrnden Bündelausgleich zur Fehlerminimierung eingegangen. Anschließend wird dasrnneben dieser Arbeit entstandene Programm zur 3D-Rekonstuktion und Visualisierung des 3D-Modells erläutert. Das implementierte System wird anschließend anhand von Statistiken evaluiert und die hieraus gewonnenen Erkentnisse präsentiert.
Abschließend werden die Ergebnisse dieser Arbeit zusammengefasst und einrnAusblick auf mögliche Weiterentwicklungen gegeben.