Refine
Year of publication
Document Type
- Diploma Thesis (27)
- Study Thesis (17)
- Bachelor Thesis (13)
- Doctoral Thesis (8)
- Master's Thesis (6)
Keywords
- Bildverarbeitung (9)
- Robotik (7)
- Mustererkennung (3)
- 3D (2)
- Bildanalyse (2)
- Kamera (2)
- Klassifikation (2)
- Laserscanner (2)
- Mikroskopie (2)
- Roboter (2)
Institute
Das Ziel dieser Arbeit war die Verbesserung einer Positions- und Orientierungsangabe einer Kamera mit Hilfe von bildbasierten Registrierungsverfahren. Des Weiteren sollte herausgefunden werden, inwieweit eine Beschleunigung der Registrierung erreicht werden kann, wenn die Berechnung der Abstandsmaße auf den Grafikprozessor ausgelagert wird. Für das in dieser Arbeit angestrebte System sollte herausgefunden werden, ob und in welchem Maße eine Verbesserung der ursprünglichen Positionsangabe eingetreten ist. Mit dieser Arbeit wurde erreicht, dass ein lauffähiges und in zahlreichen Tests evaluiertes System unter dem Betriebssystem Linux zur Verfügung steht.
The Web is an essential component of moving our society to the digital age. We use it for communication, shopping, and doing our work. Most user interaction in the Web happens with Web page interfaces. Thus, the usability and accessibility of Web page interfaces are relevant areas of research to make the Web more useful. Eye tracking is a tool that can be helpful in both areas, performing usability testing and improving accessibility. It can be used to understand users' attention on Web pages and to support usability experts in their decision-making process. Moreover, eye tracking can be used as an input method to control an interface. This is especially useful for people with motor impairment, who cannot use traditional input devices like mouse and keyboard. However, interfaces on Web pages become more and more complex due to dynamics, i.e., changing contents like animated menus and photo carousels. We need general approaches to comprehend dynamics on Web pages, allowing for efficient usability analysis and enjoyable interaction with eye tracking. In the first part of this thesis, we report our work on improving gaze-based analysis of dynamic Web pages. Eye tracking can be used to collect the gaze signals of users, who browse a Web site and its pages. The gaze signals show a usability expert what parts in the Web page interface have been read, glanced at, or skipped. The aggregation of gaze signals allows a usability expert insight into the users' attention on a high-level, before looking into individual behavior. For this, all gaze signals must be aligned to the interface as experienced by the users. However, the user experience is heavily influenced by changing contents, as these may cover a substantial portion of the screen. We delineate unique states in Web page interfaces including changing contents, such that gaze signals from multiple users can be aggregated correctly. In the second part of this thesis, we report our work on improving the gaze-based interaction with dynamic Web pages. Eye tracking can be used to retrieve gaze signals while a user operates a computer. The gaze signals may be interpreted as input controlling an interface. Nowadays, eye tracking as an input method is mostly used to emulate mouse and keyboard functionality, hindering an enjoyable user experience. There exist a few Web browser prototypes that directly interpret gaze signals for control, but they do not work on dynamic Web pages. We have developed a method to extract interaction elements like hyperlinks and text inputs efficiently on Web pages, including changing contents. We adapt the interaction with those elements for eye tracking as the input method, such that a user can conveniently browse the Web hands-free. Both parts of this thesis conclude with user-centered evaluations of our methods, assessing the improvements in the user experience for usability experts and people with motor impairment, respectively.
On the recognition of human activities and the evaluation of its imitation by robotic systems
(2023)
This thesis addresses the problem of action recognition through the analysis of human motion and the benchmarking of its imitation by robotic systems.
For our action recognition related approaches, we focus on presenting approaches that generalize well across different sensor modalities. We transform multivariate signal streams from various sensors to a common image representation. The action recognition problem on sequential multivariate signal streams can then be reduced to an image classification task for which we utilize recent advances in machine learning. We demonstrate the broad applicability of our approaches formulated as a supervised classification task for action recognition, a semi-supervised classification task for one-shot action recognition, modality fusion and temporal action segmentation.
For action classification, we use an EfficientNet Convolutional Neural Network (CNN) model to classify the image representations of various data modalities. Further, we present approaches for filtering and the fusion of various modalities on a representation level. We extend the approach to be applicable for semi-supervised classification and train a metric-learning model that encodes action similarity. During training, the encoder optimizes the distances in embedding space for self-, positive- and negative-pair similarities. The resulting encoder allows estimating action similarity by calculating distances in embedding space. At training time, no action classes from the test set are used.
Graph Convolutional Network (GCN) generalized the concept of CNNs to non-Euclidean data structures and showed great success for action recognition directly operating on spatio-temporal sequences like skeleton sequences. GCNs have recently shown state-of-the-art performance for skeleton-based action recognition but are currently widely neglected as the foundation for the fusion of various sensor modalities. We propose incorporating additional modalities, like inertial measurements or RGB features, into a skeleton-graph, by proposing fusion on two different dimensionality levels. On a channel dimension, modalities are fused by introducing additional node attributes. On a spatial dimension, additional nodes are incorporated into the skeleton-graph.
Transformer models showed excellent performance in the analysis of sequential data. We formulate the temporal action segmentation task as an object detection task and use a detection transformer model on our proposed motion image representations. Experiments for our action recognition related approaches are executed on large-scale publicly available datasets. Our approaches for action recognition for various modalities, action recognition by fusion of various modalities, and one-shot action recognition demonstrate state-of-the-art results on some datasets.
Finally, we present a hybrid imitation learning benchmark. The benchmark consists of a dataset, metrics, and a simulator integration. The dataset contains RGB-D image sequences of humans performing movements and executing manipulation tasks, as well as the corresponding ground truth. The RGB-D camera is calibrated against a motion-capturing system, and the resulting sequences serve as input for imitation learning approaches. The resulting policy is then executed in the simulated environment on different robots. We propose two metrics to assess the quality of the imitation. The trajectory metric gives insights into how close the execution was to the demonstration. The effect metric describes how close the final state was reached according to the demonstration. The Simitate benchmark can improve the comparability of imitation learning approaches.
Since the invention of U-net architecture in 2015, convolutional networks based on its encoder-decoder approach significantly improved results in image analysis challenges. It has been proven that such architectures can also be successfully applied in different domains by winning numerous championships in recent years. Also, the transfer learning technique created an opportunity to push state-of-the-art benchmarks to a higher level. Using this approach is beneficial for the medical domain, as collecting datasets is generally a difficult and expensive process.
In this thesis, we address the task of semantic segmentation with Deep Learning and make three main contributions and release experimental results that have practical value for medical imaging.
First, we evaluate the performance of four neural network architectures on the dataset of the cervical spine MRI scans. Second, we use transfer learning from models trained on the Imagenet dataset and compare it to randomly initialized networks. Third, we evaluate models trained on the bias field corrected and raw MRI data. All code to reproduce results is publicly available online.
Ziel der Arbeit ist es, Kriterien und Gütemaße zur Bewertung von Merkmalen aus der Musterklassifikation zu finden und diese so in eine graphische Evaluationsumgebung zu integrieren, dass der Nutzer befähigt wird, Erkenntnisse über die Struktur des Merkmalsraumes und die Qualität der einzelnen Merkmale zu erlangen, so dass er zielführend eine möglichst optimale Teilmenge - im Sinne der Klassifikationsgüte und der Anzahl der Merkmale - gewinnen kann. Zunächst werden allgemeine visuelle Merkmale von Pollenkörnern und die manuelle Pollenzählung vorgestellt sowie eine Übersicht über das Pollenmonitor-Projekt zur automatisierten Pollen-Erkennung gegeben. Einem Überblick über die Grundlagen der Mustererkennung mit den Teilschritten Merkmalsextraktion und Klassifikation folgt eine Vorstellung von Kriterien zur Merkmalsbewertung und Verfahren zur Merkmalsselektion. Im Mittelpunkt stehen Entwurf und Umsetzung der Evaluationsumgebung sowie Experimente zur Bewertung und Selektion optimaler Teilmengen aus dem Testdatensatz
In dieser Arbeit wird die Umsetzung und Modifikation des Verfahrens von Finlayson et al. zur Schattenentfernung in einzelnen Farbbildern unter Verwendung des Retinex-Algorithmus vorgestellt. Für die benötigte Detektion von Schattenkanten wurde ein Verfahren von Finlayson et al. umgesetzt und angepasst. Die erforderliche Kamerakalibrierung wurde dabei nicht mit Tageslicht, sondern unter Verwendung künstlicher Lichtquellen realisiert. Anhand von Campus-Bildsequenzen wird ein qualitativer Vergleich des umgesetzten Verfahrens mit dem von Weiss zur Schattenentfernung in Bildserien vorgenommen. Außerdem wird ein erster Ansatz vorgestellt, wie Verfahren zur Schattenentfernung quantitativ bewertet werden können. Die Erzeugung der benötigten Ground-truth-Daten wird mit Hilfe von Laboraufnahmen realisiert, sodass keine manuelle Segmentierung von Schatten erforderlich ist. Anhand der Ergebnisse von Experimenten wird gezeigt, inwieweit die definierten Maße eine Bewertung und einen Vergleich der beiden Verfahren erlauben.
Der Wettbewerb um die besten Technologien zur Realisierung des autonomen Fahrens ist weltweit in vollem Gange.
Trotz großer Anstrengungen ist jedoch die autonome Navigation in strukturierter und vor allem unstrukturierter Umgebung bisher nicht gelöst.
Ein entscheidender Baustein in diesem Themenkomplex ist die Umgebungswahrnehmung und Analyse durch passende Sensorik und entsprechende Sensordatenauswertung.
Insbesondere bildgebende Verfahren im Bereich des für den Menschen sichtbaren Spektrums finden sowohl in der Praxis als auch in der Forschung breite Anwendung.
Dadurch wird jedoch nur ein Bruchteil des elektromagnetischen Spektrums genutzt und folglich ein großer Teil der verfügbaren Informationen zur Umgebungswahrnehmung ignoriert.
Um das vorhandene Spektrum besser zu nutzen, werden in anderen Forschungsbereichen schon seit Jahrzehnten \sog spektrale Sensoren eingesetzt, welche das elektromagnetische Spektrum wesentlich feiner und in einem größeren Bereich im Vergleich zu klassischen Farbkameras analysieren. Jedoch können diese Systeme aufgrund technischer Limitationen nur statische Szenen aufnehmen. Neueste Entwicklungen der Sensortechnik ermöglichen nun dank der \sog Snapshot-Mosaik-Filter-Technik die spektrale Abtastung dynamischer Szenen.
In dieser Dissertation wird der Einsatz und die Eignung der Snapshot-Mosaik-Technik zur Umgebungswahrnehmung und Szenenanalyse im Bereich der autonomen Navigation in strukturierten und unstrukturierten Umgebungen untersucht. Dazu wird erforscht, ob die aufgenommen spektralen Daten einen Vorteil gegenüber klassischen RGB- \bzw Grauwertdaten hinsichtlich der semantischen Szenenanalyse und Klassifikation bieten.
Zunächst wird eine geeignete Vorverarbeitung entwickelt, welche aus den Rohdaten der Sensorik spektrale Werte berechnet. Anschließend wird der Aufbau von neuartigen Datensätzen mit spektralen Daten erläutert. Diese Datensätze dienen als Basis zur Evaluation von verschiedenen Klassifikatoren aus dem Bereich des klassischen maschinellen Lernens.
Darauf aufbauend werden Methoden und Architekturen aus dem Bereich des Deep-Learnings vorgestellt. Anhand ausgewählter Architekturen wird untersucht, ob diese auch mit spektralen Daten trainiert werden können. Weiterhin wird die Verwendung von Deep-Learning-Methoden zur Datenkompression thematisiert. In einem nächsten Schritt werden die komprimierten Daten genutzt, um damit Netzarchitekturen zu trainieren, welche bisher nur mit RGB-Daten kompatibel sind. Abschließend wird analysiert, ob die hochdimensionalen spektralen Daten bei der Szenenanalyse Vorteile gegenüber RGB-Daten bieten
This thesis addresses the problem of terrain classification in unstructured outdoor environments. Terrain classification includes the detection of obstacles and passable areas as well as the analysis of ground surfaces. A 3D laser range finder is used as primary sensor for perceiving the surroundings of the robot. First of all, a grid structure is introduced for data reduction. The chosen data representation allows for multi-sensor integration, e.g., cameras for color and texture information or further laser range finders for improved data density. Subsequently, features are computed for each terrain cell within the grid. Classification is performedrnwith a Markov random field for context-sensitivity and to compensate for sensor noise and varying data density within the grid. A Gibbs sampler is used for optimization and is parallelized on the CPU and GPU in order to achieve real-time performance. Dynamic obstacles are detected and tracked using different state-of-the-art approaches. The resulting information - where other traffic participants move and are going to move to - is used to perform inference in regions where the terrain surface is partially or completely invisible for the sensors. Algorithms are tested and validated on different autonomous robot platforms and the evaluation is carried out with human-annotated ground truth maps of millions of measurements. The terrain classification approach of this thesis proved reliable in all real-time scenarios and domains and yielded new insights. Furthermore, if combined with a path planning algorithm, it enables full autonomy for all kinds of wheeled outdoor robots in natural outdoor environments.
Zur Erstellung von 3-D-Oberflächenmodellen real existierender Objekte wird häufig sehr teure Hardware eingesetzt, z.B. 3-D-Laser-Range-Scanner. Da diese keine Grauwert- oder Farbinformationen erfassen können, muss das Objekt zur Wiedergabe farbiger Strukturen zusätzlich abfotografiert und mit den Bildern registriert werden. Die Arbeit entwickelt demgegenüber ein Verfahren zum Einsatz eines kalibrierten Stereokamerasystems. Aus den erhaltenen Sequenzen zweidimensionaler Stereobilder kann ein texturiertes 3-D-Mesh rekonstruiert werden. Im Vergleich zum Einsatz eines Scanners ist dieses Verfahren zwar weniger genau, aber dafür preisgünstiger, platzsparend und schneller einsetzbar. Den Schwerpunkt der Arbeit bilden die Fusionierung der Tiefenkarten und die Erstellung eines texturierten Meshs aus diesen.
Die Arbeit befasst sich mit atlasbasierter Segmentierung von CT-Datensätzen mit Hilfe von elastischen Registrierungsmethoden. Ziel ist die vollautomatische Segmentierung eines beliebigen Eingabedatensatzes durch Registrierung mit einem vorsegmentierten Referenzdatensatz, dem Atlanten. Ein besonderes Augenmerk liegt dabei auf der Implementierung und Evaluation elastischer Registrierungsverfahren, da rigide Registrierungsmethoden besonders in Bereichen hoher anatomischer Varianzen keine genaue Segmentierung gewährleisten. Im Vordergrund steht zunächst die Generierung zweier Atlanten, die als durchschnittliche Referenzdatensätze Informationen über die anatomische Varianz männlicher und weiblicher Bevölkerungsgruppen enthalten. Weiter werden vier etablierte elastische Registrierungsarten implementiert und im Hinblick auf eine atlasbasierte Segmentierung der wichtigen Organe des menschlichen Torsos evaluiert: BSpline-Registrierung, Demons-Registrierung, Level-Set-Motion-Registrierung und FEM-Registrierung. Robustheit und Genauigkeit der implementierten Verfahren wurden anhand von Lungen- und Abdomendatensätzen sowohl intra- als auch interpatientenspezifisch ausgewertet. Es wird gezeigt, dass vor allem die elastische BSpline-Registrierung hier genauere Segmentierungsergebnisse liefern kann, als es mit einer rigiden Registrierung möglich ist.
Quadrokopter sind Helikopter mit vier in einer Ebene angeordneten Rotoren. Kleine unbemannte Modelle, die oft nur eine Schubkraft von wenigen Newton erzeugen können, sind im Spielzeug- und Modellbaubereich beliebt, werden aber auch von Militär und Polizei als Drohne für Aufklärungs- und Überwachungsaufgaben eingesetzt. Diese Diplomarbeit befasst sich mit den theoretischen Grundlagen der Steuerung eines Quadrokopters und entwickelt darauf aufbauend eine kostengünstige Steuerplatine für einen Modellquadrokopter.
Die theoretischen Grundlagen enthalten eine Untersuchung der Dynamik eines frei fliegenden Quadrokopters, bei der Bewegungsgleichungen hergeleitet und mit den Ergebnissen verglichen werden, die in "Design and control of quadrotors with application to autonomous flying" ([Bou07]) vorgestellt wurden. Weiterhin wird die Funktionsweise verschiedener Sensoren beschrieben, die zur Bestimmung der aktuellen räumlichen Ausrichtung geeignet sind, und es werden Verfahren besprochen, mit denen die Ausrichtung aus den Messwerten dieser Sensoren abgeschätzt werden kann. Zusätzlich wird in den Schiefkörper der Quaternionen eingeführt, in dem dreidimensionale Rotationen kompakt dargestellt und effizient verkettet werden können.
Daran anschließend wird die Entwicklung einer einfachen Steuerplatine beschrieben, die sowohl einen autonomen Schwebeflug als auch Fernsteuerung ermöglicht. Die Platine wurde auf einem X-Ufo-Quadrokopter der Firma Silverlit entwickelt und getestet, der daher ebenfalls vorgestellt wird. Die eingesetzten Bauteile und deren Zusammenspiel werden besprochen. Dabei ist insbesondere die WiiMotionPlus hervorzuheben, die als kostengünstiges Gyrosensormodul verwendet wird. Daneben werden verschiedene Aspekte der Steuersoftware erläutert: die Auswertung der Sensordaten, die Zustandsschätzung mit Hilfe des expliziten komplementären Filters nach Mahony et al. ([MHP08]), die Umsetzung des Ausrichtungsreglers sowie die Erzeugung der Steuersignale für die Motoren. Sowohl die Steuersoftware als auch Schaltplan und Platinenlayout der Steuerplatine liegen dieser Arbeit auf einer CD bei. Schaltplan und Platinenlayout sind zusätzlich im Anhang der Arbeit abgedruckt.
3D-models are getting more important in many areas such as multimedia applications, robotics or film industries. Of particular interest is the creation of 3D-models from a series of monocular images. This is because the cameras that are required for this purpose are becoming cheaper, smaller and more sophisticated at the same time. Increasingly often, suitable cameras are already integrated in devices like smartphones, tablet PCs or cars for example. Hence, there is a great potential for applications of this reconstruction technique.
This thesis is based on the use of a series of images that were taken with arncalibrated camera. The first step is to extract point correspondences from this image series making use of the well-known SURF- and A-KAZE-features. Starting from the point correspondences, it is possible to reconstruct a 3D-Modell with different algorithms that consists of a point cloud and camera poses. To reduce errors in the 3D-model, this thesis especially focuses on explaining the bundle adjustment algorithm, which is being used for a non-linear error minimization of a cost function.
The thesis also introduces the application for the 3D-reconstruction and the visualization of the results, that was developed in the course of this thesis.
The implemented system is evaluated based on statistics and the newly aquiredrnknowledge is presented. The thesis concludes with a summary of its results, and a number of ideas for potential future applications and developments.
Das Forschungsprojekt Bildanalyse zur Ornamentklassifikation hat es sich zur Aufgabe gemacht, ornamentale Strukturen in Bildern computergestützt zu lokalisieren, analysieren und klassifizieren. Grundlage des Projekts bildet eine umfangreiche Bilddatenbank, deren Abbildungen manuell vorsortiert sind. Durch Kombinationen mit Methoden der Bildverabeitung und der Verwendung von Wissensdatenbanken (Knowledge Databases) soll diese Kategorisierung weiter verfeinert werden. Sämtliche Bilder durchlaufen bis zum Prozess der Ornamentklassifikation mehrere Vorverarbeitungsschritte. Beginnend mit einem Normalisierungsprozess, bei dem das Bild u. a. entzerrt und entrauscht wird, werden im Anschluss Interessensregionen selektiert. Diese Regionen bilden die Grundlage für das spätere Lokalisieren der Ornamente. Aus ihnen werden mit unterschiedlichen Verfahren Merkmale extrahiert, die wiederum in der Datenbank gespeichert werden. In dieser Arbeit wurde ein weiteres solches Verfahren implementiert und auf seine mögliche Verwendung in dem Projekt untersucht.
The goal of this minor thesis is to integrate a robotic arm into an existing robotics software. A robot built on top of this stack should be able to participate successfully RoboCup @Home league. The robot Lisa (Lisa is a service android) needs to manipulate objects, lifting them from shelves or handing them to people. Up to now, the only possibility to do this was a small gripper attached to the robot platform. A "Katana Linux Robot" of Swiss manufacturer Neuronics has been added to the robot for this thesis. This arm needs a driver software and path planner, so that the arm can reach its goal object "intelligently", avoiding obstacles and creating smooth, natural motions.
Diese Diplomarbeit präsentiert ein interaktives System, welches die Vorzüge eines handelsüblichen Whiteboards mit denen eines Computers kombiniert. Die Inhalte des Whiteboards werden von einer Kamera aufgenommen, vom Computer verarbeitet und für eine Applikation als Eingabe verwendet bzw. durch geeignete Grafiken ergänzt. Dadurch erweitert das Whiteboard die Benutzeroberfläche des Computers. Der Anwender ist in der Lage über handgezeichnete Primitive (Viereck, Dreieck, Kreis) bzw. Kombinationen der Primitive das entwickelte interaktive Spiel zu spielen.
The process of pattern recognition is divided into several sub-steps where ultimately patterns on unknown data samples are expected to be detected and automatically labeled. Classiffers are most commonly used for this and are being trained on known test data samples. Many existing software applications provide tools for selected tasks in pattern recognition but not for all steps in the training phase. Therefore in this work a framework was developed which implements common tasks of image classiffcation systems as individual components. It is plugin aware, easily extensible and provides a graphical user interface.
Bei der subjektiven Interpretation von Mammographien werden Studien zufolge 10% bis 30% von Brustkrebserkrankungen im Frühstadium nicht erkannt. Eine weitere Fehlrate beziffert die fälschlich als möglichen Brustkrebs eingestuften Herde; diese Fehlrate wird mit 35% angegeben. Ein solche Fehleinschätzung hat für die Patientin weitreichende negative Folgen. Sie wird einer unnötigen psychischen und körperlichen Belastung ausgesetzt. Um solche Fehleinschätzungen zu minimieren, wird zunehmend die Computer-aided Detection/Diagnosis (CAD) eingesetzt. Das Ziel dieser Arbeit ist die Evaluation von Methoden multivariater Datenanalyse, eingesetzt zur Diagnose von Herdbefunden. Die aus der Gesichtserkennung bekannten Methoden Eigenfaces und Fisherfaces werden auf Mammographieaufnahmen angewendet, um eine Einordnung von Herdbefunden nach benign oder malign zu tätigen. Eine weitere implementierte Methode wird als Eigenfeature Regularization and Extraction bezeichnet. Nach einer Einführung zum medizinischen Hintergrund und zum aktuellen Stand der computer-assistierten Detektion/Diagnose werden die verwendete Bilddatenbank vorgestellt, Normierungsschritte aufgeführt und die implementierten Methoden beschrieben. Die Methoden werden der ROC-Analyse unterzogen. Die Flächen unterhalb der ROC-Kurven dienen als Maß für die Aussagekraft der Methoden. Die erzielten Ergebnisse zeigen, dass alle implementierten Methoden eine schwache Aussagekraft haben. Dabei wurden die Erwartungen an die Fisherface- und ERE-Methode nicht erfüllt. Die Eigenface-Methode hat, angewendet auf Herdbefunde in Mammogrammen, die höchsten AUC-Werte erreicht. Die Berücksichtigung der Grauwertnormierung in der Auswertung zeigt, dass die qualitativen Unterschiede der Mammogramme nicht ausschlaggebend für die Ergebnisse sind.
In dieser Studienarbeit wurde ein Algorithmus vorgestellt, um sich mit einem Roboter in unbekanntem Gebiet zu lokalisieren und gleichzeitig eine Karte von der Umgebung zu erstellen. Die Lokalisation des Roboters geschieht auf 2D Ebene und errechnet die (x, y, θ)T Position des Roboters zu jedem Zeitpunt t inkrementell. Der Algorithmus baut auf dem FastSLAM 2.0 Algorithmus auf und wurde abgeändert, um eine möglichst genaue Lokalisation in Gebäuden zu ermöglichen. Hierfür wurden mehrere verschieden Arten von möglichen Landmarken untersucht, verglichen und kombiniert. Schwerpunkt dieser Studienarbeit war das Einarbeiten in das Extended Kalman-Filter und die Selektion von Landmarken, die für den Einsatz in Gebäuden geeignet sind.