Institut für Computervisualistik
Filtern
Erscheinungsjahr
Dokumenttyp
- Bachelorarbeit (100)
- Diplomarbeit (81)
- Studienarbeit (76)
- Masterarbeit (46)
- Dissertation (18)
- Ausgabe (Heft) zu einer Zeitschrift (12)
- Konferenzveröffentlichung (3)
Sprache
- Deutsch (282)
- Englisch (52)
- Mehrsprachig (2)
Schlagworte
- Bildverarbeitung (16)
- Augmented Reality (13)
- Robotik (10)
- Computergrafik (9)
- Computergraphik (9)
- Computervisualistik (9)
- OpenGL (8)
- GPGPU (5)
- GPU (5)
- Line Space (5)
Institut
- Institut für Computervisualistik (336) (entfernen)
Globale Beleuchtungssimulationen versuchen die physikalischen Eigenschaften von Licht und dessen Ausbreitung möglichst korrekt zu berechnen. Dabei werden diese üblicherweise im dreidimensionalen Objektraum berechnet und sind deshalb sehr rechenintensiv und von der Anzahl der Polygone der Szene abhängig. Objektraum-basierte Verfahren ermöglichen durch komlexe Berechnungen allerdings auch gute Annährungen physikalisch korrekter Beleuchtungen. Die Beleuchtungsberechnung in den Bildraum zu verlagern hat aber den großen Vorteil, dass die Berechnung hier unabhängig von der Größe und Komplexität der Szene durchführbar ist. Einzig die Auflösung entscheidet über den Rechenaufwand. Dieser Geschwindigkeitsvorteil beinhaltet jedoch einen Kompromiss was die physikalische Korrektheit der Beleuchtungssimulation angeht. Bei bisherigen Bildraum-Verfahren war es nicht möglich, für die Kamera nicht sichtbare Teile der Szene und deren Beleuchtungsinformationen, in die Berechnung mit einzubeziehen. Dies erscheint logisch, da über Geometrie die aus Sicht der Kamera nicht eingefangen wurde, im Bildraum zunächst keinerlei Informationen zur Verfügung stehen. Ein bekanntes Beispiel zur Annährung einer globalen Beleuchtung im Bildraum ist das Verfahren "Screen Space Ambient Occlusion". Dieses liefert zwar sehr gut Selbstverschattungen und wirkt dadurch realitätsnah, erzeugt aber keinen korrekten Lichtaustausch. Da die Beleuchtung von dem Inhalt des aktuellen Bildausschnitts abhängig ist, entstehen visuelle Artefakte, die vor allem bei Kamerabewegungen störend auffallen. Ziel der Studienarbeit ist es daher diese Artefakte durch die Verwendungen von Textur-Atlanten zu vermeiden. Dies wird durch eine Bildraum-basierte Beleuchtungssimulation ermöglicht, die die gesamte Szene zur Berechnung der Beleuchtung miteinbezieht und nicht nur die Sicht der Kamera. Dabei wird in einem Textur-Atlas die gesamte Szene gespeichert.
In dieser Diplomarbeit wurde eine Applikation implementiert, mit der es auch ungeübten Nutzern möglich ist, 3D Modelle zu texturieren. Dies erfolgt durch direktes Bemalen des Modells, so genanntes 3D Painting. Verschiedene Möglichkeiten hierzu werden untersucht, so das projektive Malen, sowie Octree Texturen.
Diese Arbeit vermittelt die mathematischen Grundlagen des Ray-Casting Algorithmus und bespricht eine interaktive Umsetzung auf Grafikkarten mit Hilfe einer modernen Schnittstelle. Die Implementation erfolgt im Rahmen eines umfassenden Programmes, welches weitere Techniken und Verbesserungen des Algorithmus für den Nutzer anwählbar macht. Unter anderem wird von Transferfunktionen und lokaler Beleuchtung Gebrauch gemacht, um realistische Materialien darstellen zu können. Die Benutzeroberfläche bietet die Möglichkeit, Volumina zu importieren, Transferfunktionen zu definieren, Parameter der Darstellung einzustellen und weitere Techniken zu aktivieren, deren Grundlagen und Umsetzung ebenfalls in dieser Arbeit dargelegt werden. Der Nutzen der anwählbaren Optionen wird je nach Fall auf optische Qualität oder Vorteil in der Performance hin untersucht.
Zur Erstellung von 3-D-Oberflächenmodellen real existierender Objekte wird häufig sehr teure Hardware eingesetzt, z.B. 3-D-Laser-Range-Scanner. Da diese keine Grauwert- oder Farbinformationen erfassen können, muss das Objekt zur Wiedergabe farbiger Strukturen zusätzlich abfotografiert und mit den Bildern registriert werden. Die Arbeit entwickelt demgegenüber ein Verfahren zum Einsatz eines kalibrierten Stereokamerasystems. Aus den erhaltenen Sequenzen zweidimensionaler Stereobilder kann ein texturiertes 3-D-Mesh rekonstruiert werden. Im Vergleich zum Einsatz eines Scanners ist dieses Verfahren zwar weniger genau, aber dafür preisgünstiger, platzsparend und schneller einsetzbar. Den Schwerpunkt der Arbeit bilden die Fusionierung der Tiefenkarten und die Erstellung eines texturierten Meshs aus diesen.
In dieser Studienarbeit wurde ein Algorithmus vorgestellt, um sich mit einem Roboter in unbekanntem Gebiet zu lokalisieren und gleichzeitig eine Karte von der Umgebung zu erstellen. Die Lokalisation des Roboters geschieht auf 2D Ebene und errechnet die (x, y, θ)T Position des Roboters zu jedem Zeitpunt t inkrementell. Der Algorithmus baut auf dem FastSLAM 2.0 Algorithmus auf und wurde abgeändert, um eine möglichst genaue Lokalisation in Gebäuden zu ermöglichen. Hierfür wurden mehrere verschieden Arten von möglichen Landmarken untersucht, verglichen und kombiniert. Schwerpunkt dieser Studienarbeit war das Einarbeiten in das Extended Kalman-Filter und die Selektion von Landmarken, die für den Einsatz in Gebäuden geeignet sind.
In den letzten Jahren ist eine steigende Verbreitung von Touchscreen-Geräten zu verzeichnen. Ihre Bedienung unterscheidet sich grundlegend von der mit Maus und Tastatur. Durch die Eingabe mit Gesten oder mehreren Fingern kann es schwierig sein den Aktionen eines Anderen zu folgen. Probleme entstehen durch die Verdeckung des Bildschirms mit der Eingabehand. Sieht man nur den Bildschirminhalt, zum Beispiel bei einer Videoübertragung, gehen Informationen über die Eingabe verloren.
In dieser Arbeit wird ein System entwickelt, das die kollaborative Arbeit an voneinander entfernten Touchscreen-Geräten verbessern soll. Dazu wird aus den Tiefendaten eines Kinect Sensors eine grafische Repräsentation der Eingabehand erstellt. Durch Einblendung dieser Visualisierung soll es einem Anwender erleichtert werden den Eingaben eines Anwenders zu folgen. Bedienkonzepte, wie zum Beispiel Gesten, sollen dadurch besser vermittelt werden. Außerdem soll so die Möglichkeit geschaffen werden, Informationen über eine gemeinsame Problematik effizienter auszutauschen. Deshalb wurde ein Testsystem mit zwei Arbeitsplätzen entwickelt. Darin übernimmt ein Anwender die Rolle des Erklärenden und führt einen zweiten Anwender, den Ausführenden, durch verschiedene Testszenarien. Hierbei stehen ihm bei einem Teil der Aufgaben die Visualisierung der Hand zur Verfügung, während er in anderen Aufgaben nur verbal mit seinem Gegenüber kommunizieren kann.
Im Rahmen einer Evaluation wird das System auf seine Effizienz zur Bedienung von Touchscreen-Systemen überprüft. Des Weiteren wird untersucht, inwieweit die grafische Qualität den gestellten Anforderungen genügt, um einen Mehrwert für die Anwendung zu bieten.
On the recognition of human activities and the evaluation of its imitation by robotic systems
(2023)
This thesis addresses the problem of action recognition through the analysis of human motion and the benchmarking of its imitation by robotic systems.
For our action recognition related approaches, we focus on presenting approaches that generalize well across different sensor modalities. We transform multivariate signal streams from various sensors to a common image representation. The action recognition problem on sequential multivariate signal streams can then be reduced to an image classification task for which we utilize recent advances in machine learning. We demonstrate the broad applicability of our approaches formulated as a supervised classification task for action recognition, a semi-supervised classification task for one-shot action recognition, modality fusion and temporal action segmentation.
For action classification, we use an EfficientNet Convolutional Neural Network (CNN) model to classify the image representations of various data modalities. Further, we present approaches for filtering and the fusion of various modalities on a representation level. We extend the approach to be applicable for semi-supervised classification and train a metric-learning model that encodes action similarity. During training, the encoder optimizes the distances in embedding space for self-, positive- and negative-pair similarities. The resulting encoder allows estimating action similarity by calculating distances in embedding space. At training time, no action classes from the test set are used.
Graph Convolutional Network (GCN) generalized the concept of CNNs to non-Euclidean data structures and showed great success for action recognition directly operating on spatio-temporal sequences like skeleton sequences. GCNs have recently shown state-of-the-art performance for skeleton-based action recognition but are currently widely neglected as the foundation for the fusion of various sensor modalities. We propose incorporating additional modalities, like inertial measurements or RGB features, into a skeleton-graph, by proposing fusion on two different dimensionality levels. On a channel dimension, modalities are fused by introducing additional node attributes. On a spatial dimension, additional nodes are incorporated into the skeleton-graph.
Transformer models showed excellent performance in the analysis of sequential data. We formulate the temporal action segmentation task as an object detection task and use a detection transformer model on our proposed motion image representations. Experiments for our action recognition related approaches are executed on large-scale publicly available datasets. Our approaches for action recognition for various modalities, action recognition by fusion of various modalities, and one-shot action recognition demonstrate state-of-the-art results on some datasets.
Finally, we present a hybrid imitation learning benchmark. The benchmark consists of a dataset, metrics, and a simulator integration. The dataset contains RGB-D image sequences of humans performing movements and executing manipulation tasks, as well as the corresponding ground truth. The RGB-D camera is calibrated against a motion-capturing system, and the resulting sequences serve as input for imitation learning approaches. The resulting policy is then executed in the simulated environment on different robots. We propose two metrics to assess the quality of the imitation. The trajectory metric gives insights into how close the execution was to the demonstration. The effect metric describes how close the final state was reached according to the demonstration. The Simitate benchmark can improve the comparability of imitation learning approaches.
This paper describes the robot Lisa used by team homer@UniKoblenz of the University of Koblenz Landau, Germany, for the participation at the RoboCup@Home 2017 in Nagoya, Japan. A special focus is put on novel system components and the open source contributions of our team. We have released packages for object recognition, a robot face including speech synthesis, mapping and navigation, speech recognition interface via android and a GUI. The packages are available (and new packages will be released) on
http://wiki.ros.org/agas-ros-pkg.
This paper describes the robot Lisa used by team
homer@UniKoblenz of the University of Koblenz Landau, Germany, for the participation at the RoboCup@Home 2016 in Leipzig, Germany. A special focus is put on novel system components and the open source contributions of our team. We have released packages for object recognition, a robot face including speech synthesis, mapping and navigation, speech recognition interface via android and a GUI. The packages are available (and new packages will be released) on http://wiki.ros.org/agas-ros-pkg.