54 Informatik
Filtern
Dokumenttyp
- Dissertation (7) (entfernen)
Schlagworte
- Action Recognition (1)
- Action Segmentation (1)
- Gamebased (1)
- Gamebasiertheit (1)
- Imitation Learning (1)
- Multimodal Action Recognition (1)
- One-Shot Action Recognition (1)
- Photogrammetrie Kalibrierung EMVA-1288 (1)
- Photogrammetry (1)
- Tourism (1)
- Tourismus (1)
- description logic (1)
- reasoning (1)
On the recognition of human activities and the evaluation of its imitation by robotic systems
(2023)
This thesis addresses the problem of action recognition through the analysis of human motion and the benchmarking of its imitation by robotic systems.
For our action recognition related approaches, we focus on presenting approaches that generalize well across different sensor modalities. We transform multivariate signal streams from various sensors to a common image representation. The action recognition problem on sequential multivariate signal streams can then be reduced to an image classification task for which we utilize recent advances in machine learning. We demonstrate the broad applicability of our approaches formulated as a supervised classification task for action recognition, a semi-supervised classification task for one-shot action recognition, modality fusion and temporal action segmentation.
For action classification, we use an EfficientNet Convolutional Neural Network (CNN) model to classify the image representations of various data modalities. Further, we present approaches for filtering and the fusion of various modalities on a representation level. We extend the approach to be applicable for semi-supervised classification and train a metric-learning model that encodes action similarity. During training, the encoder optimizes the distances in embedding space for self-, positive- and negative-pair similarities. The resulting encoder allows estimating action similarity by calculating distances in embedding space. At training time, no action classes from the test set are used.
Graph Convolutional Network (GCN) generalized the concept of CNNs to non-Euclidean data structures and showed great success for action recognition directly operating on spatio-temporal sequences like skeleton sequences. GCNs have recently shown state-of-the-art performance for skeleton-based action recognition but are currently widely neglected as the foundation for the fusion of various sensor modalities. We propose incorporating additional modalities, like inertial measurements or RGB features, into a skeleton-graph, by proposing fusion on two different dimensionality levels. On a channel dimension, modalities are fused by introducing additional node attributes. On a spatial dimension, additional nodes are incorporated into the skeleton-graph.
Transformer models showed excellent performance in the analysis of sequential data. We formulate the temporal action segmentation task as an object detection task and use a detection transformer model on our proposed motion image representations. Experiments for our action recognition related approaches are executed on large-scale publicly available datasets. Our approaches for action recognition for various modalities, action recognition by fusion of various modalities, and one-shot action recognition demonstrate state-of-the-art results on some datasets.
Finally, we present a hybrid imitation learning benchmark. The benchmark consists of a dataset, metrics, and a simulator integration. The dataset contains RGB-D image sequences of humans performing movements and executing manipulation tasks, as well as the corresponding ground truth. The RGB-D camera is calibrated against a motion-capturing system, and the resulting sequences serve as input for imitation learning approaches. The resulting policy is then executed in the simulated environment on different robots. We propose two metrics to assess the quality of the imitation. The trajectory metric gives insights into how close the execution was to the demonstration. The effect metric describes how close the final state was reached according to the demonstration. The Simitate benchmark can improve the comparability of imitation learning approaches.
The distributed setting of RDF stores in the cloud poses many challenges. One such challenge is how the data placement on the compute nodes can be optimized to improve the query performance. To address this challenge, several evaluations in the literature have investigated the effects of existing data placement strategies on the query performance. A common drawback in theses evaluations is that it is unclear whether the observed behaviors were caused by the data placement strategies (if different RDF stores were evaluated as a whole) or reflect the behavior in distributed RDF stores (if cloud processing frameworks like Hadoop MapReduce are used for the evaluation). To overcome these limitations, this thesis develops a novel benchmarking methodology for data placement strategies that uses a data-placement-strategy-independent distributed RDF store to analyze the effect of the data placement strategies on query performance.
With this evaluation methodology the frequently used data placement strategies have been evaluated. This evaluation challenged the commonly held belief that data placement strategies that emphasize local computation, such as minimal edge-cut cover, lead to faster query executions. The results indicate that queries with a high workload may be executed faster on hash-based data placement strategies than on, e.g., minimal edge-cut covers. The analysis of the additional measurements indicates that vertical parallelization (i.e., a well-distributed workload) may be more important than horizontal containment (i.e., minimal data transport) for efficient query processing.
Moreover, to find a data placement strategy with a high vertical parallelization, the thesis tests the hypothesis that collocating small connected triple sets on the same compute node while balancing the amount of triples stored on the different compute nodes leads to a high vertical parallelization. Specifically, the thesis proposes two such data placement strategies. The first strategy called overpartitioned minimal edge-cut cover was found in the literature and the second strategy is the newly developed molecule hash cover. The evaluation revealed a balanced query workload and a high horizontal containment, which lead to a high vertical parallelization. As a result these strategies showed a better query performance than the frequently used data placement strategies.
Absicherung der analytischen Interpretation von Geolokalisierungsdaten in der Mobilfunkforensik
(2019)
Zusammenfassung
Lokalisierungsdienste gehören mit zu den wesentlichen Merkmalen moderner mobiler Endgeräte. Neben der Tatsache, dass Standortdaten zur Rekonstruktion eines Bewegungsprofils genutzt werden können, steigt der Anteil der zu untersuchenden Geräten mit entsprechender Ausstattung im Rahmen von polizeilichen Ermittlungen enorm an.
Motivation
Ziel dieser Arbeit ist es, tiefergehendes Wissen um Geolokalisierungsfragen im Bereich der Mobilfunkforensik aufzubauen, um die in den Geräten gespeicherten Standortdaten forensisch auswertbar zu machen. Darüber hinaus sollen Werkzeuge entwickelt werden, die die spezifischen Bedürfnisse der Strafverfolgungsbehörden berücksichtigen.
Probleme
Die Prozesse der Geolokalisierung in Smartphones sind komplex. Um seine Position zu lokalisieren zu können, müssen verschiedene Referenzsysteme wie z. B. GPS, Funkzellen oder WLAN-hotspots in unterschiedlicher Art und Weise verknüpft werden. Der gesamte Lokalisierungsmechanismus ist geistiges Eigentum der Hersteller und nicht mit dem Ziel forensischer Auswertungen entstanden. Ein grundlegendes Problem der forensischen Untersuchung ist, dass hauptsächlich Referenzpunkte anstelle reeller Gerätepositionen gespeichert werden. Darüber hinaus bestehen die Geolokalisierungsinformationen aus Bits und Bytes bzw. numerischen Werten, die zuverlässig an ihre Bedeutung geknüpft werden müssen. Die gewonnenen Lokalisierungsdaten sind ferner lückenhaft und stellen lediglich einen Teil des gesamten Prozesses bzw. der Gerätenutzung dar. Dieser Datenverlust muss bestimmt werden, um eine zuverlässige Aussage hinsichtlich der Vollständigkeit, Integrität und Genauigkeit der Daten zu ermöglichen. Zu guter Letzt muss, wie für jedes Beweismittel einer kriminalistischen Untersuchung, gesichert sein, dass eine Manipulation der Daten bzw. Fehler bei der Positionsschätzung des Gerätes keinen nachteiligen Einfluss auf die Auswertung haben.
Forschungsfragen
Im Zusammenhang mit Lokalisierungsdiensten in modernen Smartphones kommt es im forensischen Alltag immer wieder zu ähnlichen Fragestellungen:
* Lassen sich Standorte zu jedem beliebigen Zeitpunkt ermitteln?
* Wie genau sind die ermittelten Geodaten des Smartphones?
* Werden Standortdaten aus Smartphones vor Gericht Bestand haben?
Forschungsansatz
Zur besseren Nachvollziehbarkeit der Prozesse in modernen Smartphones und um die Qualität und Zuverlässigkeit von Geolokalisierungsdaten zu bewerten, sollen Standortdaten verschiedener Plattformen sowohl theoretisch analysiert als auch praktisch während der Lokalisierung betrachtet werden. Der Zusammenhang zwischen Daten und Entstehungskontext wird mithilfe experimenteller Live-Untersuchungen sowie Desktop- und nativen Anwendungen auf den mobilen Endgeräten untersucht werden.
Ergebnis
Im Rahmen dieser Arbeit konnten mithilfe der entwickelten Werkzeuge die forensische Untersuchung verbessert sowie die analytische Interpretation von Geodaten von- bzw. direkt auf modernen Smartphones durchgeführt werden. Dabei hat sich ein generisches Modell zur Beurteilung der Qualität von Standortdaten herauskristallisiert, das sich allgemein auf die ermittelten Geodaten aus mobilen Endgeräten anwenden lässt.
Technologische Fortschritte auf dem Gebiet der integrierten Halbleitertechnik, die unter anderem auch zur gestiegenen Leistungsfähigkeit der Kamerasensoren beitragen, konzentrierten sich bisher primär auf die Schnelligkeit und das Auflösungsvermögen der Sensoren. Die sich ständig verändernde Entwicklung hat jedoch direkte Folgen auf das physikalische Verhalten einer Kamera und damit auch Konsequenzen für die erreichbare geometrische Genauigkeit einer photogrammetrischen 3D-Rekonstruktion. Letztere stand bisher nicht im Fokus der Forschung und ist eine Aufgabe, der sich diese Arbeit im Sinne der Photogrammetrie und Messtechnik stellt. Aktuelle Untersuchungen und Erfahrungen aus industriellen Projekten zeigen in diesem Zusammenhang, dass das geometrisch-physikalische Verhalten digitaler Kameras - für höchste photogrammetrische Ansprüche - noch nicht ausreichend modelliert ist. Direkte Aussagen zur erreichbaren Genauigkeit bei gegebener Hardware erweisen sich daher bislang als unzureichend. Ferner kommt es aufgrund der unpräzisen Modellierung zu Einbußen in der Zuverlässigkeit der erreichten Ergebnisse. Für den Entwickler präziser kamerabasierter Messverfahren folgt daraus, dass zu einer optimalen Schätzung der geometrischen Genauigkeit und damit auch vollständigen Ausschöpfung der Messkamera geeignete mathematische Modelle erforderlich sind, die das geometrisch physikalische Verhalten bestmöglich beschreiben. Diese Arbeit beschreibt, wie die erreichbare Genauigkeit einer Bündelblockausgleichung, schon a priori mithilfe des EMVA1288 Standards approximiert werden kann. Eine in diesem Zusammenhang wichtige Teilaufgabe ist die Schaffung einer optimalen Messanordnung. Hierzu gehören Untersuchungen der üblicherweise verwendeten Kalibrierkörper und die Beseitigung von systematischen Fehlern vor und nach der Bündelblockausgleichung. Zum Nachweis dieser Systematiken wird eine auf statistischem Lernen basierende Methode beschrieben und untersucht. Erst wenn alle genauigkeitsmindernden Einflüsse berücksichtigt sind, wird der Anteil des Sensors in den Messdaten sichtbar und damit auch mathematisch parametrisierbar. Die Beschreibung des Sensoreinflusses auf die erreichbare Genauigkeit der Bündelblockausgleichung erfolgt in drei Schritten. Der erste Schritt beschreibt den Zusammenhang zwischen ausgewählten EMVA1288-Kennzahlen und der Unsicherheit eines Grauwertes. Der zweite Schritt ist eine Modellierung dieser Grauwertunsicherheit als Zentrumsunsicherheit einer Zielmarke. Zur Beschreibung dieser Unsicherheit innerhalb der Bündelblockausgleichung wird ein stochastisches Modell, basierend auf dem EMVA1288-Standard, vorgeschlagen. Ausgehend vom Rauschen des Zielmarkenmittelpunktes wird im dritten Schritt die Unsicherheit im Objektraum beispielhaft mit Hilfe von physikalisch orientierten Simulationen approximiert. Die Wirkung der vorgeschlagenen Methoden wird anhand von Realkalibrierungen nachgewiesen. Abschließend erfolgt die Diskussion der vorgeschlagenen Methoden und erreichten Ergebnisse sowie ein Ausblick auf kommende Untersuchungen.
The term “Software Chrestomaty” is defined as a collection of software systems meant to be useful in learning about or gaining insight into software languages, software technologies, software concepts, programming, and software engineering. 101companies software chrestomathy is a community project with the attributes of a Research 2.0 infrastructure for various stakeholders in software languages and technology communities. The core of 101companies combines a semantic wiki and confederated open source repositories. We designed and developed an integrated ontology-based knowledge base about software languages and technologies. The knowledge is created by the community of contributors and supported with a running example and structured documentation. The complete ecosystem is exposed by using Linked Data principles and equipped with the additional metadata about individual artifacts. Within the context of software chrestomathy we explored a new type of software architecture – linguistic architecture that is targeted on the language and technology relationships within a software product and based on the megamodels. Our approach to documentation of the software systems is highly structured and makes use of the concepts of the newly developed megamodeling language MegaL. We “connect” an emerging ontology with the megamodeling artifacts to raise the cognitive value of the linguistic architecture.
One of the main goals of the artificial intelligence community is to create machines able to reason with dynamically changing knowledge. To achieve this goal, a multitude of different problems have to be solved, of which many have been addressed in the various sub-disciplines of artificial intelligence, like automated reasoning and machine learning. The thesis at hand focuses on the automated reasoning aspects of these problems and address two of the problems which have to be overcome to reach the afore-mentioned goal, namely 1. the fact that reasoning in logical knowledge bases is intractable and 2. the fact that applying changes to formalized knowledge can easily introduce inconsistencies, which leads to unwanted results in most scenarios.
To ease the intractability of logical reasoning, I suggest to adapt a technique called knowledge compilation, known from propositional logic, to description logic knowledge bases. The basic idea of this technique is to compile the given knowledge base into a normal form which allows to answer queries efficiently. This compilation step is very expensive but has to be performed only once and as soon as the result of this step is used to answer many queries, the expensive compilation step gets worthwhile. In the thesis at hand, I develop a normal form, called linkless normal form, suitable for knowledge compilation for description logic knowledge bases. From a computational point of view, the linkless normal form has very nice properties which are introduced in this thesis.
For the second problem, I focus on changes occurring on the instance level of description logic knowledge bases. I introduce three change operators interesting for these knowledge bases, namely deletion and insertion of assertions as well as repair of inconsistent instance bases. These change operators are defined such that in all three cases, the resulting knowledge base is ensured to be consistent and changes performed to the knowledge base are minimal. This allows us to preserve as much of the original knowledge base as possible. Furthermore, I show how these changes can be applied by using a transformation of the knowledge base.
For both issues I suggest to adapt techniques successfully used in other logics to get promising methods for description logic knowledge bases.
In der vorliegenden Arbeit werden gamebasierte touristische Anwendungen untersucht.
Ausgehend von der These, dass für touristisches Freizeiterleben primär intrinsisch motivierende Anwendungen geeignet sind, werden zunächst intrinsische Motivationskonzepte untersucht. Dazu wird untersucht, wie Motivation gezielt herbeigeführt werden kann und ob sich gamebasierte Motivationskonzepte auf nichtspielerische Anwendungen übertragen lassen.
Darauf aufbauend wurden im Rahmen dieser Arbeit verschiedene touristische Anwendungen entwickelt und evaluiert. Ziel dieser Anwendungen ist es stets, einen Mehrwert für das touristische Freizeiterleben zu erzeugen. Die Anwendungen werden nach ihrer Mobilität kategorisiert. Es werden vollständig mobile, vollständig stationäre und hybride Systeme untersucht. Als Mehrwertkomponenten werden in dieser Arbeit spielbasierte Exploration einer Umgebung, Wissensvermittlung und soziale Interaktion zwischen Touristen untersucht.
Abschließend wird ein Autorentool für spielbasierte touristische Touren auf Smartphones entwickelt und untersucht, das seinerseits auf spielbasierte Elemente zurückgreift. Das Ziel dieses Systems ist es, Konzepte zu entwickeln, die beispielsweise eine Integration in soziale Netzwerke erlauben.