54 Informatik
Filtern
Dokumenttyp
- Masterarbeit (15)
- Bachelorarbeit (12)
- Dissertation (8)
Schlagworte
- virtual reality (2)
- Action Recognition (1)
- Action Segmentation (1)
- Analysis of social platform (1)
- Artificial Intelligence (1)
- Astrophysik (1)
- Augmented Reality (1)
- CCRDMT (1)
- Computergrafik (1)
- Computervisualistik (1)
Diese Bachelorarbeit befasst sich mit der Konzeption und Implementierung einer prototypischen Emulator-Software, mit der eine umfangreiche Palette klassischer Game Boy-Spiele auf einem herkömmlichen Desktop-Computer gespielt werden kann. Die Entwicklung einer solchen Anwendung ist eine technisch anspruchsvolle Aufgabe, die durch verschiedene Herausforderungen, wie die korrekte Interpretation von Maschinenbefehlen, der Emulation von Grafik sowie der Spielbarkeit und Korrektheit geprägt ist. Da keine zugänglichen offiziellen Dokumente über die Game BoyHardware vorliegen, wurde der Emulator auf Basis des Wissens von Game BoyEnthusiasten konzipiert. Dennoch konnte eine Anwendung entwickelt werden, welche bereits eine große Auswahl an Spielen ausführen kann. Die Korrektheit der implementierten Komponenten wurde mittels Testprogrammen verifiziert.
Assessing ChatGPT’s Performance in Analyzing Students’ Sentiments: A Case Study in Course Feedback
(2024)
The emergence of large language models (LLMs) like ChatGPT has impacted fields such as education, transforming natural language processing (NLP) tasks like sentiment analysis. Transformers form the foundation of LLMs, with BERT, XLNet, and GPT as key examples. ChatGPT, developed by OpenAI, is a state-of-the-art model and its ability in natural language tasks makes it a potential tool in sentiment analysis. This thesis reviews current sentiment analysis methods and examines ChatGPT’s ability to analyze sentiments across three labels (Negative, Neutral, Positive) and five labels (Very Negative, Negative, Neutral, Positive, Very Positive) on a dataset of student course reviews. Its performance is compared with fine tuned state-of-the-art models like BERT, XLNet, bart-large-mnli, and RoBERTa-large-mnli using quantitative metrics. With the help of 7 prompting techniques which are ways to instruct ChatGPT, this work also analyzed how well it understands complex linguistic nuances in the given texts using qualitative metrics. BERT and XLNet outperform ChatGPT mainly due to their bidirectional nature, which allows them to understand the full context of a sentence, not just left to right. This, combined with fine-tuning, helps them capture patterns and nuances better. ChatGPT, as a general purpose, open-domain model, processes text unidirectionally, which can limit its context understanding. Despite this, ChatGPT performed comparably to XLNet and BERT in three-label scenarios and outperformed others. Fine-tuned models excelled in five label cases. Moreover, it has shown impressive knowledge of the language. Chain-of-Thought (CoT) was the most effective technique for prompting with step by step instructions. ChatGPT showed promising performance in correctness, consistency, relevance, and robustness, except for detecting Irony. As education evolves with diverse learning environments, effective feedback analysis becomes increasingly valuable. Addressing ChatGPT’s limitations and leveraging its strengths could enhance personalized learning through better sentiment analysis.
In Geschäftsbeziehungen, z. B. im internationalen Eisenbahnverkehr, können große Datenmengen zwischen den beteiligten Parteien ausgetauscht werden. Für den Austausch solcher Daten wird erwartet, dass das Risiko betrogen zu werden, z. B. durch den Erhalt gefälschter Daten, marginal ist, als auch angemessene Kosten sowie ein vorhersehbarer Gewinn. Da die ausgetauschten Daten für wichtige Geschäftsentscheidungen verwendet werden können, besteht für eine Partei ein hoher Anreiz, die Daten zu ihren Gunsten zu manipulieren. Um diese Art von Manipulation zu unterbinden existieren Mechanismen zur Sicherstellung der Integrität und Authentizität der Daten. In Kombination mit einem Protokoll für einen fairen Austausch kann sichergestellt werden, dass die Integrität und Authentizität dieser Daten auch über einen Austausch mit einer anderen Partei hinweg erhalten bleibt. Gleichzeitig stellt ein solches Protokoll sicher, dass der Austausch der Daten nur bei gleichzeitigem Austausch mit der vereinbarten Gegenleistung, z. B. einer Bezahlung erfolgt, aber auch, dass die Bezahlung nur erfolgt, wenn die Integrität und Authentizität der Daten wie vorher vereinbart, gegeben ist. Um jedoch Fairness garantieren zu können, muss ein Fair Exchange Protokoll eine vertrauenswürdige dritte Partei einbeziehen. Um Betrug durch eine einzelne zentralisierte Partei zu vermeiden, die als vertrauenswürdige dritte Partei agiert, schlägt die aktuelle Forschung vor, die vertrauenswürdige dritte Partei zu dezentralisieren, indem z. B. ein Distributed Ledger-basiertes Fair-Exchange Protokoll verwendet wird. Bei der Bewertung der Fairness eines solchen Austauschs vernachlässigen die aktuellen Ansätze jedoch die Kosten, die den Parteien entstehen, die den Fair Exchange durchführen. Dies kann zu einer Verletzung der skizzierten Erwartung angemessener Kosten führen, insbesondere wenn Distributed Ledger beteiligt sind, deren Benutzung in der Regel mit nicht-vernachlässigbaren Kosten verbunden ist. Darüber hinaus ist die Geschwindigkeit typischer Distributed-Ledger-basierter Fair Exchange-Protokolle begrenzt, was einer breiten Verwendung im Wege steht.
Um diese Herausforderungen zu überwinden, stellen wir in dieser Arbeit die Grundlage für eine Datenaustauschplattform vor, die einen vollständig dezentralisierten Fair Exchange mit angemessenen Kosten und Geschwindigkeit ermöglicht. Als theoretische Grundlage führen wir das Konzept der cost fairness ein, die die Kosten für die Fairnessbewertung berücksichtigt, indem verlangt wird, dass eine Partei, die dem Fair Exchange-Protokoll folgt, niemals einseitige Nachteile erleidet. Wir weisen nach, dass cost fairness nicht mit typischen öffentlichen Distributed Ledgers erreicht werden kann, sondern maßgeschneiderte Distributed Ledger-Instanzen erfordert, die in der Regel nicht vollständig dezentralisiert sind. Wir zeigen jedoch, dass die meisten einseitigen Kosten durch Angriffe einer unehrlichen Partei im Rahmen einer Grieving Attack verursacht werden können. Um einen Fair Exchange zu angemessenen Kosten und Geschwindigkeit zu ermöglichen, stellen wir FairSCE vor, ein Distributed Ledger-basiertes Fair Exchange-Protokoll, welches Distributed Ledger State Channels verwendet und einen Mechanismus zum Schutz vor Grieving Attacks enthält, wodurch die möglichen einseitigen Kosten auf ein Minimum reduziert werden. Auf der Grundlage unserer Evaluation von FairSCE sind die Worst Case-Kosten für den Datenaustausch selbst bei Vorhandensein von böswilligen Parteien bekannt, was eine Abschätzung des möglichen Nutzens und damit eine vorläufige Schätzung des wirtschaftlichen Nutzens ermöglicht. Um eine eindeutige Bewertung der korrekten übertragenen Daten zu ermöglichen und gleichzeitig sensible Teile der Daten zu maskieren, stellen wir außerdem einen Ansatz für das Hashing hierarchisch strukturierter Daten vor, mit dem die Integrität und Authentizität der übertragenen Daten sichergestellt werden kann.
On the recognition of human activities and the evaluation of its imitation by robotic systems
(2023)
This thesis addresses the problem of action recognition through the analysis of human motion and the benchmarking of its imitation by robotic systems.
For our action recognition related approaches, we focus on presenting approaches that generalize well across different sensor modalities. We transform multivariate signal streams from various sensors to a common image representation. The action recognition problem on sequential multivariate signal streams can then be reduced to an image classification task for which we utilize recent advances in machine learning. We demonstrate the broad applicability of our approaches formulated as a supervised classification task for action recognition, a semi-supervised classification task for one-shot action recognition, modality fusion and temporal action segmentation.
For action classification, we use an EfficientNet Convolutional Neural Network (CNN) model to classify the image representations of various data modalities. Further, we present approaches for filtering and the fusion of various modalities on a representation level. We extend the approach to be applicable for semi-supervised classification and train a metric-learning model that encodes action similarity. During training, the encoder optimizes the distances in embedding space for self-, positive- and negative-pair similarities. The resulting encoder allows estimating action similarity by calculating distances in embedding space. At training time, no action classes from the test set are used.
Graph Convolutional Network (GCN) generalized the concept of CNNs to non-Euclidean data structures and showed great success for action recognition directly operating on spatio-temporal sequences like skeleton sequences. GCNs have recently shown state-of-the-art performance for skeleton-based action recognition but are currently widely neglected as the foundation for the fusion of various sensor modalities. We propose incorporating additional modalities, like inertial measurements or RGB features, into a skeleton-graph, by proposing fusion on two different dimensionality levels. On a channel dimension, modalities are fused by introducing additional node attributes. On a spatial dimension, additional nodes are incorporated into the skeleton-graph.
Transformer models showed excellent performance in the analysis of sequential data. We formulate the temporal action segmentation task as an object detection task and use a detection transformer model on our proposed motion image representations. Experiments for our action recognition related approaches are executed on large-scale publicly available datasets. Our approaches for action recognition for various modalities, action recognition by fusion of various modalities, and one-shot action recognition demonstrate state-of-the-art results on some datasets.
Finally, we present a hybrid imitation learning benchmark. The benchmark consists of a dataset, metrics, and a simulator integration. The dataset contains RGB-D image sequences of humans performing movements and executing manipulation tasks, as well as the corresponding ground truth. The RGB-D camera is calibrated against a motion-capturing system, and the resulting sequences serve as input for imitation learning approaches. The resulting policy is then executed in the simulated environment on different robots. We propose two metrics to assess the quality of the imitation. The trajectory metric gives insights into how close the execution was to the demonstration. The effect metric describes how close the final state was reached according to the demonstration. The Simitate benchmark can improve the comparability of imitation learning approaches.
Diese Bachelorarbeit erforscht eine Methode zur 3D-Objekterkennung und Posenschätzung, basierend auf dem Punkte-Paare-Eigenschaften-Verfahren (PPE) von Drost et. al. [Dro+10]. Die Methoden der Posenschätzung haben sich in den letzten Jahre zwar deutlich verbessert, stellen jedoch weiterhin ein zentrales Problem im Bereich der Computervisualistik dar. Im Rahmen dieser Arbeit wurde ein Programm implementiert, welches Punktewolkenszenen als Ausgangspunkt erhält und daraus eine Objekterkennung und Posenschätzung durchführt. Das Programm deckt alle Schritte eines Objekterkennungsprogramm ab, indem es 3D-Modelle von Objekten verarbeitet, um deren PPE zu extrahieren. Diese Eigenschaften werden gruppiert und in einer Tabelle gespeichert. Anhand des Auswahlverfahrens, bei dem die Übereinstimmung der Eigenschaften überprüft wird, können potenzielle Posen des Objekts ermittelt werden. Die Posen mit der größten Übereinstimmung werden miteinander verglichen, um ähnliche Posen zu gruppieren. Die Gruppen mit der höchsten Übereinstimmung werden erneut überprüft, sodass am Ende nur eine Pose ausgewählt wird. Das Programm wurde anhand von Real– und Simulationsdaten Daten getestet. Die erhaltenen Ergebnisse wurden anschließend analysiert und evaluiert.
Der Industriestandard Decision Model and Notation (DMN) ermöglicht seit 2015 eine neue Art der Formalisierung von Geschäftsregeln. Hier werden Regeln in sogenannten Entscheidungstabellen modelliert, die durch Eingabespalten und Ausgabespalten definiert sind. Zudem sind Entscheidungen in graphartigen Strukturen angeordnet (DRD Ebene), die Abhängigkeiten unter diesen erzeugen. Nun können, mit gegebenen Input, Entscheidungen von geeigneten Systemen angefragt werden. Aktivierte Regeln produzieren dabei einen Output für die zukünftige Verwendung. Jedoch erzeugen Fehler während der Modellierung fehlerhafte Modelle, die sowohl in den Entscheidungstabellen als auch auf der DRD Ebene auftreten können. Nach der Design Science Research Methodology fokus\-siert diese Arbeit eine Implementierung eines Verifikationsprototyps für die Erkennung und Lösung dieser Fehler während der Modellierungsphase. Die vorgestellten Grundlagen liefern die notwendigen theoretischen Grundlagen für die Entwicklung des Tools. Diese Arbeit stellt außerdem die Architektur des Werkzeugs und die implementierten Verifikationsfähigkeiten vor. Abschließend wird der erstellte Prototyp evaluiert.
On-screen interactive presentations have got immense popularity in the domain of attentive interfaces recently. These attentive screens adapt their behavior according to the user's visual attention. This thesis aims to introduce an application that would enable these attentive interfaces to change their behavior not just according to the gaze data but also facial features and expressions. The modern era requires new ways of communications and publications for advertisement. These ads need to be more specific according to people's interests, age, and gender. When advertising, it's important to get a reaction from the user but not every user is interested in providing feedback. In such a context more, advance techniques are required that would collect user's feedback effortlessly. The main problem this thesis intends to resolve is, to apply advanced techniques of gaze and face recognition to collect data about user's reactions towards different ads being played on interactive screens. We aim to create an application that enables attentive screens to detect a person's facial features, expressions, and eye gaze. With eye gaze data we can determine the interests and with facial features, age and gender can be specified. All this information will help in optimizing the advertisements.
The distributed setting of RDF stores in the cloud poses many challenges. One such challenge is how the data placement on the compute nodes can be optimized to improve the query performance. To address this challenge, several evaluations in the literature have investigated the effects of existing data placement strategies on the query performance. A common drawback in theses evaluations is that it is unclear whether the observed behaviors were caused by the data placement strategies (if different RDF stores were evaluated as a whole) or reflect the behavior in distributed RDF stores (if cloud processing frameworks like Hadoop MapReduce are used for the evaluation). To overcome these limitations, this thesis develops a novel benchmarking methodology for data placement strategies that uses a data-placement-strategy-independent distributed RDF store to analyze the effect of the data placement strategies on query performance.
With this evaluation methodology the frequently used data placement strategies have been evaluated. This evaluation challenged the commonly held belief that data placement strategies that emphasize local computation, such as minimal edge-cut cover, lead to faster query executions. The results indicate that queries with a high workload may be executed faster on hash-based data placement strategies than on, e.g., minimal edge-cut covers. The analysis of the additional measurements indicates that vertical parallelization (i.e., a well-distributed workload) may be more important than horizontal containment (i.e., minimal data transport) for efficient query processing.
Moreover, to find a data placement strategy with a high vertical parallelization, the thesis tests the hypothesis that collocating small connected triple sets on the same compute node while balancing the amount of triples stored on the different compute nodes leads to a high vertical parallelization. Specifically, the thesis proposes two such data placement strategies. The first strategy called overpartitioned minimal edge-cut cover was found in the literature and the second strategy is the newly developed molecule hash cover. The evaluation revealed a balanced query workload and a high horizontal containment, which lead to a high vertical parallelization. As a result these strategies showed a better query performance than the frequently used data placement strategies.
Absicherung der analytischen Interpretation von Geolokalisierungsdaten in der Mobilfunkforensik
(2019)
Zusammenfassung
Lokalisierungsdienste gehören mit zu den wesentlichen Merkmalen moderner mobiler Endgeräte. Neben der Tatsache, dass Standortdaten zur Rekonstruktion eines Bewegungsprofils genutzt werden können, steigt der Anteil der zu untersuchenden Geräten mit entsprechender Ausstattung im Rahmen von polizeilichen Ermittlungen enorm an.
Motivation
Ziel dieser Arbeit ist es, tiefergehendes Wissen um Geolokalisierungsfragen im Bereich der Mobilfunkforensik aufzubauen, um die in den Geräten gespeicherten Standortdaten forensisch auswertbar zu machen. Darüber hinaus sollen Werkzeuge entwickelt werden, die die spezifischen Bedürfnisse der Strafverfolgungsbehörden berücksichtigen.
Probleme
Die Prozesse der Geolokalisierung in Smartphones sind komplex. Um seine Position zu lokalisieren zu können, müssen verschiedene Referenzsysteme wie z. B. GPS, Funkzellen oder WLAN-hotspots in unterschiedlicher Art und Weise verknüpft werden. Der gesamte Lokalisierungsmechanismus ist geistiges Eigentum der Hersteller und nicht mit dem Ziel forensischer Auswertungen entstanden. Ein grundlegendes Problem der forensischen Untersuchung ist, dass hauptsächlich Referenzpunkte anstelle reeller Gerätepositionen gespeichert werden. Darüber hinaus bestehen die Geolokalisierungsinformationen aus Bits und Bytes bzw. numerischen Werten, die zuverlässig an ihre Bedeutung geknüpft werden müssen. Die gewonnenen Lokalisierungsdaten sind ferner lückenhaft und stellen lediglich einen Teil des gesamten Prozesses bzw. der Gerätenutzung dar. Dieser Datenverlust muss bestimmt werden, um eine zuverlässige Aussage hinsichtlich der Vollständigkeit, Integrität und Genauigkeit der Daten zu ermöglichen. Zu guter Letzt muss, wie für jedes Beweismittel einer kriminalistischen Untersuchung, gesichert sein, dass eine Manipulation der Daten bzw. Fehler bei der Positionsschätzung des Gerätes keinen nachteiligen Einfluss auf die Auswertung haben.
Forschungsfragen
Im Zusammenhang mit Lokalisierungsdiensten in modernen Smartphones kommt es im forensischen Alltag immer wieder zu ähnlichen Fragestellungen:
* Lassen sich Standorte zu jedem beliebigen Zeitpunkt ermitteln?
* Wie genau sind die ermittelten Geodaten des Smartphones?
* Werden Standortdaten aus Smartphones vor Gericht Bestand haben?
Forschungsansatz
Zur besseren Nachvollziehbarkeit der Prozesse in modernen Smartphones und um die Qualität und Zuverlässigkeit von Geolokalisierungsdaten zu bewerten, sollen Standortdaten verschiedener Plattformen sowohl theoretisch analysiert als auch praktisch während der Lokalisierung betrachtet werden. Der Zusammenhang zwischen Daten und Entstehungskontext wird mithilfe experimenteller Live-Untersuchungen sowie Desktop- und nativen Anwendungen auf den mobilen Endgeräten untersucht werden.
Ergebnis
Im Rahmen dieser Arbeit konnten mithilfe der entwickelten Werkzeuge die forensische Untersuchung verbessert sowie die analytische Interpretation von Geodaten von- bzw. direkt auf modernen Smartphones durchgeführt werden. Dabei hat sich ein generisches Modell zur Beurteilung der Qualität von Standortdaten herauskristallisiert, das sich allgemein auf die ermittelten Geodaten aus mobilen Endgeräten anwenden lässt.