Institut für Computervisualistik
Filtern
Erscheinungsjahr
Dokumenttyp
- Bachelorarbeit (100)
- Diplomarbeit (81)
- Studienarbeit (76)
- Masterarbeit (46)
- Dissertation (18)
- Ausgabe (Heft) zu einer Zeitschrift (12)
- Konferenzveröffentlichung (3)
Sprache
- Deutsch (282)
- Englisch (52)
- Mehrsprachig (2)
Schlagworte
- Bildverarbeitung (16)
- Augmented Reality (13)
- Robotik (10)
- Computergrafik (9)
- Computergraphik (9)
- Computervisualistik (9)
- OpenGL (8)
- GPGPU (5)
- GPU (5)
- Line Space (5)
- Mustererkennung (5)
- Programmierung (5)
- Raytracing (5)
- Shader (5)
- Volumendaten (5)
- Android (4)
- Computerspiel (4)
- Graphik (4)
- Segmentierung (4)
- VOXEL (4)
- Volumen-Rendering (4)
- Analyse durch Synthese (3)
- C++ (3)
- Compute Shader (3)
- Computersimulation (3)
- Datenstruktur (3)
- Erweiterte Realität (3)
- Globale Beleuchtung (3)
- Grafikkarte (3)
- Informatik (3)
- Interaktion (3)
- Linespace (3)
- Markerloses Tracking (3)
- Modellbasiertes Tracking (3)
- Objektverfolgung (3)
- OpenGL Shading Language (3)
- Physiksimulation (3)
- Rendering (3)
- Software (3)
- Tracking (3)
- Virtual Reality (3)
- Virtuelle Realität (3)
- Visualisierung (3)
- virtual reality (3)
- 3D (2)
- Applikation (2)
- Augenbewegung (2)
- Automatische Klassifikation (2)
- Autonomes Robotersystem (2)
- Bild (2)
- Bildanalyse (2)
- Bildregistrierung (2)
- Computer (2)
- Computer Graphics (2)
- Computeranimation (2)
- Computertomografie (2)
- DTI (2)
- Datenschutz (2)
- Frau (2)
- GLSL (2)
- Gaze Tracker (2)
- Global Illumination (2)
- Grafikprozessor (2)
- Graphikprozessor (2)
- High dynamic Range (2)
- Immersion (2)
- Kalibrierung (2)
- Kamera (2)
- Laserscanner (2)
- Material Point Method (2)
- Mikroskopie (2)
- Navigation (2)
- Partikelsystem (2)
- Path Tracing (2)
- Point Rendering (2)
- Ray tracing (2)
- Realistische Computergrafik (2)
- Registrierung <Bildverarbeitung> (2)
- Rettungsroboter (2)
- Sand (2)
- Schatten (2)
- Schnee (2)
- Selbstlokalisation (2)
- Smartphone (2)
- Software Engineering (2)
- Spiel (2)
- Starrkörper (2)
- Stereosehen (2)
- Textur-Mapping (2)
- Tourismus (2)
- Transferfunktion (2)
- Transform Feedback (2)
- Volumen (2)
- Volumenrendering (2)
- Webcam (2)
- Whiteboard (2)
- Wiimote (2)
- Wiki (2)
- Zielverfolgung (2)
- image processing (2)
- interaktiv (2)
- tracking (2)
- volume rendering (2)
- 2-D (1)
- 2D/3D-Segmentierung (1)
- 3-D-Laserscannen (1)
- 3-D-Modell (1)
- 3-D-Modelle (1)
- 3-D-Scanning (1)
- 360 Grad (1)
- 360 degree (1)
- 3D Modell Referenz Bildsynthese (1)
- 3D Painting (1)
- 3D-Abbildungen (1)
- 3D-Color-Structure-Code (1)
- 3D-Darstellung (1)
- 3D-RETISEG (1)
- 3D-Scan (1)
- 3D-Vermessung (1)
- 3D-Videospiel (1)
- 3D-Visualisierung (1)
- AMIRE (1)
- AR (1)
- ARToolkit (1)
- ARToolkitPlus (1)
- Acceleration Structures (1)
- Action Recognition (1)
- Action Segmentation (1)
- Adaptive Abtastung (1)
- Adobe Flex (1)
- Algorithmus (1)
- Ambient Occlusion (1)
- Analyse-durch-Synthese (1)
- Android development (1)
- Androidentwicklung (1)
- Angiographiebilder (1)
- Animationsverfahren (1)
- Anzeige (1)
- App (1)
- Assembly (1)
- Astrophysik (1)
- Augenblick-SDK (1)
- Augmented Reality Szenario (1)
- Ausrichtungswerkzeug (1)
- Austausch (1)
- Auszeichnungssprache (1)
- Automatische Kontrolle im Produktionsprozess (1)
- Autonome Exploration (1)
- Autonome Robotik (1)
- Autonomous Exploration (1)
- Autorensystem (1)
- Avatar (1)
- Avatare (1)
- Axis Aligned Bounding Box (AABB) (1)
- BRDF (1)
- Balancetheorie (1)
- Beleuchtung (1)
- Beleuchtungsverfahren (1)
- Benutzerorientierung (1)
- Benutzerprofil (1)
- Benutzerschnittstelle (1)
- Beschleunigungsensor (1)
- Besuchersoftware (1)
- Bewegungsmodell (1)
- BildKlang (1)
- Bildanalyse-Verfahren (1)
- Bildaufloesung (1)
- Bildauflösung (1)
- Bilderkennung (1)
- Bildsegmentierung (1)
- Bildsensor (1)
- Bildverstehen (1)
- Billard (1)
- Blickpunktabhängig (1)
- Blinder Fleck (1)
- Bordinstrument (1)
- Bounding Volume Hierarchie (1)
- Bounding Volume Hierarchy (1)
- Breaking (1)
- Brechung (1)
- Bruchsimulation (1)
- Business Intelligence (1)
- CAD (1)
- CB2 (1)
- CSMs (1)
- CT-Datensätze (1)
- Cascada (1)
- Casual Game (1)
- Casual Games (1)
- Cg (1)
- Charakter-Objekt-Interaktion (1)
- Charakteranimation (1)
- Colonoscopy (1)
- Color Structure Code (1)
- ColorSym (1)
- Coloskopie (1)
- Communication System (1)
- Compute-Shader (1)
- Computer Vision (1)
- Computer assisted communication (1)
- Computer-aided diagnosis (1)
- Computerspiele (1)
- Computertomographie (1)
- Constitutive Model (1)
- CosiMail (1)
- Cybersickness (1)
- DCMTK (1)
- DICOM (1)
- DIN EN ISO 9241 (1)
- Darmpolyp (1)
- Darmspiegelung (1)
- Data compression (1)
- Datenanalyse (1)
- Datenbrille (1)
- Datenkompression (1)
- Datenschutzkompetenz (1)
- Datenschutzkompetenzmodell (1)
- Deep Learning (1)
- Deep Metric Learning (1)
- Designwerkzeug (1)
- Diagnoseunterstützung (1)
- Diagnosis assistance (1)
- Diffusionsbildgebung (1)
- Digital Storytelling (1)
- Digitale Bilder (1)
- Displacement Mapping (1)
- Display (1)
- Distanzfeld (1)
- Dreidimensionale Visualisierung (1)
- Dreidimensionales Modell (1)
- Dynamische Programmierung (1)
- E-Learning (1)
- E-Mail (1)
- ECSA (1)
- EEG (1)
- Echtzeit (1)
- Echtzeit Anwendung (1)
- Echtzeit Raytracing (1)
- Echtzeit-Raytracer "Augenblick" (1)
- Echtzeitanimationssystem (1)
- Echtzeitfähigkeit (1)
- Elektroencephalographie (1)
- Enhanced Reality (1)
- Entity Component System Architecture (1)
- Entwicklung (1)
- Erweiterte Realität <Informatik> (1)
- Eulerian grid (1)
- Evaluation (1)
- Explorationstransformation (1)
- Exporation Transform (1)
- Extended Reality (1)
- Extension (1)
- Eye-Tracking (1)
- Eyetracking (1)
- FPIC (1)
- Fabric Simulation (1)
- Facebook Application (1)
- Fachinformationssysteme (1)
- Farbbildverarbeitung (1)
- Farbenlehre (1)
- Farbsymmetrie (1)
- Farbtheorie (1)
- Fast Convolution (1)
- FastSLAM Algorithmus (1)
- Fedora (1)
- Fell (1)
- Fell Rendering (1)
- Fernsehtechnik (1)
- Feuer (1)
- Fiber Tracking (1)
- Fire (1)
- Flow-Erlebnis (1)
- Flugkörper (1)
- Fluid Simulation (1)
- Fluid dynamics (1)
- Fluiddynamik (1)
- Fluidsimulation (1)
- Foils <Programm> (1)
- Fourier (1)
- Fracturing (1)
- Fragmentshader (1)
- Framework (1)
- Frei Programmierbares Kombinationsinstrument (1)
- Fresnel (1)
- Funktionelle NMR-Tomographie (1)
- GPGPU-Programmierung (1)
- GPU - Raycasting (1)
- GPU Programmierung (1)
- GPU basiert (1)
- GPU-Programmierung (1)
- Gamebased (1)
- Gamebasiertheit (1)
- Gaze-Tracking (1)
- Gebrauchstauglichkeit (1)
- Gebäudemodelle (1)
- Gefäßanalyse (1)
- Gefühl (1)
- Gehirn (1)
- Geländemodell (1)
- Geodaten (1)
- Geometrie-Shader (1)
- Geometry (1)
- Geometry-Shader (1)
- Geometryshader (1)
- Gerstner (1)
- Geste (1)
- Gesteninterpretation (1)
- Gittererzeugung (1)
- Glaukom (1)
- Glint Center Estimation Algorithmus (1)
- Gonioreflectometer (1)
- Gradientenanalyse (1)
- Grafik (1)
- Grafikprogrammierung (1)
- Grails (1)
- Grails 1.2 (1)
- Graphicsprogramming (1)
- Graphik-Hardware (1)
- Graphikhardware (1)
- Graphpipes (1)
- Grundschule (1)
- HDR-Bild (1)
- HDR-Bilder (1)
- HDR-Kamera (1)
- Haare (1)
- Halbschatten (1)
- Haptik (1)
- Headerdaten Netzwerkpaket SOCK_RAW SOCK_PACKET (1)
- Heidelberg Retina Tomograph (1)
- Herausforderung (1)
- Herzerkrankungen (1)
- Hochgeschwindigkeitstracking (1)
- Hochpräzise Volumenmessung (1)
- HoloLens (1)
- Human motion (1)
- ICP-Algorithmus (1)
- IK-Algorithmus (1)
- IceCube (1)
- Image Processing (1)
- Image Understanding (1)
- Imitation Learning (1)
- Implizite Oberfläche (1)
- Indirekte Beleuchtung (1)
- Industrial-CT (1)
- Informatikunterricht (1)
- Information Retrieval (1)
- Information-Retrieval (1)
- Informationsvisualisierung (1)
- Innenarchitektur (1)
- Inpainting-Verfahren (1)
- Interaktionselemente (1)
- Interaktives Whiteboard (1)
- Inverse Kinematik (1)
- Inverses Modell (1)
- Iterative Closest Points (1)
- Iterative Dual Correspondences (1)
- J2ME (1)
- JGraph (1)
- Jump'n Run-Spiel (1)
- KD-Bäume und Binary-Space-Partitioning-Bäume (1)
- Kabel (1)
- Kalibrieren <Messtechnik> (1)
- Kamera Pose Tracking (1)
- Kartesisches Euler-Gitter (1)
- Kartesisches Gitter (1)
- Kartographie (1)
- Katadioptrisches Stereosystem (1)
- Kinect (1)
- Klassifikation (1)
- Klassifikationsframework (1)
- Kohärenzanalyse (1)
- Kollaboration (1)
- Kollisionserkennung (1)
- Koloskopie (1)
- Kontrastlose Oberflächen (1)
- Konturfindung (1)
- Landschaftsgestaltung (1)
- Landschaftsmodell (1)
- Leap-Motion (1)
- Lehrer (1)
- Leichte Sprache (1)
- Lernen (1)
- Lernspiel (1)
- Lichttransport (1)
- Light Injection (1)
- Linienkorrelationen (1)
- Lokale Bildmerkmale (1)
- Lokalisierung (1)
- MP3 Player (1)
- Machine Learning (1)
- Malen (1)
- Mammographie (1)
- Maschinelles Lernen (1)
- Matching-Verfahren (1)
- Matchingverfahren (1)
- Material point method (1)
- Materialmodell (1)
- Materie-Punkt-Methode (1)
- Matting (1)
- Maya (1)
- MeVisLab (1)
- Medizinische Bildverarbeitung (1)
- Medizinische Visualisierung (1)
- Medizintechnik (1)
- Mensch-Maschine-Schnittstelle (1)
- Merkmalsbewertung (1)
- Merkmalsdetektion (1)
- Merkmalsmanagement (1)
- Merkmalssynthese (1)
- Metric based Icp (1)
- Mikroskopische Objekte (1)
- Mind Maps (1)
- Mitral Valve (1)
- Mitralklappe (1)
- Mixed Reality (1)
- Mobile Kommunikation (1)
- Mobile Roboter (1)
- Mobile Robots (1)
- Mobiler Roboter (1)
- Mobiles Informatinssystem (1)
- Modellieren (1)
- Modellierung (1)
- Modellierungstool (1)
- Modulare Softwarearchitektur (1)
- Modulares Softwaresystem (1)
- Montage (1)
- Motion Capturing (1)
- Motion Sickness (1)
- Motivation (1)
- Multidimensional (1)
- Multimodal Action Recognition (1)
- Multimodal Medical Image Analysis Cochlea Spine Non-rigid Registration Segmentation ITK VTK 3D Slicer CT MRI CBCT (1)
- Multiple Object Tracking (1)
- Multivariate Datenanalyse (1)
- Musik (1)
- Musteranalyse (1)
- Myokard (1)
- N-Body Simulation (1)
- N-Körper Simulation (1)
- NURBS (1)
- Natural Image Matting (1)
- Navier"Stokes equations (1)
- Navier-Stokes-Gleichungen (1)
- Networked Graphs (1)
- Netzhaut (1)
- Netzwerkmanagement (1)
- Netzwerkmonitoring (1)
- Netzwerkschicht (1)
- Netzwerktechnik (1)
- Neutino (1)
- Nicht-photorealistisches Rendering (1)
- Nintendo DS (1)
- Nintendo Wii Fernbedienung (1)
- Nvidia CUDA (1)
- OGRE (1)
- Oberflächenentwurf (1)
- Oberflächengestaltung (1)
- Oberflächenorientierung (1)
- Oberflächenstruktur (1)
- Objektentfernung (1)
- Objekterkennung (1)
- Octree Textur (1)
- Oktalbaum (1)
- Oktonärbäume (1)
- One-Shot Action Recognition (1)
- Open Source 3D Graphics Engine (1)
- OpenCL (1)
- Optische Messtechnik (1)
- Optisches Mikroskop (1)
- Ornamentik (1)
- Ornamentklassifikation (1)
- PACS- Picture Archiving (1)
- PBRT (1)
- Packet Header SOCK_RAW SOCK_PACKET (1)
- Par (1)
- Partikel (1)
- Partikelsimulation (1)
- Path transformation (1)
- Pathtracing (1)
- Pattern Recognition (1)
- Personentracking (1)
- Personenverfolgungssystem (1)
- Pfadplanung (1)
- Pfadtransformation (1)
- Phantom Omni (1)
- Photogrammetrie Kalibrierung EMVA-1288 (1)
- Photogrammetry (1)
- Physik (1)
- Physikengine (1)
- Planspiegel-System (1)
- Planspiel 2.0 (1)
- Pollenanalyse (1)
- Polypendetektion (1)
- Pose (1)
- Posebestimmung (1)
- Poseschätzung (1)
- Position Based Dynamics (1)
- Positionsbestimmung (1)
- Potenzialfeld (1)
- Pre-Integration (1)
- Primus (1)
- Privacy Competence Model (1)
- Programm (1)
- Präsentation (1)
- Punktkorrelationen (1)
- Punktrendering (1)
- Pupil Center Estimation Algorithmus (1)
- Qt/C++ (1)
- Qualitätssicherung (1)
- RIP-MTI (1)
- RIP-XT (1)
- RMTI (1)
- Radiales System (1)
- Radiosity (1)
- Random Finite Sets (1)
- Raumplanung (1)
- Ray Tracer (1)
- Ray Tracing (1)
- Ray casting (1)
- Ray-Casting (1)
- Real-time computing (1)
- Realistisches Kameramodell (1)
- Reengineering (1)
- Reflections (1)
- Reflektionen (1)
- Reflexion (1)
- Relativitätstheorie (1)
- Rescue League (1)
- Rescue Robots (1)
- Retinex-Algorithmus (1)
- Reverberation (1)
- Rich Internet Application (1)
- Riss (1)
- Rissmusteranalyse (1)
- RoboCup (1)
- RoboCup Rescue (1)
- Roboter (1)
- Robotersystem (1)
- Robust Principal Component Analysis (1)
- Routing (1)
- SIFT-Algorithmus (1)
- SIFT-Merkmale (1)
- SIFT-Verfahren (1)
- SIMD (1)
- SPARQL (1)
- STOR (1)
- SURF-Algorithmus (1)
- Scanmatching (1)
- Schlauch (1)
- Schnelle Faltung (1)
- Segmentation (1)
- Semantic Desktop (1)
- Semantic Web (1)
- Semantik (1)
- Sensor (1)
- Sensorensteuerung (1)
- Separating-Axis-Theorem (1)
- Shaderframework (1)
- Shaderhochsprache (1)
- Shaderprogramm (1)
- Shattering (1)
- Simulation (1)
- Skript (1)
- Skript <Programm> (1)
- Social Games (1)
- Socket (1)
- Socket-Schnittstelle (1)
- Software- Ergonomie (1)
- Spaß (1)
- Specular (1)
- Spektrale Bildgewinnung (1)
- Spielkonsole (1)
- Sprachverarbeitung (1)
- Sprechtherapie (1)
- Stadt (1)
- Stadtmodelle (1)
- Standortbestimmung (1)
- Statistical Shape Model (1)
- Stereobildfolgen (1)
- Stereografie (1)
- Stereoskopie (1)
- Sterne (1)
- Steuerung (1)
- Stilisierung (1)
- Stoffsimulation (1)
- Subsurface Scattering (1)
- Szeneneditor (1)
- Tageslichtprojektor (1)
- Tanzspiel (1)
- Text (1)
- Texterkennung (1)
- Textur (1)
- Texturierung (1)
- Thunderbird <Programm> (1)
- Tiefenbild (1)
- Tiefenkarte (1)
- Ton (1)
- Tone Mapping (1)
- Tone-Mapping (1)
- Tone-Mapping-Verfahren (1)
- Tonemapping (1)
- Tonemapping-Verfahren (1)
- Touchscreen (1)
- Tourism (1)
- Tracking-System (1)
- Trackingsystem (1)
- Transfer function (1)
- Transferfunction (1)
- Transportschicht (1)
- Triangulierung (1)
- USARSim (1)
- Ultraschall (1)
- Ultrasound (1)
- Umgebungslicht (1)
- Ungarische Methode (1)
- Uniforme Raumunterteilung (1)
- Unterricht (1)
- Unterwasser-Pipeline (1)
- Unterwasserfahrzeug (1)
- Unterwasserkabel (1)
- User Interface (1)
- VIACOBI (1)
- VR (1)
- VST (1)
- Vascular analysis (1)
- Verbindungsschicht (1)
- Vertex Buffer Object (1)
- Vertex Buffer Objekt (1)
- Video (1)
- Video-Installation (1)
- Videospielentwicklung (1)
- Virtual characters (1)
- Virtuelle Menschen (1)
- Visualisierungstechniken (1)
- Visuelle Installation (1)
- Visuelle Odometrie (1)
- Vocabulary Trainer (1)
- Volume Hatching (1)
- Volume Rendering (1)
- Volumenvisualisierung (1)
- Vorliebe (1)
- Vorwärtsmodell (1)
- Voxel (1)
- Voxelisierung (1)
- Wasseroberfläche (1)
- Wavelet (1)
- Weibliches Publikum (1)
- Weiterentwicklung (1)
- Wellen (1)
- Wiederhall (1)
- Wii-Balance Board (1)
- Wolkensimulation (1)
- X-Cosim (1)
- XML (1)
- XTpeer (1)
- Zerbrechen (1)
- accelerometer (1)
- android (1)
- area light (1)
- augmented reality (1)
- color image processing (1)
- computer games (1)
- depth map (1)
- directed acyclic graphs (1)
- disparity map (1)
- dreidimensionale Computergraphik (1)
- dynamic programming (1)
- engine (1)
- finite state automata (1)
- flow (1)
- fur rendering (1)
- game (1)
- general purpose (1)
- geometry shader (1)
- graphics card (1)
- hybride App (1)
- image warping (1)
- indirect lighting (1)
- indirektes Licht (1)
- interactive (1)
- interactive application (1)
- interaktive Applikation (1)
- interaktiven (1)
- jump'n run game (1)
- leap motion (1)
- line space (1)
- machine learning (1)
- markerless tracking (1)
- media competence model (1)
- medizinische Bilddaten (1)
- menschliches Auge (1)
- multidimensional (1)
- multidimensional transfer function (1)
- multidimensionale Transferfunktion (1)
- natural language generation (1)
- natural language processing (1)
- natürliche Sprache (1)
- octree texture (1)
- path planning (1)
- performance optimization (1)
- physics (1)
- physics simulation (1)
- plain language (1)
- polyp detection (1)
- privacy and personal data (1)
- privacy competence model (1)
- projektives Malen (1)
- prozedural (1)
- ray casting (1)
- ray tracing (1)
- raycasting (1)
- raytracing (1)
- reflection (1)
- refraction (1)
- regular dag languages (1)
- relativity (1)
- rigid body (1)
- risk (1)
- robotics (1)
- rtx (1)
- scaffolded writing (1)
- scene analysis (1)
- security awareness (1)
- sensor control (1)
- shader (1)
- snow (1)
- soft shadow (1)
- stereo vision (1)
- stereoscopic rendering (1)
- syntaktische Analyse (1)
- texturing (1)
- transform feedback (1)
- virtual human (1)
- visualization (1)
- volume visualization (1)
- volumenrendering (1)
- voxelization (1)
- vulkan (1)
- warp divergence (1)
- water surface (1)
- waves (1)
Institut
- Institut für Computervisualistik (336) (entfernen)
Human action recognition from a video has received growing attention in computer vision and has made significant progress in recent years. Action recognition is described as a requirement to decide which human actions appear in videos. The difficulties involved in distinguishing human actions are due to the high complexity of human behaviors as well as appearance variation, motion pattern variation, occlusions, etc. Many applications use human action recognition on captured video from cameras, resulting in video surveillance systems, health monitoring, human-computer interaction, and robotics. Action recognition based on RGB-D data has increasingly drawn more attention to it in recent years. RGB-D data contain color (Red, Green, and Blue (RGB)) and depth data that represent the distance from the sensor to every pixel in the object (object point). The main problem that this thesis deals with is how to automate the classification of specific human activities/actions through RGB-D data. The classification process of these activities utilizes a spatial and temporal structure of actions. Therefore, the goal of this work is to develop algorithms that can distinguish these activities by recognizing low-level and high-level activities of interest from one another. These algorithms are developed by introducing new features and methods using RGB-D data to enhance the detection and recognition of human activities. In this thesis, the most popular state-of-the-art techniques are reviewed, presented, and evaluated. From the literature review, these techniques are categorized into hand-crafted features and deep learning-based approaches. The proposed new action recognition framework is based on these two categories that are approved in this work by embedding novel methods for human action recognition. These methods are based on features extracted from RGB-D data that are
evaluated using machine learning techniques. The presented work of this thesis improves human action recognition in two distinct parts. The first part focuses on improving current successful hand-crafted approaches. It contributes into two significant areas of state-of-the-art: Execute the existing feature detectors, and classify the human action in the 3D spatio-temporal domains by testing a new combination of different feature representations. The contributions of this part are tested based on machine learning techniques that include unsupervised and supervised learning to evaluate this suitability for the task of human action recognition. A k-means clustering represents the unsupervised learning technique, while the supervised learning technique is represented by: Support Vector Machine, Random Forest, K-Nearest Neighbor, Naive Bayes, and Artificial Neural Networks classifiers. The second part focuses on studying the current deep-learning-based approach and how to use it with RGB-D data for the human action recognition task. As the first step of each contribution, an input video is analyzed as a sequence of frames. Then, pre-processing steps are applied to the video frames, like filtering and smoothing methods to remove the noisy data from each frame. Afterward, different motion detection and feature representation methods are used to extract features presented in each frame. The extracted features
are represented by local features, global features, and feature combination besides deep learning methods, e.g., Convolutional Neural Networks. The feature combination achieves an excellent accuracy performance that outperforms other methods on the same RGB-D datasets. All the results from the proposed methods in this thesis are evaluated based on publicly available datasets, which illustrate that using spatiotemporal features can improve the recognition accuracy. The competitive experimental results are achieved overall. In particular, the proposed methods can be better applied to the test set compared to the state-of-the-art methods using the RGB-D datasets.
Point Rendering
(2021)
In dieser Arbeit werden Verfahren zum Rendern von Punktdaten vorgestellt und miteinander verglichen. Die Verfahren lassen sich in zwei Kategorien unterteilen. Zum einen werden visuelle Verfahren behandelt, welche sich mit der reinen Darstellung von Punktprimitiven befassen. Hauptproblem ist dabei die Darstellung von Oberflächen, da Punktdaten im Gegensatz zu traditionellen Dreiecksnetzen keine Nachbarschaftsinformationen beinhalten. Zum anderen werden beschleunigende Datenstrukturen dargelegt, welche die echtzeitfähige Darstellung von großen Punktwolken ermöglichen. Punktwolken weisen häufig eine hohe Datenmenge auf, da diese meist durch 3D-Scanningverfahren wie z.B. Laserscanning und Photogrammetrie generiert werden.
Diese Bachelorarbeit erforscht eine Methode zur 3D-Objekterkennung und Posenschätzung, basierend auf dem Punkte-Paare-Eigenschaften-Verfahren (PPE) von Drost et. al. [Dro+10]. Die Methoden der Posenschätzung haben sich in den letzten Jahre zwar deutlich verbessert, stellen jedoch weiterhin ein zentrales Problem im Bereich der Computervisualistik dar. Im Rahmen dieser Arbeit wurde ein Programm implementiert, welches Punktewolkenszenen als Ausgangspunkt erhält und daraus eine Objekterkennung und Posenschätzung durchführt. Das Programm deckt alle Schritte eines Objekterkennungsprogramm ab, indem es 3D-Modelle von Objekten verarbeitet, um deren PPE zu extrahieren. Diese Eigenschaften werden gruppiert und in einer Tabelle gespeichert. Anhand des Auswahlverfahrens, bei dem die Übereinstimmung der Eigenschaften überprüft wird, können potenzielle Posen des Objekts ermittelt werden. Die Posen mit der größten Übereinstimmung werden miteinander verglichen, um ähnliche Posen zu gruppieren. Die Gruppen mit der höchsten Übereinstimmung werden erneut überprüft, sodass am Ende nur eine Pose ausgewählt wird. Das Programm wurde anhand von Real– und Simulationsdaten Daten getestet. Die erhaltenen Ergebnisse wurden anschließend analysiert und evaluiert.
On the recognition of human activities and the evaluation of its imitation by robotic systems
(2023)
This thesis addresses the problem of action recognition through the analysis of human motion and the benchmarking of its imitation by robotic systems.
For our action recognition related approaches, we focus on presenting approaches that generalize well across different sensor modalities. We transform multivariate signal streams from various sensors to a common image representation. The action recognition problem on sequential multivariate signal streams can then be reduced to an image classification task for which we utilize recent advances in machine learning. We demonstrate the broad applicability of our approaches formulated as a supervised classification task for action recognition, a semi-supervised classification task for one-shot action recognition, modality fusion and temporal action segmentation.
For action classification, we use an EfficientNet Convolutional Neural Network (CNN) model to classify the image representations of various data modalities. Further, we present approaches for filtering and the fusion of various modalities on a representation level. We extend the approach to be applicable for semi-supervised classification and train a metric-learning model that encodes action similarity. During training, the encoder optimizes the distances in embedding space for self-, positive- and negative-pair similarities. The resulting encoder allows estimating action similarity by calculating distances in embedding space. At training time, no action classes from the test set are used.
Graph Convolutional Network (GCN) generalized the concept of CNNs to non-Euclidean data structures and showed great success for action recognition directly operating on spatio-temporal sequences like skeleton sequences. GCNs have recently shown state-of-the-art performance for skeleton-based action recognition but are currently widely neglected as the foundation for the fusion of various sensor modalities. We propose incorporating additional modalities, like inertial measurements or RGB features, into a skeleton-graph, by proposing fusion on two different dimensionality levels. On a channel dimension, modalities are fused by introducing additional node attributes. On a spatial dimension, additional nodes are incorporated into the skeleton-graph.
Transformer models showed excellent performance in the analysis of sequential data. We formulate the temporal action segmentation task as an object detection task and use a detection transformer model on our proposed motion image representations. Experiments for our action recognition related approaches are executed on large-scale publicly available datasets. Our approaches for action recognition for various modalities, action recognition by fusion of various modalities, and one-shot action recognition demonstrate state-of-the-art results on some datasets.
Finally, we present a hybrid imitation learning benchmark. The benchmark consists of a dataset, metrics, and a simulator integration. The dataset contains RGB-D image sequences of humans performing movements and executing manipulation tasks, as well as the corresponding ground truth. The RGB-D camera is calibrated against a motion-capturing system, and the resulting sequences serve as input for imitation learning approaches. The resulting policy is then executed in the simulated environment on different robots. We propose two metrics to assess the quality of the imitation. The trajectory metric gives insights into how close the execution was to the demonstration. The effect metric describes how close the final state was reached according to the demonstration. The Simitate benchmark can improve the comparability of imitation learning approaches.
Leichte Sprache (LS) ist eine vereinfachte Varietät des Deutschen in der barrierefreie Texte für ein breites Spektrum von Menschen, einschließlich gering literalisierten Personen mit Lernschwierigkeiten, geistigen oder entwicklungsbedingten Behinderungen (IDD) und/oder komplexen Kommunikationsbedürfnissen (CCN), bereitgestellt werden. LS-Autor*innen sind i.d.R. der deutschen Standardsprache mächtig und gehören nicht der genannten Personengruppe an. Unser Ziel ist es, diese zu befähigen, selbst am schriftlichen Diskurs teilzunehmen. Hierfür bedarf es eines speziellen Schreibsystems, dessen linguistische Unterstützung und softwareergonomische Gestaltung den spezifischen Bedürfnissen der Zielgruppe gerecht wird. EasyTalk ist ein System basierend auf computerlinguistischer Verarbeitung natürlicher Sprache (NLP) für assistives Schreiben in einer erweiterten Variante von LS (ELS). Es stellt den Nutzenden ein personalisierbares Vokabular mit individualisierbaren Kommunikationssymbolen zur Verfügung und unterstützt sie entsprechend ihres persönlichen Fähigkeitslevels durch interaktive Benutzerführung beim Schreiben. Intuitive Formulierungen für linguistische Entscheidungen minimieren das erforderliche grammatikalische Wissen für die Erstellung korrekter und kohärenter komplexer Inhalte. Einfache Dialoge kommunizieren mit einem natürlichsprachlichen Paraphrasengenerator, der kontextsensitiv Vorschläge für Satzkomponenten und korrekt flektierte Wortformen bereitstellt. Außerdem regt EasyTalk die Nutzer*innen an, Textelemente hinzuzufügen, welche die Verständlichkeit des Textes für dessen Leserschaft fördern (z.B. Zeit- und Ortsangaben) und die Textkohärenz verbessern (z.B. explizite Diskurskonnektoren). Um das System auf die Bedürfnisse der Zielgruppe zuzuschneiden, folgte die Entwicklung von EasyTalk den Grundsätzen der menschzentrierten Gestaltung (UCD). Entsprechend wurde das System in iterativen Entwicklungszyklen ausgereift, kombiniert mit gezielten Evaluierungen bestimmter Aspekte durch Gruppen von Expert*innen aus den Bereichen CCN, LS und IT sowie L2-Lernende der deutschen Sprache. Eine Fallstudie, in welcher Mitglieder der Zielgruppe das freie Schreiben mit dem System testeten, bestätigte, dass Erwachsene mit geringen Lese-, Schreib- und Computerfähigkeiten mit IDD und/oder CCN mit EasyTalk eigene persönliche Texte in ELS verfassen können. Das positive Feedback aller Tests inspiriert Langzeitstudien mit EasyTalk und die Weiterentwicklung des prototypischen Systems, wie z.B. die Implementierung einer s.g. Schreibwerkstatt.
Künstliche neuronale Netze sind ein beliebtes Forschungsgebiet der künst-
lichen Intelligenz. Die zunehmende Größe und Komplexität der riesigen
Modelle bringt gewisse Probleme mit sich. Die mangelnde Transparenz
der inneren Abläufe eines neuronalen Netzes macht es schwierig, effiziente
Architekturen für verschiedene Aufgaben auszuwählen. Es erweist sich als
herausfordernd, diese Probleme zu lösen. Mit einem Mangel an aufschluss-
reichen Darstellungen neuronaler Netze verfestigt sich dieser Zustand. Vor
dem Hintergrund dieser Schwierigkeiten wird eine neuartige Visualisie-
rungstechnik in 3D vorgestellt. Eigenschaften für trainierte neuronale Net-
ze werden unter Verwendung etablierter Methoden aus dem Bereich der
Optimierung neuronaler Netze berechnet. Die Batch-Normalisierung wird
mit Fine-tuning und Feature Extraction verwendet, um den Einfluss der Be-
standteile eines neuronalen Netzes abzuschätzen. Eine Kombination dieser
Einflussgrößen mit verschiedenen Methoden wie Edge-bundling, Raytra-
cing, 3D-Impostor und einer speziellen Transparenztechnik führt zu einem
3D-Modell, das ein neuronales Netz darstellt. Die Validität der ermittelten
Einflusswerte wird demonstriert und das Potential der entwickelten Visua-
lisierung untersucht.