Refine
Year of publication
Document Type
- Diploma Thesis (27)
- Study Thesis (17)
- Bachelor Thesis (13)
- Doctoral Thesis (8)
- Master's Thesis (6)
Keywords
- Bildverarbeitung (9)
- Robotik (7)
- Mustererkennung (3)
- 3D (2)
- Bildanalyse (2)
- Kamera (2)
- Klassifikation (2)
- Laserscanner (2)
- Mikroskopie (2)
- Roboter (2)
Institute
Ziel dieser Diplomarbeit ist es, katadioptrische Stereosysteme aufzubauen und zu testen. Hierfür gilt es, die Komponenten auszuwählen und zu beschaffen. Es soll ein System mit einem Planspiegel und eines mit einem gekrümmten Spiegel aufgebaut werden. Die Vorgehensweise in beiden Fällen unterscheidet sich jedoch deutlich voneinander. Das Planspiegel-System wird unter den Vorraussetzungen angefertigt, dass es möglichst kostengünstig ist und bietet sich vor allem deshalb für eine solches Vorgehen an, da es mit handelsüblichen Komponenten realisierbar ist. Die Verwendung dieser Komponenten bringt allerdings Einschränkungen in der Bildqualität mit sich. Hinzu kommt noch die Tatsache, dass es sich um eine Computational Camera mit geringer Komplexität handelt, da es direkt rektifizierte Ergebnisse liefert und aufgrund dessen leicht zu implementieren ist. Diese Kombination von Eigenschaften macht es zu einem geeigneten Kandidaten für eine solche Herangehensweise. Das radiale System wird hingegen unter der Prämisse maximaler Qualität gebaut. Der verwendete Spiegel ist eine Einzelanfertigung und zusätzlich wird ein zirkuläres Fisheye-Objektiv benötigt, was die Kosten für ein solches System relativ hoch werden lässt. Des Weiteren ist die Dekodierung der Rohaufnahmen deutlich komplexer, als bei den bereits rektifizierten Aufnahmen des Planspiegel-Systems. Nach erfolgreichem Aufbau der beiden Gesamtsysteme sollen diese unter qualitativen Aspekten miteinander verglichen werden.
The present work starts with an introduction of methods for three-dimensional curve skeletonization. Different kinds of historic and recent skeletonization approaches are analysed in detail. Later on, a state-of-the-art skeletonization algorithm is introduced. This algorithm deals as a basis for the own approach presented subsequently. After the description and definition of a new method improving the state-of-the-art algorithm, experiments are conducted to get appraisable results. Next, a ground truth is described which has been set up manually by humans. The human similarity evaluations are compared with the results of the automatic computer-based similarity measures provided by the own approach. For this comparison, standard evaluation criteria from the field of information retrieval have been used.
The goal of this bachelor thesis was to add an image processing step to the music recognition software AudiVeris, in order to extract data even from faulty music sheet images. The procedure starts with a binarization using a regional version of Otsu's method. Following this the music sheet is searched for possible bendings, similar to those a hardcover book would cause. To achieve this the Hough transform is used for line detection and the k-means algorithm for cluster detection. Thereafter the music image is straightened using the discovered curvature.
In this thesis, different approaches to calibrate an optical microscope will be presented. State-of-the-art algorithms are implemented and improvements are done to get more stable results and make the calibration process more flexible. Algorithms are developed to calibrate some of the camera parameters in advance in order to achieve better end results for the calibration process. In addition, techniques will be discussed on how to reduce errors produced by noise on a given input data set so that correct parameters for a specific camera model can be calibrated. These algorithms are evaluated and compared on real and syntetic data sets.
Die Selbstlokalisation von Robotern ist schon seit Jahren ein aktuelles Forschungsthema, das insbesondere durch immer weiterentwickelte Techniken und Verfahren verbessert werden kann. Insbesondere finden Laserscanner in der Robotik immer häufiger Anwendung. In dieser Arbeit wird untersucht, ob durch die Fusionierung von Kamerabildern und 3D-Laserscannerdaten eine robuste und schnelle Selbstlokalisation theoretisch sowie praktisch realisierbar ist.
Im Rahmen der Arbeit wurde ein mehrstufiger Algorithmus entwickelt, der es ermöglicht, aus Bildfolgen eine Trajektorie der Kamerabewegung zu rekonstruieren. Die Kalibrierung der Kamera beruht auf dem Verfahren von Zhang und ermöglicht den Ausgleich der durch das Objektiv entstehenden radialen Verzerrung der Bilder. Die sich anschließende Detektion prägnanter Merkmale wird durch den SIFT-Operator geleistet, welcher neben subpixelgenauer Lokalisation der Merkmale zusätzlich einen stark markanten Deskriptor zu deren Beschreibung liefert. Außerdem sind die Merkmale invariant gegenüber Rotationen, was für einige mögliche Anwendungsfälle sehr relevant ist. Die Suche nach Korrespondenzen wurde auf Basis der Distance Ratio ausgeführt. Hier wurde eine komplette Formalisierung der Korrelationsbeziehung zwischen Merkmalsvektoren präsentiert, welche eindeutig eine symmetrische Beziehung zwischen SIFT-Merkmalsvektoren definiert, die den an eine Korrespondenz gestellten Ansprüchen gerecht wird. Zusätzlich wurde motiviert, warum die sonst in der Bildverarbeitung gängige Methode der Hierarchisierung zur Reduktion des Aufwands in diesem speziellen Fall zu schlechteren Inlier-Raten in den gefundenen Korrespondenzen führen kann. Anschließend wurde ein genereller Überblick über den RANSAC-Algorithmus und die aus ihm entspringenden Derivate gegeben.
Der Hokuyo URG-04LX Laserscanner wird auf der mobilen Roboterplattform "Robbie" der Arbeitsgruppe Aktives Sehen zur Kartenerstellung und Kollisionsvermeidung eingesetzt. Die Navigation auf Grundlage der 2D-Scans wird den gewachsenen Anforderungen der Rescue-Arenen nicht mehr gerecht. Eine Verwendung von kommerziellen 3D-Laserscannern kommt wegen der hohen Anschaffungskosten nicht in Frage. Idee: Einsatz von mehreren günstigen 2D-Laserscannern mit unterschiedlichen Blickwinkeln oder aber die aktive Veränderung der Scanebene. Das Variieren der Scanebene erfolgt durch Schwenken oder Drehen des Laserscanners. Die Orientierung des Laserscanners im Raum liefert die dritte Dimension. Im Rahmen dieser Arbeit soll eine Plattform entwickelt werden, die es durch rotative Lagerung des Laserscanners ermöglicht, 3D-Laserscans der Umgebung zu erzeugen. Hierbei soll ein möglichst einfacher Aufbau erreicht werden, der es weiterhin ermöglicht, den Laserscanner zur Erzeugung von 2D-Karten zu benutzen. Um das Stereokamerasystem des Roboters nicht zu beeinträchtigen, wird zusätzlich ein sehr kompakter Aufbau angestrebt.
Das Ziel dieser Arbeit war die Verbesserung einer Positions- und Orientierungsangabe einer Kamera mit Hilfe von bildbasierten Registrierungsverfahren. Des Weiteren sollte herausgefunden werden, inwieweit eine Beschleunigung der Registrierung erreicht werden kann, wenn die Berechnung der Abstandsmaße auf den Grafikprozessor ausgelagert wird. Für das in dieser Arbeit angestrebte System sollte herausgefunden werden, ob und in welchem Maße eine Verbesserung der ursprünglichen Positionsangabe eingetreten ist. Mit dieser Arbeit wurde erreicht, dass ein lauffähiges und in zahlreichen Tests evaluiertes System unter dem Betriebssystem Linux zur Verfügung steht.
Das sichere Befahren von komplexen und unstruktierten Umgebungen durch autonome Roboter ist seit den Anfängen der Robotik ein Problem und bis heute eine Herausforderung geblieben. In dieser Studienarbeit werden drei Verfahren basierend auf 3-D-Laserscans, Höhenvarianz, der Principle Component Analysis (PCA) und Tiefenbildverarbeitung vorgestellt, die es Robotern ermöglichen, das sie umgebende Terrain zu klassifizieren und die Befahrbarkeit zu bewerten, sodass eine sichere Navigation auch in Bereichen möglich wird, die mit reinen 2-D-Laserscannern nicht sicher befahren werden können. Hierzu werden 3-D-Laserscans mit einem 2-D-Laserscanner erstellt, der auf einer Roll-Tilt-Einheit basierend auf Servos montiert ist, und gleichzeitig auch zur Kartierung und Navigation eingesetzt wird. Die einzeln aufgenommenen 2-D-Scans werden dann anhand des Bewegungsmodells der Roll-Tilt-Einheit in ein emeinsames 3-D-Koordinatensystem transformiert und mit für die 3-D-Punktwolkenerarbeitung üblichen Datenstrukturen (Gittern, etc.) und den o.g. Methoden klassifiziert. Die Verwendung von Servos zur Bewegung des 2-D-Scanners erfordert außerdem eine Kalibrierung und Genauigkeitsbetrachtung derselben, um zuverlässige Ergebnisse zu erzielen und Aussagen über die Qualität der 3-D-Scans treffen zu können. Als Ergebnis liegen drei Implementierungen vor, welche evolutionär entstanden sind. Das beschriebene Höhenvarianz-Verfahren wurde im Laufe dieser Studienarbeit von einem Principle Component Analysis basierten Verfahren, das bessere Ergebnisse insbesondere bei schrägen Untergründen und geringer Punktdichte bringt, abgelöst. Die Verfahren arbeiten beide zuverlässig, sind jedoch natürlich stark von der Genauigkeit der zur Erstellung der Scans verwendeten Hardware abhängig, die oft für Fehlklassifikationen verantwortlich war. Die zum Schluss entwickelte Tiefenbildverarbeitung zielt darauf ab, Abgründe zu erkennen und tut dies bei entsprechender Erkennbarkeit des Abgrunds im Tiefenbild auch zuverlässig.
The determination of a cameras position and orientation from point correspondences between 3d-positions and their image positions in computervision is known as pose estimation. Many modern applications benefit from the knowledge about the cameras absolute orientation in the reference frame at the time of image formation. To this extend a model is built from a sequence of images using structurefrom- motion techniques and SIFT features. The model is built from a single offthe- shelf monocular camera which can be moved freehand. No a priori knowledge of the cameras position is needed while model construction. In a second step the pose of a camera wich shows partial content of the constructed model is computed. Mapping these model features and the features of the new image leads to the 3d- 2d-correspondences which are the basis of linear optimization methods for solving the camera pose. The system relies on a precalibrated camera and a manual selection of adequate SIFT features for initial epipolar geometry estimation while model construction.
Im Rahmen der Glaukomdiagnostik sind Größe und Position des Sehnervkopfes wichtige Parameter zur Klassifikation des Auges. Das Finden und exakte Markieren der Papille ist ein subjektiver Vorgang und kann von Arzt zu Arzt stark variieren. Ziel der Arbeit ist die Entwicklung eines automatischen Verfahrens zur Detektion der Papille. Zunächst wird der medizinische Hintergrund erläutert (Aufbau des Auges, Glaukom) und das bildgebende Verfahren, der Heidelberg Retina Tomograph, dargestellt. Nach einer Diskussion bisheriger Ansätze zur Detektion der Papille wird ein eigenes Verfahren entwickelt und detailliert beschrieben. Für bei der Implementation aufgetretene Probleme werden Ansätze zur Optimierung vorgeschlagen.
Die Erstellung räumlicher Abbilder aus planaren Ansichten gewinnt immer mehr Bedeutung in der modernen Medizintechnik. 3D-Rekonstruktionen haben wesentlich zur besseren Detektion,wie auch zu Optimierung und Innovation in der Diagnostik und Behandlungsmethodik bestimmter Krankheitsbilder beigetragen. Durch die Verfahren der Bildverarbeitung ist es möglich, aus Bildsequenzen eine 3D-Abbildung der gefilmten Szene zu erstellen. Ziel dieser Diplomarbeit soll es sein, zu untersuchen, inwieweit sich aus der Aufnahmetechnik aus einer Reihe unkalibrierter Endoskopiebilder weitere Rückschlüsse über die Oberflächenbeschaffenheit des betrachteten Gewebes ziehen lassen. Hierbei wird das Phänomen zugrundegelegt, daß bei der Aufnahme der Bilder Glanzlichter auftreten, wenn die Beleuchtung am Kamerakopf orthogonal zur Gewebeoberfläche auftrifft. Diese Glanzlichter geben daher implizit Aufschluss über die Oberflächenorientierung des Gewebes. Aufgabe ist es nun, diese Glanzlichter in einer Reihe von unkalibrierten Endoskopieaufnahmen zu finden, die Bilder aus der Sequenz einander zuzuordnen, also Korrespondenzen zwischen den Bildern zu finden, und unter Einbeziehung der Kamerageometrie Rückschlüsse auf die Gewebeoberfläche zu ziehen. Zuerst müssen hierfür die Glanzlichter in den Einzelbildern der Sequenz gefunden werden. Dazu wird ein Verfahren verwendet, welches die Glanzlichter durch eine Zerlegung des HSV-Farbraums detektiert und deren Mittelpunkt errechnet. Um die Kamerageometrie zu schätzen, werden mihilfe eines Punktverfolgers Punktkorrespondenzen zwischen den Einzelbildern erstellt, anhand derer sich die Fundamentalmatrix durch RANSAC errechnen läßt. Unter Anwendung eines Autokalibrierungsverfahrens werden aus den geschätzten Fundamentalmatrizen dann in einem abschließenden Schritt die internen Kameraparameter ermittelt. So sollte möglich sein, die Glanzlichter durch eine Sequenz von Bildern zu verfolgen und die Oberflächennormalen einem Referenzbild zuzuordnen.
Colonoscopy is the gold standard for the detection of colorectal polyps that can progress into cancer. In such an examination, physicians search for polyps in endoscopic images. Thereby polyps can be removed. To support experts with a computer-aided diagnosis system, the University of Koblenz-Landau currently makes some efforts in research different methods for automatic detection. Comparable to traditional pattern recognition systems, features are initially extracted and a classifier is trained on such data. Afterwards, unknown endoscopic images can be classified with the previously trained classifier. This thesis concentrates on the extension of the feature extraction module in the existing system. New detection methods are compared to existing techniques. Several features are implemented, incorporating Graylevel Co-occurrence Matrices, Local Binary Patterns and Discrte Wavelet Transform. Different modifications on those features are applied and evaaluated.
Diese Diplomarbeit befasst sich damit, den SURF-Algorithmus zur performanten Extraktion von lokalen Bildmerkmalen aus Graustufenbildern auf Farbbilder zu erweitern. Dazu werden zuerst verschiedene quelloffene Implementationen mit der Originalimplementation verglichen. Die Implementation mit der größten Ähnlichkeit zum Original wird als Ausgangsbasis genutzt, um verschiedene Erweiterungen zu testen. Dabei werden Verfahren adaptiert, die den SIFT-Algorithmus auf Farbbilder erweitern. Zur Evaluation der Ergebnisse wird zum Einen die Unterscheidungskraft der Merkmale sowie deren Invarianz gegenüber verschiedenen Bildtransformationen gemessen. Hier werden verschiedene Verfahren einander gegenüber gestellt. Zum Anderen wird auf Basis des entwickelten Algorithmus ein Framework zur Objekterkennung auf einem autonomen Robotersystem entwickelt und dieses evaluiert.
The process of pattern recognition is divided into several sub-steps where ultimately patterns on unknown data samples are expected to be detected and automatically labeled. Classiffers are most commonly used for this and are being trained on known test data samples. Many existing software applications provide tools for selected tasks in pattern recognition but not for all steps in the training phase. Therefore in this work a framework was developed which implements common tasks of image classiffcation systems as individual components. It is plugin aware, easily extensible and provides a graphical user interface.
Diese Arbeit behandelt einen Vergleich verschiedener Algorithmen zur Vorhersage der Bewegung einer Person bei der Ausführung einer sportlichen Aktivität. Als Grundlage für die Vorhersage dienen Bildströme, welche mittels zweier Hochgeschwindigkeitskameras aufgezeichnet wurden. Im Laufe der Arbeit werden Vor- und Nachteile der umgesetzten Ansätze theoretisch erläutert und anschliessend an einer Reihe von Messergebnissen nachgewiesen. Für die Messungen wurde eine Anwendung eingesetzt, welche ebenfalls im Rahmen der Arbeit entwickelt wurde. Neben realen Aufnahmen, wurden zusätzlich synthetische Bildfolgen betrachtet, um Erkenntnisse über das Verhalten der betrachteten Algorithmen unter optimalen Bedingungen zu erlangen.
Bei der subjektiven Interpretation von Mammographien werden Studien zufolge 10% bis 30% von Brustkrebserkrankungen im Frühstadium nicht erkannt. Eine weitere Fehlrate beziffert die fälschlich als möglichen Brustkrebs eingestuften Herde; diese Fehlrate wird mit 35% angegeben. Ein solche Fehleinschätzung hat für die Patientin weitreichende negative Folgen. Sie wird einer unnötigen psychischen und körperlichen Belastung ausgesetzt. Um solche Fehleinschätzungen zu minimieren, wird zunehmend die Computer-aided Detection/Diagnosis (CAD) eingesetzt. Das Ziel dieser Arbeit ist die Evaluation von Methoden multivariater Datenanalyse, eingesetzt zur Diagnose von Herdbefunden. Die aus der Gesichtserkennung bekannten Methoden Eigenfaces und Fisherfaces werden auf Mammographieaufnahmen angewendet, um eine Einordnung von Herdbefunden nach benign oder malign zu tätigen. Eine weitere implementierte Methode wird als Eigenfeature Regularization and Extraction bezeichnet. Nach einer Einführung zum medizinischen Hintergrund und zum aktuellen Stand der computer-assistierten Detektion/Diagnose werden die verwendete Bilddatenbank vorgestellt, Normierungsschritte aufgeführt und die implementierten Methoden beschrieben. Die Methoden werden der ROC-Analyse unterzogen. Die Flächen unterhalb der ROC-Kurven dienen als Maß für die Aussagekraft der Methoden. Die erzielten Ergebnisse zeigen, dass alle implementierten Methoden eine schwache Aussagekraft haben. Dabei wurden die Erwartungen an die Fisherface- und ERE-Methode nicht erfüllt. Die Eigenface-Methode hat, angewendet auf Herdbefunde in Mammogrammen, die höchsten AUC-Werte erreicht. Die Berücksichtigung der Grauwertnormierung in der Auswertung zeigt, dass die qualitativen Unterschiede der Mammogramme nicht ausschlaggebend für die Ergebnisse sind.
In der Bildverarbeitung werden zunehmend Algorithmen unter Verwendung von prägnanten Merkmalen implementiert. Prägnante Merkmale können sowohl für die optische Kameraposebestimmung als auch für die Kalibrierung von Stereokamerasystemen verwendet werden. Für solche Algorithmen ist die Qualität von Merkmalen in Bildern ein entscheidender Faktor. In den letzten Jahren hat sich an dieser Stelle das von D. Lowe 2004 vorgestellte SIFT-Verfahren hervorgetan. Problematisch bei der Anwendung dieses Verfahrens ist seine hohe Komplexität und der daraus resultierende hohe Rechenaufwand. Um das Verfahren zu beschleunigen, wurden bereits mehrere Implementationen veröffentlicht, die teils weiterhin ausschließlich die CPU nutzen, teils neben der CPU auch die GPU zur Berechnung bestimmter Teilbereiche des SIFT verwenden. Diese Implementationen gilt es zu hinterfragen. Ebenso ist die Qualität der Merkmale zu untersuchen, um die Verwendbarkeit von SIFT-Merkmalen für andere Bereiche der Bildverarbeitung gewährleisten zu können. Zur Visualisierung der Ergebnisse wurde eine GUI erstellt.
Ziel dieser Arbeit ist die erweiterte Modellierung des Rettungsroboters "Robbie" in der USARSim Simulationsumbegung. Es soll zusätzlich zu den bestehenden Sonarsensoren und dem Laserscanner, ein Wärmesensor angebunden werden, der Wärmebilder an die entsprechenden Robbie-Module liefert. Der bisherige 2D Laserscanner ist so zu modifizieren, dass er 3D Laserdaten erzeugt und an die Robbie-Software weiterleitet. Um die Simulation möglichst Wirklichkeitsgetreu zu gestalten, sind realitätsnahe, verrauschte Daten zu erzeugen. Ferner soll die Effizienz der Simulation getestet werden. Dazu ist mittels einer Evaluation zu untersuchen, wie das Verhalten des simulierten Roboters, im Bezug zum realen Verhalten des Roboters steht. Ein weiteres, größeres Problem stellt die Bereitstellung von Stereobildern aus der Simulationsumgebung dar. Ein spezieller Kameraserver soll installiert und in Betrieb genommen werden. Die Umwandlung der so erzeugten Bilder, in ein geeignetes Format, und deren Weiterleitung an die Robbie-GUI, ist ebenfalls zu implementieren.
This thesis addresses the problem of terrain classification in unstructured outdoor environments. Terrain classification includes the detection of obstacles and passable areas as well as the analysis of ground surfaces. A 3D laser range finder is used as primary sensor for perceiving the surroundings of the robot. First of all, a grid structure is introduced for data reduction. The chosen data representation allows for multi-sensor integration, e.g., cameras for color and texture information or further laser range finders for improved data density. Subsequently, features are computed for each terrain cell within the grid. Classification is performedrnwith a Markov random field for context-sensitivity and to compensate for sensor noise and varying data density within the grid. A Gibbs sampler is used for optimization and is parallelized on the CPU and GPU in order to achieve real-time performance. Dynamic obstacles are detected and tracked using different state-of-the-art approaches. The resulting information - where other traffic participants move and are going to move to - is used to perform inference in regions where the terrain surface is partially or completely invisible for the sensors. Algorithms are tested and validated on different autonomous robot platforms and the evaluation is carried out with human-annotated ground truth maps of millions of measurements. The terrain classification approach of this thesis proved reliable in all real-time scenarios and domains and yielded new insights. Furthermore, if combined with a path planning algorithm, it enables full autonomy for all kinds of wheeled outdoor robots in natural outdoor environments.
Das Ziel der Arbeit besteht darin, Dominosteine in 2-D Bildern robust zu erkennen und zu klassifizieren. Als Eingabedaten fungieren alle Arten von Intensitätsbildern, und die Ausgabe besteht aus klassifizierten Dominosteinen. Das Problem, das gelöst werden soll, besteht darin, bei so vielen Dominosteinen wie möglich exakt zu bestimmen, um wlechen Dominstein es sich handelt. Zur Problemlösung werden Modellklassen verwendet, in denen explizites Wissen zur Merkmalsfindung und Objetkerkennung enthalten ist. Dazu wird eine Segmentierung entwickelt, die einem Dominostein ermöglicht, seine Bestandteile im Bild zu lokalisieren. Bei der Zuordnung zwischen den im Bild gefundenen und im Modell vorhandenen Komponenten entstehen mehrere Hypothesen. Um diese zu bewerten, werden unterschiedliche Abstandsfunktionen entwickelt und avaluiert. Für die Zuordnung von Segmentierungs Objekten zu Modellbestandteilene wir die Ungarische Methode verwendet.
Ziel der Arbeit ist es, Kriterien und Gütemaße zur Bewertung von Merkmalen aus der Musterklassifikation zu finden und diese so in eine graphische Evaluationsumgebung zu integrieren, dass der Nutzer befähigt wird, Erkenntnisse über die Struktur des Merkmalsraumes und die Qualität der einzelnen Merkmale zu erlangen, so dass er zielführend eine möglichst optimale Teilmenge - im Sinne der Klassifikationsgüte und der Anzahl der Merkmale - gewinnen kann. Zunächst werden allgemeine visuelle Merkmale von Pollenkörnern und die manuelle Pollenzählung vorgestellt sowie eine Übersicht über das Pollenmonitor-Projekt zur automatisierten Pollen-Erkennung gegeben. Einem Überblick über die Grundlagen der Mustererkennung mit den Teilschritten Merkmalsextraktion und Klassifikation folgt eine Vorstellung von Kriterien zur Merkmalsbewertung und Verfahren zur Merkmalsselektion. Im Mittelpunkt stehen Entwurf und Umsetzung der Evaluationsumgebung sowie Experimente zur Bewertung und Selektion optimaler Teilmengen aus dem Testdatensatz
Das Wissen über die genaue Position und Lage eines unbemannten Luftfahrzeugs spielt während der Durchführung einer autonomen Mission eine dominante Rolle. Unbemannte Luftfahrzeuge sind daher mit einer Vielzahl an Sensoren ausgestattet. Jeder dieser Sensoren leistet einen Beitrag zu diesem Ziel, wobei ein Sensor entweder eine absolute oder eine relative Angabe über den derzeitigen Aufenthaltsort oder die Fluglage ermöglicht. Alle Sensoren werden zu einer Gesamtlösung verknüpft, der Navigationslösung. Das am häufigsten eingesetzte - und auch meistens einzige - Verfahren zur absoluten Positionsbestimmung ist die Satellitennavigation. Diese ist abhängig von einer direkten Sichtlinie der mitgeführten Empfangsantenne zu den Satelliten. Falls es zu einer Unterbrechung dieser Sichtlinie kommt, ist eine genaue, absolute Positionsangabe nicht mehr möglich. Die Navigationslösung hat somit nur noch Sensoren zur Verfügung, die eine relative Positions- bzw. Lageangabe ermöglichen. Hierzu gehören das mitgeführte Magnetometer und das Inertialmesssystem. Beide unterliegen dem Phänomen der Drift. Dieses bedeutet, dass die Genauigkeit der Positions- und Lageangabe bei einem Ausfall der Satellitennavigation mit fortschreitender Zeit zunehmend unzuverlässig wird. Um diese Drift in einem bestimmten Rahmen zu kompensieren, kann ein Bildsensor verwendet werden. Dieser ermöglicht eine bildbasierte Bewegungsschätzung und stellt somit einen zusätzlichen Sensor zur Messung von relativen Lage- und Positionsänderungen dar. Ziel der Arbeit ist es, ein Verfahren zur bildbasierten Bewegungsschätzung für einen unbemannten Helikopter zu entwickeln und zu evaluieren.
In current research of the autonomous mobile robots, path planning is still a very important issue.
This master's thesis deals with various path planning algorithms for the navigation of such mobile systems. This is not only to determine a collision-free trajectory from one point to another. The path should still be optimal and comply with all vehicle-given constraints. Especially the autonomous driving in an unknown and dynamic environment poses a major challenge, because a closed-loop control is necessary and thus a certain dynamic of the planner is demanded.
In this paper, two types of algorithms are presented. First, the path planner, based on A*, which is a common graph search algorithm: A*, Anytime Repairing A*, Lifelong Planning A*, D* Lite, Field D*, hybrid A*. Second, the algorithms which are based on the probabilistic planning algorithm Rapidly-exploring Random Tree (Rapidly-exploring Random Tree, RRT*, Lifelong Planning RRT*), as well as some extensions and heuristics. In addition, methods for collision avoidance and path smoothing are presented. Finally, these different algorithms are evaluated and compared with each other.
Das Forschungsprojekt Bildanalyse zur Ornamentklassifikation hat es sich zur Aufgabe gemacht, ornamentale Strukturen in Bildern computergestützt zu lokalisieren, analysieren und klassifizieren. Grundlage des Projekts bildet eine umfangreiche Bilddatenbank, deren Abbildungen manuell vorsortiert sind. Durch Kombinationen mit Methoden der Bildverabeitung und der Verwendung von Wissensdatenbanken (Knowledge Databases) soll diese Kategorisierung weiter verfeinert werden. Sämtliche Bilder durchlaufen bis zum Prozess der Ornamentklassifikation mehrere Vorverarbeitungsschritte. Beginnend mit einem Normalisierungsprozess, bei dem das Bild u. a. entzerrt und entrauscht wird, werden im Anschluss Interessensregionen selektiert. Diese Regionen bilden die Grundlage für das spätere Lokalisieren der Ornamente. Aus ihnen werden mit unterschiedlichen Verfahren Merkmale extrahiert, die wiederum in der Datenbank gespeichert werden. In dieser Arbeit wurde ein weiteres solches Verfahren implementiert und auf seine mögliche Verwendung in dem Projekt untersucht.
Technologische Fortschritte auf dem Gebiet der integrierten Halbleitertechnik, die unter anderem auch zur gestiegenen Leistungsfähigkeit der Kamerasensoren beitragen, konzentrierten sich bisher primär auf die Schnelligkeit und das Auflösungsvermögen der Sensoren. Die sich ständig verändernde Entwicklung hat jedoch direkte Folgen auf das physikalische Verhalten einer Kamera und damit auch Konsequenzen für die erreichbare geometrische Genauigkeit einer photogrammetrischen 3D-Rekonstruktion. Letztere stand bisher nicht im Fokus der Forschung und ist eine Aufgabe, der sich diese Arbeit im Sinne der Photogrammetrie und Messtechnik stellt. Aktuelle Untersuchungen und Erfahrungen aus industriellen Projekten zeigen in diesem Zusammenhang, dass das geometrisch-physikalische Verhalten digitaler Kameras - für höchste photogrammetrische Ansprüche - noch nicht ausreichend modelliert ist. Direkte Aussagen zur erreichbaren Genauigkeit bei gegebener Hardware erweisen sich daher bislang als unzureichend. Ferner kommt es aufgrund der unpräzisen Modellierung zu Einbußen in der Zuverlässigkeit der erreichten Ergebnisse. Für den Entwickler präziser kamerabasierter Messverfahren folgt daraus, dass zu einer optimalen Schätzung der geometrischen Genauigkeit und damit auch vollständigen Ausschöpfung der Messkamera geeignete mathematische Modelle erforderlich sind, die das geometrisch physikalische Verhalten bestmöglich beschreiben. Diese Arbeit beschreibt, wie die erreichbare Genauigkeit einer Bündelblockausgleichung, schon a priori mithilfe des EMVA1288 Standards approximiert werden kann. Eine in diesem Zusammenhang wichtige Teilaufgabe ist die Schaffung einer optimalen Messanordnung. Hierzu gehören Untersuchungen der üblicherweise verwendeten Kalibrierkörper und die Beseitigung von systematischen Fehlern vor und nach der Bündelblockausgleichung. Zum Nachweis dieser Systematiken wird eine auf statistischem Lernen basierende Methode beschrieben und untersucht. Erst wenn alle genauigkeitsmindernden Einflüsse berücksichtigt sind, wird der Anteil des Sensors in den Messdaten sichtbar und damit auch mathematisch parametrisierbar. Die Beschreibung des Sensoreinflusses auf die erreichbare Genauigkeit der Bündelblockausgleichung erfolgt in drei Schritten. Der erste Schritt beschreibt den Zusammenhang zwischen ausgewählten EMVA1288-Kennzahlen und der Unsicherheit eines Grauwertes. Der zweite Schritt ist eine Modellierung dieser Grauwertunsicherheit als Zentrumsunsicherheit einer Zielmarke. Zur Beschreibung dieser Unsicherheit innerhalb der Bündelblockausgleichung wird ein stochastisches Modell, basierend auf dem EMVA1288-Standard, vorgeschlagen. Ausgehend vom Rauschen des Zielmarkenmittelpunktes wird im dritten Schritt die Unsicherheit im Objektraum beispielhaft mit Hilfe von physikalisch orientierten Simulationen approximiert. Die Wirkung der vorgeschlagenen Methoden wird anhand von Realkalibrierungen nachgewiesen. Abschließend erfolgt die Diskussion der vorgeschlagenen Methoden und erreichten Ergebnisse sowie ein Ausblick auf kommende Untersuchungen.
Pedestrian Detection in digital images is a task of huge importance for the development of automaticsystems and in improving the interaction of computer systems with their environment. The challenges such a system has to overcome are the high variance of the pedestrians to be recognized and the unstructured environment. For this thesis, a complete system for pedestrian detection was implemented according to a state of the art technique. A novel insight about precomputing the Color Self-Similarity accelerates the computations by a factor of four. The complete detection system is described and evaluated, and was published under an open source license.
Die Zeitschrift c't stellte in der Ausgabe 02/2006 einen Bausatz für einen kleinen mobilen Roboter vor, den c't-Bot, der diese Studienarbeit inspirierte. Dieser Bausatz sollte die Basis eines Roboters darstellen, der durch eine Kamera erweitert und mit Hilfe von Bildverarbeitung in der Lage sein sollte, am RoboCupSoccer-Wettbewerb teilzunehmen. Während der Planungsphase veränderten sich die Ziele: Statt einem Fußballroboter sollte nun ein Roboter für die neu geschaffene RoboCup-Rescue-League entwickelt werden. In diesem Wettbewerb sollen Roboter in einer für sie unbekannten Umgebung selbstständig Wege erkunden, bzw. Personen in dieser Umgebung finden. Durch diese neue Aufgabenstellung war sofort klar, dass der c't-Bot nicht ausreichte, und es musste ein neuer Roboter entwickelt werden, der mittels Sensoren die Umgebung wahrnehmen, durch eine Kamera Objekte erkennen und mit Hilfe eines integrierten Computers diese Bilder verarbeiten sollte. Die Entstehung dieses Roboters ist das Thema dieser Studienarbeit.
Im Rahmen dieser Diplomarbeit wird ein Verfahren zur markerlosen Pose-Rekonstruktion vorgestellt. Die Modellierung des menschlichen Körpers geschieht auf Basis der Starrkörperphysik. Mittels eines probabilistischen Ansatzes wird das Modell in eine volumetrische Rekonstruktion der Szene eingepasst. Die hierfür zu bewältigende Suche in hochdimensionalen Zustandsräumen wird mittels eines Partikelfilters in Kombination mit Simulierter Abkühlung vorgenommen. Eine Berücksichtigung anthropometrischer Besonderheiten sowie kinematischer Grenzen wird zur weiteren Stützung des Verfahrens vorgenommen. Die vollständig Umsetzung des Verfahrens durch dreidimensionale Beobachtungs- und Messmodelle führt zu einer exakten Poserekonstruktion und vermeidet Mehrdeutigkeiten während der Auswertung.
The cytological examination of bone marrow serves as clarification of variations in blood smears. It is also used for the clarification of anemia, as exclusion of bone marrow affection at lymphoma and at suspicion of leukemia. The morphological evaluation of hematopoietic cells is the basis for the creation of the diagnosis and for decision support for further diagnostics. Even for experienced hematologists the manual classification of hematopoietic cells is time-consuming, error-prone and subjective. For this reason new methods in the field of image processing and pattern recognition for the automatic classification including preprocessing steps are developed for a computer-assisted microscopy system. These methods are evaluated by means of a huge reference database. The proposed image analysis procedures comprise methods for the automated detection of smears, for the determination of relevant regions, for the localization and segmentation of single hematopoietic cells as well as for the feature extraction and classification task. These methods provide the basis for the first system for the automated, morphological analysis of bone marrow aspirates for leukemia diagnosis and are therefore a major contribution for a better and more efficient patient care in the future.
Für diese Studienarbeit können zwei Schwerpunkte genannt werden. Einerseits sollten verschiedene Verfahren zur Fluchtpunktschätzung aus Wissenschaft und Forschung eingänglich untersucht und erörtert werden. Dies im Hinblick auf ein detaillierteres Analyseverfahren, das die Möglichkeit bietet, mehrere Gebäudeseiten automatisiert entzerren zu können. Andererseits sollten sich die gewünschten Verbesserungen in das bereits vorhandene Gesamtsystem des Projekts Ornamente eingliedern, um so das Endergebnis der Klassifizierung von Ornamenten zu verbessern. Daraus entstanden die in Kapitel 1 genannten Hauptaufgaben. Neben dem TAM-Verfahren, dass im vorhandenen Teilprozess der Entzerrung bereits zum Einsatz kam, wurde in Kapitel 2 das Verfahren KHT nach Tuytelaars beschrieben. Ansätze der KHT waren im Bestehenden zu erkennen, wie sich während der anfänglichen Einarbeitung in das Themengebiet Fluchtpunktfindung und dem Gesamtsystem der Ornamentklassifizierung herausstellte. Allerdings waren einige Aspekte, wie sie von Tytelaars et al. in [TGPM98] zur KHT beschrieben sind, nicht enthalten. Der erste Lösungsansatz zur Entzerrung von mehreren Gebäudeseiten bestand darin, die KHT unabhängig von allen Prozessen des Gesamtsystems zu implementieren, um so die Genauigkeit der Fluchtpunktdetektion zu erhöhen. Mit dieser detaillierteren Fluchtpunktfindung sollte das bereits bestehende Modul der Entzerrung zu besseren Ergebnissen führen. Um die Entzerrung für sich alleine nutzen zu können, musste sie vorerst von der vorhandenen Fluchtpunktschätzung isoliert werden. Während der in Kapitel 3 beschriebenen Umstrukturierung und Trennung der beiden Prozesse wurde das eigentliche Problem der Verarbeitung von mehreren Gebäudeseiten erkannt. Nicht die Fluchtpunkte und die Verfahren für ihre Detektion sind ausschlaggebend, weitere Ebenen im Bild erkennen zu können. Vielmehr verhindert dies der fehlende Rückschluss von extrahierten Kanten auf die Lage, Größe und Anzahl der im Bild vorhandenen Gebäudeseiten. Wären hierzu Informationen bekannt, könnten, wie auch für ornamentale Bereiche, ROIs festgelegt werden, die mit einer hohen Wahrscheinlichkeit eine abgegrenzte Gebäudeseite beinhalten. Um diese daraufhin zu entzerren, kann das jetzt isolierte Programm zur Entzerrung genutzt werden. Die KHT umzusetzen, wurde als Lösungsweg verworfen und der eigene Lösungsansatz "Level of Detail" aus Kapitel 3 wurde entwickelt. Die entstandenen Programme wurden wie gefordert in PUMA, der "Programmierumgebung für die Musteranalyse" eingebunden. Wie die Test aus Kapitel 4 jedoch zeigen, konnte damit keine Verbesserung erzielt werden.
Erweiterung der Spielegraphik von Cam2Dance durch den Einsatz von Shadern und komplexen Modellen
(2006)
3D-Curve-Skeletons are often used, because the object surface repesentation is less complex and also needs less computing power in further processing, compared to the representation created by the Medial Axis Transformation introduced 1967 by Harry Blum.
This theses aims at developing a 3D curve skelton approximation algorithm that keeps these advantages and is also able to handle different scenarios of the object surface input data.
Diese Diplomarbeit präsentiert ein interaktives System, welches die Vorzüge eines handelsüblichen Whiteboards mit denen eines Computers kombiniert. Die Inhalte des Whiteboards werden von einer Kamera aufgenommen, vom Computer verarbeitet und für eine Applikation als Eingabe verwendet bzw. durch geeignete Grafiken ergänzt. Dadurch erweitert das Whiteboard die Benutzeroberfläche des Computers. Der Anwender ist in der Lage über handgezeichnete Primitive (Viereck, Dreieck, Kreis) bzw. Kombinationen der Primitive das entwickelte interaktive Spiel zu spielen.
Personenverfolgungssysteme bestehen oft aus teurer und meist an Personen befestigter Trackinghardware, die die Bewegungsfreiheit der Personen deutlich einschränkt. Durch die in den letzten Jahrzehnten angestiegene Rechenleistung der Computersysteme ist es möglich, Bilddaten von digitalen Video-, Foto- oder Webkameras in Echtzeit auszuwerten. Dadurch erschließen sich neue Möglichkeiten, die eine Verfolgung von Personen auch ohne die störrige Trackinghardware erlauben. In dieser Arbeit soll ein System zum Verfolgen von Personen auschließlich unter Zuhilfenahme einer Videokamera und eines Computers, also ohne Marker, entwickelt werden.
3D-models are getting more important in many areas such as multimedia applications, robotics or film industries. Of particular interest is the creation of 3D-models from a series of monocular images. This is because the cameras that are required for this purpose are becoming cheaper, smaller and more sophisticated at the same time. Increasingly often, suitable cameras are already integrated in devices like smartphones, tablet PCs or cars for example. Hence, there is a great potential for applications of this reconstruction technique.
This thesis is based on the use of a series of images that were taken with arncalibrated camera. The first step is to extract point correspondences from this image series making use of the well-known SURF- and A-KAZE-features. Starting from the point correspondences, it is possible to reconstruct a 3D-Modell with different algorithms that consists of a point cloud and camera poses. To reduce errors in the 3D-model, this thesis especially focuses on explaining the bundle adjustment algorithm, which is being used for a non-linear error minimization of a cost function.
The thesis also introduces the application for the 3D-reconstruction and the visualization of the results, that was developed in the course of this thesis.
The implemented system is evaluated based on statistics and the newly aquiredrnknowledge is presented. The thesis concludes with a summary of its results, and a number of ideas for potential future applications and developments.
Quadrokopter sind Helikopter mit vier in einer Ebene angeordneten Rotoren. Kleine unbemannte Modelle, die oft nur eine Schubkraft von wenigen Newton erzeugen können, sind im Spielzeug- und Modellbaubereich beliebt, werden aber auch von Militär und Polizei als Drohne für Aufklärungs- und Überwachungsaufgaben eingesetzt. Diese Diplomarbeit befasst sich mit den theoretischen Grundlagen der Steuerung eines Quadrokopters und entwickelt darauf aufbauend eine kostengünstige Steuerplatine für einen Modellquadrokopter.
Die theoretischen Grundlagen enthalten eine Untersuchung der Dynamik eines frei fliegenden Quadrokopters, bei der Bewegungsgleichungen hergeleitet und mit den Ergebnissen verglichen werden, die in "Design and control of quadrotors with application to autonomous flying" ([Bou07]) vorgestellt wurden. Weiterhin wird die Funktionsweise verschiedener Sensoren beschrieben, die zur Bestimmung der aktuellen räumlichen Ausrichtung geeignet sind, und es werden Verfahren besprochen, mit denen die Ausrichtung aus den Messwerten dieser Sensoren abgeschätzt werden kann. Zusätzlich wird in den Schiefkörper der Quaternionen eingeführt, in dem dreidimensionale Rotationen kompakt dargestellt und effizient verkettet werden können.
Daran anschließend wird die Entwicklung einer einfachen Steuerplatine beschrieben, die sowohl einen autonomen Schwebeflug als auch Fernsteuerung ermöglicht. Die Platine wurde auf einem X-Ufo-Quadrokopter der Firma Silverlit entwickelt und getestet, der daher ebenfalls vorgestellt wird. Die eingesetzten Bauteile und deren Zusammenspiel werden besprochen. Dabei ist insbesondere die WiiMotionPlus hervorzuheben, die als kostengünstiges Gyrosensormodul verwendet wird. Daneben werden verschiedene Aspekte der Steuersoftware erläutert: die Auswertung der Sensordaten, die Zustandsschätzung mit Hilfe des expliziten komplementären Filters nach Mahony et al. ([MHP08]), die Umsetzung des Ausrichtungsreglers sowie die Erzeugung der Steuersignale für die Motoren. Sowohl die Steuersoftware als auch Schaltplan und Platinenlayout der Steuerplatine liegen dieser Arbeit auf einer CD bei. Schaltplan und Platinenlayout sind zusätzlich im Anhang der Arbeit abgedruckt.
On the recognition of human activities and the evaluation of its imitation by robotic systems
(2023)
This thesis addresses the problem of action recognition through the analysis of human motion and the benchmarking of its imitation by robotic systems.
For our action recognition related approaches, we focus on presenting approaches that generalize well across different sensor modalities. We transform multivariate signal streams from various sensors to a common image representation. The action recognition problem on sequential multivariate signal streams can then be reduced to an image classification task for which we utilize recent advances in machine learning. We demonstrate the broad applicability of our approaches formulated as a supervised classification task for action recognition, a semi-supervised classification task for one-shot action recognition, modality fusion and temporal action segmentation.
For action classification, we use an EfficientNet Convolutional Neural Network (CNN) model to classify the image representations of various data modalities. Further, we present approaches for filtering and the fusion of various modalities on a representation level. We extend the approach to be applicable for semi-supervised classification and train a metric-learning model that encodes action similarity. During training, the encoder optimizes the distances in embedding space for self-, positive- and negative-pair similarities. The resulting encoder allows estimating action similarity by calculating distances in embedding space. At training time, no action classes from the test set are used.
Graph Convolutional Network (GCN) generalized the concept of CNNs to non-Euclidean data structures and showed great success for action recognition directly operating on spatio-temporal sequences like skeleton sequences. GCNs have recently shown state-of-the-art performance for skeleton-based action recognition but are currently widely neglected as the foundation for the fusion of various sensor modalities. We propose incorporating additional modalities, like inertial measurements or RGB features, into a skeleton-graph, by proposing fusion on two different dimensionality levels. On a channel dimension, modalities are fused by introducing additional node attributes. On a spatial dimension, additional nodes are incorporated into the skeleton-graph.
Transformer models showed excellent performance in the analysis of sequential data. We formulate the temporal action segmentation task as an object detection task and use a detection transformer model on our proposed motion image representations. Experiments for our action recognition related approaches are executed on large-scale publicly available datasets. Our approaches for action recognition for various modalities, action recognition by fusion of various modalities, and one-shot action recognition demonstrate state-of-the-art results on some datasets.
Finally, we present a hybrid imitation learning benchmark. The benchmark consists of a dataset, metrics, and a simulator integration. The dataset contains RGB-D image sequences of humans performing movements and executing manipulation tasks, as well as the corresponding ground truth. The RGB-D camera is calibrated against a motion-capturing system, and the resulting sequences serve as input for imitation learning approaches. The resulting policy is then executed in the simulated environment on different robots. We propose two metrics to assess the quality of the imitation. The trajectory metric gives insights into how close the execution was to the demonstration. The effect metric describes how close the final state was reached according to the demonstration. The Simitate benchmark can improve the comparability of imitation learning approaches.
In this thesis we present an approach to track a RGB-D camera in 6DOF andconstruct 3D maps. We first acquire, register and synchronize RGB and depth images. After preprocessing we extract FAST features and match them between two consecutive frames. By depth projection we regain the z-value for the inlier correspondences. Afterwards we estimate the camera motion by 3D point set alignment between the correspondence set using least-squares. This local motion estimate is incrementally applied to a global transformation. Additionally wernpresent methods to build maps based on point cloud data acquired by a RGB-D camera. For map creation we use the OctoMap framework and optionally create a colored point cloud map. The system is evaluated with the widespread RGB-D benchmark.
Zur Erstellung von 3-D-Oberflächenmodellen real existierender Objekte wird häufig sehr teure Hardware eingesetzt, z.B. 3-D-Laser-Range-Scanner. Da diese keine Grauwert- oder Farbinformationen erfassen können, muss das Objekt zur Wiedergabe farbiger Strukturen zusätzlich abfotografiert und mit den Bildern registriert werden. Die Arbeit entwickelt demgegenüber ein Verfahren zum Einsatz eines kalibrierten Stereokamerasystems. Aus den erhaltenen Sequenzen zweidimensionaler Stereobilder kann ein texturiertes 3-D-Mesh rekonstruiert werden. Im Vergleich zum Einsatz eines Scanners ist dieses Verfahren zwar weniger genau, aber dafür preisgünstiger, platzsparend und schneller einsetzbar. Den Schwerpunkt der Arbeit bilden die Fusionierung der Tiefenkarten und die Erstellung eines texturierten Meshs aus diesen.
In dieser Studienarbeit wurde ein Algorithmus vorgestellt, um sich mit einem Roboter in unbekanntem Gebiet zu lokalisieren und gleichzeitig eine Karte von der Umgebung zu erstellen. Die Lokalisation des Roboters geschieht auf 2D Ebene und errechnet die (x, y, θ)T Position des Roboters zu jedem Zeitpunt t inkrementell. Der Algorithmus baut auf dem FastSLAM 2.0 Algorithmus auf und wurde abgeändert, um eine möglichst genaue Lokalisation in Gebäuden zu ermöglichen. Hierfür wurden mehrere verschieden Arten von möglichen Landmarken untersucht, verglichen und kombiniert. Schwerpunkt dieser Studienarbeit war das Einarbeiten in das Extended Kalman-Filter und die Selektion von Landmarken, die für den Einsatz in Gebäuden geeignet sind.
The Web is an essential component of moving our society to the digital age. We use it for communication, shopping, and doing our work. Most user interaction in the Web happens with Web page interfaces. Thus, the usability and accessibility of Web page interfaces are relevant areas of research to make the Web more useful. Eye tracking is a tool that can be helpful in both areas, performing usability testing and improving accessibility. It can be used to understand users' attention on Web pages and to support usability experts in their decision-making process. Moreover, eye tracking can be used as an input method to control an interface. This is especially useful for people with motor impairment, who cannot use traditional input devices like mouse and keyboard. However, interfaces on Web pages become more and more complex due to dynamics, i.e., changing contents like animated menus and photo carousels. We need general approaches to comprehend dynamics on Web pages, allowing for efficient usability analysis and enjoyable interaction with eye tracking. In the first part of this thesis, we report our work on improving gaze-based analysis of dynamic Web pages. Eye tracking can be used to collect the gaze signals of users, who browse a Web site and its pages. The gaze signals show a usability expert what parts in the Web page interface have been read, glanced at, or skipped. The aggregation of gaze signals allows a usability expert insight into the users' attention on a high-level, before looking into individual behavior. For this, all gaze signals must be aligned to the interface as experienced by the users. However, the user experience is heavily influenced by changing contents, as these may cover a substantial portion of the screen. We delineate unique states in Web page interfaces including changing contents, such that gaze signals from multiple users can be aggregated correctly. In the second part of this thesis, we report our work on improving the gaze-based interaction with dynamic Web pages. Eye tracking can be used to retrieve gaze signals while a user operates a computer. The gaze signals may be interpreted as input controlling an interface. Nowadays, eye tracking as an input method is mostly used to emulate mouse and keyboard functionality, hindering an enjoyable user experience. There exist a few Web browser prototypes that directly interpret gaze signals for control, but they do not work on dynamic Web pages. We have developed a method to extract interaction elements like hyperlinks and text inputs efficiently on Web pages, including changing contents. We adapt the interaction with those elements for eye tracking as the input method, such that a user can conveniently browse the Web hands-free. Both parts of this thesis conclude with user-centered evaluations of our methods, assessing the improvements in the user experience for usability experts and people with motor impairment, respectively.
The purpose of this bachelor- thesis is to teach Lisa - a robot of the university of Koblenz- AGAS department developed for participation in the @home league of the RoboCup - to draw. This requires the expansion of the robbie software framework and the operation of the robot- hardware components. Under consideration of a possible entry in the Open Challenge of the @home RoboCup, the goals are to detect a sheet of paper using Lisa- visual sensor, a Microsoft Kinect and draw on it using her Neuronics Katana robot arm. In addition, a pen mounting for the arm- gripper has to be constructed.
Outlined within this thesis are the procedures utilized to convert an image template into movement of the robotic arm, which in turn leads to drawing of a painting by the pen attached to the arm on a piece of paper detected by the visual sensor through image processing. Achieved were the parsing and drawing of an object made up of an indefinite amount of straight lines from a SVG-file onto a white sheet of paper, detected on a slightly darker surface and surrounded by various background objects or textures.
The purpose of this master thesis is to enable the Robot Lisa to process complex commands and extract the necessary information in order to perform a complex task as a sequence of smaller tasks. This is intended to be achieved by the improvement of the understanding that Lisa has of her environment by adding semantics to the maps that she builds. The complex command itself will be expected to be already parsed. Therefore the way the input is processed to become a parsed command is out of the scope of this work. Maps that Lisa builds will be improved by the addition of semantic annotations that can include any kind of information that might be useful for the performance of generic tasks. This can include (but not necessarily limited to) hierarchical classifications of locations, objects and surfaces. The processing of the command in addition to some information of the environment shall trigger the performance of a sequence of actions. These actions are expected to be included in Lisa- currently implemented tasks and will rely on the currently existing modules that perform them.
Nevertheless the aim of this work is not only to be able to use currently implemented tasks in a more complex sequence of actions but also make it easier to add new tasks to the complex commands that Lisa can perform.
Texture-based text detection in digital images using wavelet features and support vector machines
(2010)
In this bachelor thesis a new texture-based approach for the detection of text in digital images is presented. The procedure can be essentially divided into two main tasks, in detection of text blocks and detection of individual words, whereby the individual words are extracted from the detected text blocks. Roughly, the developed method acts with multiple support vector machines, which classify possible text regions of an image into real text regions, using wavelet-based features. In the process the possible text regions are defifined by edge projections with diσerent orientations. The results of the approach are X/Y coordinates, width and height of rectangular regions of an image, which contains individual words. This knowledge can be further processed, for example by an optical character recognition software to get the important and useful text information.