Berührungslose Steuerung elektronischer Geräte mittels Fingergestik

Inhalt

• Einsatz von Infrarotsensoren zur Erkennung und Verfolgung von Fingerbewegung
• PC Anbindung von Rotations- und Verschiebungssensoren (IMUs) zur
• Lagebestimmung im Raum
• Datentransport mittels WLAN / Bluetooth
• Erstellung geometrischer Raummodelle mit 3D Tiefensensor
• Evaluierung verschiedener Gesten zur intuitiven Gerätesteuerung
• Beispielhafte Ansteuerung eines Gerätes (TAPI, TightVNC)

Dauer: 3 Monate
Status: ab sofort

Aufgabenstellung

In dieser Bakkelaureatsarbeit sollen die Möglichkeiten einer Gerätesteuerung mittels Fingerbewegungen ausgelotet werden.
Dazu sollen an einem dreh- und verschiebbaren Stuhl Sensoren angebracht werden, welche die Bewegungen der Finger möglichst genau verfolgen und messen. Um die Position und Richtung der Fingersensoren bezogen auf den Raum zu erhalten, sind weitere Sensoren am Stuhl angebracht, welche die Drehwinkel und Lageverschiebung registrieren. Ziel ist die möglichst genaue Bestimmung der Position und Orientierung im Raum, wodurch sich die Zeigerichtung der Finger des Anwenders ermitteln lässt.
Die Messdaten werden drahtlos vom Sessel zu einem Steuerrechner geschickt. Für Feedback vom Rechner zum Anwender ist ein Vibrationselement im Rückenteil des Sessels vorgesehen.
Steuerbare Objekte im Raum werden durch ihre Position in einem geometrischen Modell festgelegt. Um zum Raummodell zu gelangen, ist der Einsatz eines Tiefensensors vorgesehen, mit dessen Hilfe der Raum zuvor gescannt, und aus den Tiefenbildern das 3D Modell rekonstruiert werden soll. Die Lage der zu steuernden Objekte wird mit einer 3D Modellierungsanwendung festgelegt.
Weiters sollen verschiedene Fingerbewegungen als geeignete Auslöser für Steuersignale untersucht werden, um möglichst gut zwischen Alltagsgestik und Steuergestik unterscheiden zu können.
Um den praktischen Einsatz der angewandten Techniken zu demonstrieren, ist ein Telefon (fixe Position) über TAPI anzusteuern, d.h. Annehmen eines Anrufes über Headset (Feedback über Vibrationssensor), Beenden eines Anrufes, Auswahl einer Nummer am Computerbildschirm und Anruf dieser Nummer.
Die Arbeiten an dieser Bachelorarbeit erfordern demnach Programmierkenntnisse, vorzugsweise in C#, Flexibilität in der Anwendung verschiedenster Sensorik Schnittstellen (USB, WLAN, Bluetooth, TAPI), wissenschaftliche Genauigkeit beim Auswerten von Usability-Tests (Fingersteuerungsbewegungen), sowie Kreativität im Umgang mit technischen Schwierigkeiten.

Vorgesehene Sensoren

• Bewegungssensoren
  • Leap Motion
  • ev. ein weiterer Tiefensensor

• Drehwinkelsensoren
        XSense (IMU)
• Verschiebungssensoren
        Optomechnische (mausähnliche) Systeme
• Vibrationselemente
        Mobiltelefon – angesteuert über PushMail API oder direkt über TCP/IP
• Tiefensensor
        Kinect V2