Activity recognition with instrumented and wearable artifacts

Die Erkennung menschlicher Aktivitäten anhand von (am Körper getragener) Sensorik ermöglicht neue Applikationen und eine nahtlose Einbettung von Computer-Interaktionen in unser tägliches Leben. Durch die Ableitung momentan relevanter Informationen aus Sensordaten, ist keine explizite Interaktion mehr notwendig. Die Detektion von Aktivitäten aus Sensordaten besteht aus mehrere Herausforderungen, einerseits technischer und andererseits wissenschaftlicher Natur. Diese werden in der vorliegender Arbeit präsentiert. Von technischer Seite kann die Speicherung und Verarbeitung großer Sensordaten schnell unhandlich werden. Hier wird ein Ansatz vorgestellt, der auf der Speicherung mithilfe eines Multi-Media Formats basiert. In diesem Format lassen sich Video, Audio, Bewegungsdaten, weitere Sensordaten und Ground Truth Daten, in einer einzigen, streaming-fähigen Datei ablegen. Weiterhin wird ein auf Unix-Prozessen basierendes Aktivitäts-Erkennungs Framework, das flexibel, programmiersprachenunabhängig und parallelisierbar ist, vorgestellt. Die wissenschaftliche Herausforderung besteht in der Aufzeichnung lebensnaher Daten, die menschliche Aktivitäten beinhalten. Eines der Ziele dieser Arbeit ist diesen Datenaufzeichungprozess vollständig zu automatisieren. Dies betrifft insbesondere die Aufzeichnung von Ground Truth Daten. Folgt man der Annahme, das Werkzeuge nur für einen bestimmten Zweck eingesetzt werden, lassen sich diese instrumentieren und dienen damit der Erkennung von Aktivitäten. Dies erfordert ein hohen Entwicklungsaufwand, der sich allerdings nach der Aufzeichnung möglicherweise durch die Erkennung mit einem allgemeineren Sensor ersetzen lässt. Diese Idee wird anhand zweier Beispiele beleuchtet: dem Erkennen von Rauchergesten mithilfe von Bewegungssensorik und der Erkennung von Prozessschritten in Biologie-Laboren, die zur Navigation von Videoaufzeichnung und Abarbeitung von Aufgabenlisten dient. Zur Detektion von Rauchergesten wurde ein Datensatz mit 351 Instanzen mithilfe eines Ensembles aus Smartphone, Smartwatch und instrumentiertem Feuerzeug aufgezeichnet. Eine Erkennung basierend auf einem maschinellem Lernverfahren, eine triviale Erkennung, und die Erfassung des Rauchverhaltens mithilfe eines Fragebogens wurden verglichen. Im Biologie-Labor wurde eine systematische Studie mit 22 Teilnehmern, ein Einsatz von Google Glass als Anleitung in einem Praktikum auf Hochschulniveau, und als Aufnahmesystem in einem Forschungslabor, durchgeführt.