Im Rahmen der Vorlesung “Interfacegestaltung” entstanden im Sommersemester 2010 an der HdM Stuttgart auch einige andere Arbeiten. Einen kurzen (aber nicht vollständigen) Video-Überblick gibt es hier:
Dieser Blog dokumentiert die Entwicklung der Physik-Lernsoftware “TouchPhysics” für einen Multitouch-Tisch. Das Projekt ist inzwischen abgeschlossen und nähere Infos zur Umsetzung gibt es in der Zusammenfassung. Folgendes Video zeigt unseren Prototypen von TouchPhyiscs:
Andrea Müller & Jürgen Röhm
Informationsdesign, Hochschule der Medien in Stuttgart
Die Multitouch-Technologie erlaubt neue und intuitive Formen der Interaktion mit Computern. Dabei werden Eingaben nicht über Maus und Tastatur getätigt, sondern direkt mit dem Finger. Neben vielen anderen Anwendungsgebieten, kann die Multitouch-Technik auch für multimediales Lernen eingesetzt werden. Besonders für exploratives und selbstgesteuertes Lernen macht dies Sinn.
TouchPhysics ist eine gesten-basierte Multitouch-Anwendung, die auf diesem Prinzip aufbaut. Dabei werden physikalische Verhaltensweisen von Objekten und ihre Auswirkungen auf andere Objekte veranschaulicht, die in der echten Welt nicht zu sehen sind. So werden zum Beispiel die verschiedenen Kräfte simuliert, die auf einen Körper einwirken.
Lernkarteikarte
Konkret geht es bei TouchPhysics um das Beispiel der Schiefen Ebene. Die Anwendung enthält, unter anderem, verschiedene Lernkarteikarten. Diese enthalten Erklärungen zum Themengebiet Schiefe Ebene, sowie alle nötigen physikalischen Formeln und Definitionen. Ausgehend von den Eigenschaften der ausgewählten Objekte, werden dann die verschiedenen Kräfte dynamisch berechnet. Der Nutzer kann so beobachten, welche Parameter sich wo in den Berechnungen niederschlagen, und wie deren Auswirkung auf den gezeichneten Körper ist. Ziel von TouchPhysics ist es, das ganzheitliche Verständnis für das Thema zu fördern und interaktiv, spielerisch Wissen zu vermitteln. Es ist denkbar, dass das Physik-Lernprogramm im Unterricht verwendet wird. Ein Lehrer könnte so z.B. physikalische Berechnungen veranschaulichen. Außerdem könnte TouchPhysics als Ergänzung zum Unterricht dienen, bei dem Schüler selbstgesteuert ausprobieren und spielerisch ihr Wissen vertiefen.
Einstellen des Gewichts
Der Nutzer kann ganz einfach eine Kugel und eine Schiefe Ebene auf den Touchscreen zeichnen und diese mit dem Finger umher schieben. Die Elemente bekommen physikalische Eigenschaften und verhalten sich dabei ähnlich wie in der richtigen Welt. Diese Eigenschaften lassen sich direkt am Objekt ändern. So kann z.B. das Gewicht einer Kugel verstellt werden, indem der Nutzer den Pfeil der Gewichtskraft verlängert oder verkürzt. Diese Veränderung wirkt sich dabei unmittelbar auf die Interaktion aus. So wirkt eine schwere Kugel beim Bewegen träger als Leichtere. Größe und Winkel der Schiefen Ebene lassen sich ebenfalls bequem per Schieberegler verstellen.
Schreibtisch Metapher
Besonderen Wert wurde bei TouchPhysics auf eine intuitive Bedienung und positive Nutzer-Erfahrung gelegt. Die Gestaltung basiert auf der Metapher eines Schreibtisches bzw. eines College-Blocks. Dadurch kann der Nutzer seine Vorerfahrungen aus der echten Welt auf das System übertragen. So verbirgt sich z.B. die Löschen-Funktion der Anwendung hinter dem Radierer, der ganz einfach auf der Zeichenfläche umher gezogen werden kann. Das Interface beinhaltet außerdem nur eine einzige Schaltfläche und lässt sich ansonsten komplett mit Bewegungen und Gesten steuern.
Die konkrete Realisierung des Prototyps erfolgte auf dem ONE Multitouch-Tisch der Firma Evoluce. Die Anwendung selber wurde in ActionScript3 programmiert, wobei verschiedene ergänzende Programmierbausteine verwendet wurden. Zum einen liefert das Multitouch-Framework GestureWorks der Firma Ideum die nötigen Funktionen für die gestenbasierte Interaktion. Zum anderen ermöglicht die Physik-Engine Box2D, dass die gezeichneten Körper physikalische Eigenschaften erhalten. Zudem wurden weitere AS3-Ergänzungen verwendet, um z.B. die Objekt-Erkennung und die Funktionen von verschiedenen Interaktionselementen zu realisieren.
Allerdings konnte aufgrund von technischen Problemen und großer Komplexität nur ein Teil des ursprünglichen Konzepts umgesetzt werden. Trotzdem ist der Prototyp gut geeignet um die Grundidee der Anwendung zu erfahren und sein Physikwissen wieder etwas aufzufrischen.
Hier ein kleines Video unserer Physik-Anwendung, die wir inzwischen “TouchPhysics” genannt haben. Die Software läuft auf dem Evoluce-ONE Multitouch Tisch und wird von zwei Nutzern bedient:
Leider konnten wir unser grundsätzliches Performance-Problem nicht lösen. Deshalb reagiert die Anwendung im Video zum Teil etwas langsam. Das liegt zum einen an Flash, was sehr viel Systemressourcen frisst und bei einer FullHD-Auflösung an seine Grenzen stößt. Zum anderen sind auch die Berechnungen der Physik-Engine verknüpft mit einer aufwendigen grafischen Darstellung sehr rechen-intenstiv.
Vermutlich könnte sich Beides durch eine ausgeklügelte Programmierung mit Fokus auf gute Performance beheben lassen. Da unsere Anwendung aber nur eine Art Prototyp ist, der ein Interaktions-Konzept demonstriert, werden wir es allerdings dabei belassen. Als Nicht-Programmierer sind wir schon froh darüber, dass wir es geschafft haben, unsere Ideen in funktionierenden Code umzusetzen.
HdM MediaNight, SoSe 2010
Am 1. Juli findet an der Hochschule der Medien wieder die MediaNight statt. Dort zeigen die Studierenden, woran Sie währrend des vergangenen Semeters gearbeitet haben.
Diesesmal sind auch wir dabei und präsentieren unsere Physik-Lernsoftware für Multitouch. Außerdem werden auch die anderen Projektarbeiten aus dem Seminar “Interfacegestaltung” zu sehen sein.
Daneben zeigen natürlich auch alle anderen Studiengänge spannende, innovative und zukunftsweisende Arbeiten aus den verschiedensten Bereichen. Ein Besuch lohnt sich also! Nähere Infos zur MediaNight…
Die Entwicklung und vor Allem das Programmieren unserer Multitouch-Anwendung schreitet unweigerlich voran. Zwar gibt es immer wieder Rückschläge und Herausforderungen aber irgendwie geht’s immer. Neben dem $1Recognizer und Box2D haben wir inzwischen einige andere AS3-Klassen eingebunden, die maßgeblich zu unserer Anwendung beitragen.
GreenSock Logo
GreenSock ist eine Sammlung von Klassen um schnell und einfach Objekte per ActionScript zu animieren. GreenSock TweenMax bietet z.B. Effekte wie Ein/Ausblenden, Animieren, Drehen, Skalieren, etc. Die Bibliothek ist verlässlich, einfach zu nutzen und wird von einer aktiven Community ständig weiter entwickelt.
.
Die SliderUI von Matt Przybylski ist eine Klasse um Schieberegler (Slider) in Flash zu generieren. Somit können recht schnell eigene Slider gebastelt werden, ohne auf die vorgefertigten Komponenten von Flash zurückgreifen zu müssen. SliderUI bietet u.A. Methoden um die Position des Schiebereglers auf der Skala zu bestimmen oder Start- und Endwerte festzulegen.
Komplett “Out-of-the-Box” konnte die Klasse allerdings nicht verwendet werden, weil sie für die Verwendung mit einer Maus entwickelt wurde. Es waren noch einige kleine Anpassungen an unser Multitouch-Framework GestureWorks nötig.
Update: Es gibt die Schieberegler-Klasse auch in der Version SliderUI v1.5. Die neue Version beinhaltet u.A. ein Flash-CustomEvent, was z.B. bei unserer Anwendung zum Einsatz kommt. Mit einem CustomEvent lässt sich in Flash die Kommunikation zwischen unabhängigen Objekten realisieren.
SWF Profiler Screenshot
Ein Thema plagt uns leider immer noch: Die Performance unserer Anwendung. Leider sind die Berechnungen und Kollisions-Erkennungen von Box2D sehr rechen-intensiv. Hinzu kommen eine Full-HD-Auflösung (1920×1080), zahlreiche grafische Elemente, zahlreiche externe Klassen und viele interne Funktionen. Das Alles macht die Physik-Lernsoftware mit jedem gezeichneten Element spürbar langsamer. Da unser Konzept aber eigentlich nur zwei Elemente (Kugel und Schiefe Ebene) vorsieht, werden wir uns nicht ausgiebig mit dem Thema Performance-Optimierung kümmern.
Ein Tool zum Überwachen der Performance von Flash haben wir dennoch eingebaut. Der SWF Profiler lässt sich einfach in bestehende Projekte integrieren und zeigt z.B. die aktuelle Frame-Rate, sowie die Arbeitsspeicher-Nutzung an.
Obwohl sich im Blog im Moment nicht viel tut laufen Recherche und Konzeption unserer Anwendung auf Hochtouren. Unter anderem haben wir eine, für Multitouch optimierte, Physik Anwendung Namens tPhysics entdeckt. Die Python-basierte Software erlaubt es Objekte zu erstellen und damit zu interagieren. Dabei kommt die Box2D Physic Engine zum Einsatz. Nähere Infos zu tPhysics und den Python Quellcode gibt’s auf dem Blog des Entwicklers “Xelapond”: http://xelapondsstuff.wordpress.com/tphysics/
Es gibt natürlich auch schon Multitouch Anwendungen, die sich dem Thema Physik angenommen haben.
Crayon Physics ist ein beliebtes Computerspiel, entwickelt von Petri Purho (Kloonigames). Was aus einem Hobby-Projekt enstand hat sich nun zu einem “richtigen” Spiel entwickelt. Bei Crayon Physics müssen Objekte gezeichnet und physikalische Kräfte genutzt werden um sich so durch die verschiedenen Levels zu navigieren. Obereses Video zeigt eine ähnliche Anwendung (nicht das eigentliche Spiel) auf einem Multitouch-Display.
Das Video zeigt eine Phyisk-Engine auf Microsoft Surface Tisch. Die Anwendung visualisiert (pysikalische) Zustände von Versuchsumgebungen und ermöglicht es damit zu experimentieren.
Besonders interessant sind Papierkarten, die auf den Tisch gelegt werden und die dann als virtuelle Objekte verwendet werden. So kann beispielsweise eine Ebene konstruiert werden, auf der Kugeln und Vierecke herunter rollen. Die Objekte haben verschiedene Eigenschaften wie Masse oder magnetische Ladung. Ob der Nutzer darauf Einfluss hat zeigt das Video nicht.
Multitouch-Pionier Jeff Han bei seinem brühmten “TED-Talk” 2006:
Es lohnt sich aber auch ein Blick auf die Website von Microsoft Surface, wo es zahlreiche Videos und Demo-Applikationen gibt.
Multitouch-Technik
Bei Multitouch-Displays kommen unterschiedliche Techniken zum Einsatz. Währrend z.B. Apples iPhone einen kapazitativen Touchscreen besitzt, basieren Multitouch-Tische auf einem System, was mit Infrarotkameras und Rückprojektion arbeitet. Scientific American erklärt, wie das funktioniert.
Auf www.springwald.de findet sich sogar eine detaillierte Bauanleitung für einen MT-Tisch für unter 500€.
Bill Buxton hat schon viele Arbeiten zum Thema Multitouch veröffentlicht. Hier eine Einführung in das Thema inkl. einer Chronologie der wichtigsten Multitouch-Geräte der letzten 40 (!) Jahre: http://www.billbuxton.com/multitouchOverview.html
