Developer Showcase von GestureWorks

Seit ein paar Tagen ist TouchPhysics im Developer Showcase von GestureWorks zu sehen. GestureWorks ist das Multitouch Framework für Flash, welches bei der Entwicklung der Lernsoftware zum Einsatz kam.

Wir sind in der Zeitung Folgender Artikel erschien am 26.11.2010 in der Lokalausgabe (Stuttgart-Mitte) der Stuttgarter Zeitung:

Ein Fingerzeig genügt und die Kugel rollt

Innovation Zwei Studenten der Hochschule der Medien sind für ihr digitales Physik-Lernspiel ausgezeichnet worden. Von Katharina Sorg

Bild aus der Stuttgarter Zeitung (Foto: Achim Zweygarth)

Mit dem Zeigefinger zeichnet Jürgen ein Dreieck auf den Bildschirm. Noch eine Kreisbewegung hinzugefügt, und schon sind die beiden exakten Formen auf dem Computer zu sehen. Nun kann die Kugel schwerer und das Dreieck steiler eingestellt werden.

Ein Fingerzeig genügt. “Wir wollten die neue Technologie für den schulisch spielerischen Bereich nutzen”, erklärt Jürgen Röhm. Der 23-jährige Student der Hochschule der Medien, kurz HdM, hat gemeinsam mit seiner Kommilitonin Andrea Müller ein Physik-Lernspiel ausgetüftelt.

Die Idee kam so gut an, dass sie dafür mit dem zweiten Platz beim “Young Talent Award” des deutschen Multimedia Kongresses ausgezeichnet wurden. Auf einem Display zum Anfassen, einem sogenannten Touchscreen, können physikalische Körper, wie beispielsweise eine Kugel, per Fingerbewegung gezeichnet, bewegt und in Größe und Gewicht verändert werden. Am Rand erklären digitale Lernkarten die physikalischen Gesetze, die gerade beobachtet werden können.

“Wir wollen Studenten eine Plattform bieten, auf der sie ihre Ideen präsentieren können”, sagt Silke Ruoff von der Innovationsagentur des Landes für IT und Medien, die den Kongress veranstaltet. Beim Multimedia Kongress können so Unternehmer mit Studenten ins Gespräch kommen. Die besten Ideen werden ausgezeichnet. 24 Arbeiten hatten Studenten aus ganz Deutschland eingereicht, eine Fachjury aus Unternehmern, Professoren und Experten der Agentur traf dann die Auswahl. “Wir waren ganz schön überrascht über den Preis”, sagt Andrea Müller.

Ein Semester haben sie an “Physik zum Anfassen” getüftelt. Und das, obwohl beide das Fach schon lange vor dem Abitur abgewählt hatten. Doch genau das war ein Grund, sich erneut damit zu beschäftigen. “Wir haben uns überlegt, womit viele ein Problem haben, und sich nicht richtig ran trauen”, sagt Jürgen. Also wälzten sie Physikbücher und grübelten über Gewichtskraft und Reibung. Und machten sich ans Programmieren. Entschieden haben sie sich dabei für einen Touchscreen. So ist Anfassen nicht mehr nur sprichwörtlich gemeint. Wo schnöde Formeln die Vorstellungskraft vieler Schüler strapazieren, können sie nun sofort die Wirkung sehen und selbst eingreifen. “Die Touchscreen-Technologie setzt sich immer mehr durch”, sagt Silke Ruoff. Momentan seien die meisten dabei, sich dank Smartphones und I-Pad mit der Technologie vertraut zu machen.

Dass die Tafel in Klassenzimmern in naher Zukunft eher an einen Touchscreen erinnern wird, halten alle drei für wahrscheinlich. Noch ist ihr Lernspiel aber Zukunftsmusik. “Wir werden natürlich auch versuchen, die Idee an Unternehmen zu vermitteln”, sagt Ruoff. Um es ganz professionell umzusetzen, bedürfe es schließlich Zeit und ein paar mehr helfender Hände beim Programmieren. Zeit haben die beiden Informationsdesign-Studenten gerade aber wenig. Sie grübeln über einer anderen Aufgabe: ihrer Bachelorarbeit.

Links

Preisverleihung beim Young Talent Award. Foto: MFG Baden-Württemberg

Im Rahmen des DMMK Young Professionals, der am 13. November 2010 an der HdM stattfand, wurden digitale Projekte von Nachwuchstalenten mit dem„Young Talent Award“ ausgezeichnet. Unsere gestenbasierte Multitouch-Anwendung „TouchPhysics” gewann dabei den zweiten Platz! Der Jury hat besonders gefallen, dass die Anwendung keine “Spielerei” ist, sondern zeigt, wie die Multitouch-Technik sinnvoll eingesetzt werden kann. Genau das war auch eine unserer Intentionen für TouchPhysics. Wir freuen uns natürlich sehr über die  Auszeichnung unserer Arbeit! Heute wurde auch ein kurzer Artikel über TouchPhysics auf der Website der HdM Stuttgart veröffentlich. Den ersten Preis gewonnen haben übrigens Peer Dräger und Joschka Wolf für ihr Spiele-Konzept “Impresario”.

Links:

• Präsentation über TouchPhysics auf SlideShare
• Artikel über TouchPhysics auf der Website der Hochschule der Medien
• “Impresario” – Spiele-Konzept der DMMK Young Talent Award Gewinner

Mal schauen, was bei dem Wettbewerb rauskommt

Game (Multitouch) von Robin Jünger & Robin Stuhler

GesturePong (Multitouch) von Sonja Wieser & Manuel Borst

idb treasury (Multitouch) von Monika Webers & Anika Sanwald

Touch the Music (Multitouch) von Katja Krüger und Vassilios Katsaros

Balance the Picture (Wii Balanceboard) von Veronique Kohls & Karolin Schimpf

WiiBrush (Wiimote) von Lydia Riss & Julia Schlünz

Geopaint (Mobile Web App) von Jan-Christoph Borchardt und Julian Henschel

Andrea Müller & Jürgen Röhm
Informationsdesign, Hochschule der Medien in Stuttgart

Die Multitouch-Technologie erlaubt neue und intuitive Formen der Interaktion mit Computern. Dabei werden Eingaben nicht über Maus und Tastatur getätigt, sondern direkt mit dem Finger. Neben vielen anderen Anwendungsgebieten, kann die Multitouch-Technik auch für multimediales Lernen eingesetzt werden. Besonders für exploratives und selbstgesteuertes Lernen macht dies Sinn.
TouchPhysics ist eine gesten-basierte Multitouch-Anwendung, die auf diesem Prinzip aufbaut. Dabei werden physikalische Verhaltensweisen von Objekten und ihre Auswirkungen auf andere Objekte veranschaulicht, die in der echten Welt nicht zu sehen sind. So werden zum Beispiel die verschiedenen Kräfte simuliert, die auf einen Körper einwirken.

Didaktik

Lernkarteikarte

Konkret geht es bei TouchPhysics um das Beispiel der Schiefen Ebene. Die Anwendung enthält, unter anderem, verschiedene Lernkarteikarten. Diese enthalten Erklärungen zum Themengebiet Schiefe Ebene, sowie alle nötigen physikalischen Formeln und Definitionen.  Ausgehend von den Eigenschaften der ausgewählten Objekte, werden dann die verschiedenen Kräfte dynamisch berechnet. Der Nutzer kann so beobachten, welche Parameter sich wo in den Berechnungen niederschlagen, und wie deren Auswirkung auf den gezeichneten Körper ist. Ziel von TouchPhysics ist es, das ganzheitliche Verständnis für das Thema zu fördern und interaktiv, spielerisch Wissen zu vermitteln. Es ist denkbar, dass das Physik-Lernprogramm im Unterricht verwendet wird. Ein Lehrer könnte so z.B. physikalische Berechnungen veranschaulichen. Außerdem könnte TouchPhysics als Ergänzung zum Unterricht dienen, bei dem Schüler selbstgesteuert ausprobieren und spielerisch ihr Wissen vertiefen.

Interaktion

Einstellen des Gewichts

Der Nutzer kann ganz einfach eine Kugel und eine Schiefe Ebene auf den Touchscreen zeichnen und diese mit dem Finger umher schieben. Die Elemente bekommen physikalische Eigenschaften und verhalten sich dabei ähnlich wie in der richtigen Welt. Diese Eigenschaften lassen sich direkt am Objekt ändern. So kann z.B. das Gewicht einer Kugel verstellt werden, indem der Nutzer den Pfeil der Gewichtskraft verlängert oder verkürzt. Diese Veränderung wirkt sich dabei unmittelbar auf die Interaktion aus. So wirkt eine schwere Kugel beim Bewegen träger als Leichtere. Größe und Winkel der Schiefen Ebene lassen sich ebenfalls bequem per Schieberegler verstellen.

Gestaltung

Schreibtisch Metapher

Besonderen Wert wurde bei TouchPhysics auf eine intuitive Bedienung und positive Nutzer-Erfahrung gelegt. Die Gestaltung basiert auf der Metapher eines Schreibtisches bzw. eines College-Blocks. Dadurch kann der Nutzer seine Vorerfahrungen aus der echten Welt auf das System übertragen. So verbirgt sich z.B. die Löschen-Funktion der Anwendung hinter dem Radierer, der ganz einfach auf der Zeichenfläche umher gezogen werden kann. Das Interface beinhaltet außerdem nur eine einzige Schaltfläche und lässt sich ansonsten komplett mit Bewegungen und Gesten steuern.

Umsetzung

Die konkrete Realisierung des Prototyps erfolgte auf dem ONE Multitouch-Tisch der Firma Evoluce. Die Anwendung selber wurde in ActionScript3 programmiert, wobei verschiedene ergänzende Programmierbausteine verwendet wurden. Zum einen liefert das Multitouch-Framework GestureWorks der Firma Ideum die nötigen Funktionen für die gestenbasierte Interaktion. Zum anderen ermöglicht die Physik-Engine Box2D, dass die gezeichneten Körper physikalische Eigenschaften erhalten. Zudem wurden weitere AS3-Ergänzungen verwendet, um z.B. die Objekt-Erkennung und die Funktionen von verschiedenen Interaktionselementen zu realisieren.

Allerdings konnte aufgrund von technischen Problemen und großer Komplexität nur ein Teil des ursprünglichen Konzepts umgesetzt werden. Trotzdem ist der Prototyp gut geeignet um die Grundidee der Anwendung zu erfahren und sein Physikwissen wieder etwas aufzufrischen.

Zum Evoluce-Tisch des Studiengangs Informationsdesign kamen viele Studierende der HdM, aber auch interessierte Professoren sowie externe Besucher. Viele waren sehr interessiert an TouchPhysics und zögerten nicht, die Anwendung selbst auszuprobieren und zu erkunden. Uns hat es viel Spaß gemacht das Endergebnis unserer Arbeit zu präsentieren und Fragen zu beantworten.

Hier ein kleiner Eindruck der Medianight in Bildern:

Viele Besucher bei der MediaNight

Interessierte Professoren

Experimentierfreudige Besucher

TouchPhysics erklärt

—————————————————————————————————————————

Funktionen von TouchPhysics

• Gestenerkennung für Schiefe Ebene und Kugel
• Physik-Simulation (Physics Engine)
• Skalieren der Objekte mit zwei Fingern
• Ändern der Größe und des Winkels der Schiefen Ebene mit Schiebereglern
• Ändern des Gewichts der Kugel per Gewichtskraftpfeil
• Radierer, um einzelne oder alle Objekte zu löschen
• Mehrere Fenster mit Erklärungen und Formeln
• Dynamische Berechnung der Formeln, je nach Gewicht, Winkel, etc. desjenigen Objektes, das als letztes verändert wurde

Performance Probleme

Leider konnten wir unser grundsätzliches Performance-Problem nicht lösen. Deshalb reagiert die Anwendung im Video zum Teil etwas langsam. Das liegt zum einen an Flash, was sehr viel Systemressourcen frisst und bei einer FullHD-Auflösung  an seine Grenzen stößt. Zum anderen sind auch die Berechnungen der Physik-Engine verknüpft mit einer aufwendigen grafischen Darstellung sehr rechen-intenstiv.
Vermutlich könnte sich Beides durch eine ausgeklügelte Programmierung mit Fokus auf gute Performance beheben lassen. Da unsere Anwendung aber nur eine Art Prototyp ist, der ein Interaktions-Konzept demonstriert, werden wir es allerdings dabei belassen. Als Nicht-Programmierer sind wir schon froh darüber, dass wir es geschafft haben, unsere Ideen in funktionierenden Code umzusetzen.