<<

BROLLO - Framework für den interaktiven Möglichkeitsraum

brollo ist ein Framework, das den Teilnehmern des WPV Tanz & Interaktion einen interaktiven Möglichkeitsraum zur Verfügung stellt. Im Rahmen der Entwicklung wurde ein experimenteller Testlauf mit den Teilnehmern der Wahlpflichtveranstaltung durchgeführt, dessen Verlauf und Ergebnisse hier dokumentiert sind. [Stand: Sommer-Semester 2008]






Ziele

Die zentrale Fragestellung, bei deren Beantwortung die brollo versucht behilflich zu sein, besteht darin herauszufinden, ob stark ausgeprägte „kinesthetic intelligence“ (wie sie z.B. Choreographen und Tänzer besitzen sollen) Einfluss auf das Interaktionsverhalten zwischen Akteur und einem reaktiven System hat und falls zutreffend, wie sich dieser im Einzelfall darstellt.

brollo dient hierbei als eine experimentale Entwicklungsumgebung für Parameter einer qualifizierten Untersuchung. Verschiedene Interaktionsmöglichkeiten werden implementiert und von Probanden getestet. Innerhalb eines iterativen Prozesses wird dann auf Basis ihres Feedbacks brollo weiterentwickelt um schlussendlich Parameter für empirische Experimente und Untersuchungen zu erhalten.

Mit brollo soll dem Akteur ermöglicht werden mit einem System zu interagieren, das ihm direktes Feedback auf sein Verhalten zurückgibt. Er soll in der Lage sein, selbstständig zu entdecken, welche Interaktionsmöglichkeiten zwischen ihm und dem System bestehen.

Arbeitsergebnis Sommersemeser 2008


Konzeption und Realisation

Grundkonzept [09.05.2008]
Auf Basis der, innerhalb einer Besprechung mit Prof. Fetzner, Prof. Taube und Katja Wahl vereinbarten, Rahmenbedingungen wurde ein Grundkonzept für den Aufbau entwickelt. Die Teilnehmer des WPV Tanz & Interaktion sollen innerhalb eines Raumes, der ihre Lage im Raum zeitdiskret aufzeichnet mit dem System brollo interagieren. Innerhalb dieses Bereiches sind Flächen definiert, die, falls ein Akteur sie betritt, Worte aus Max Benses Existenzmitteilung aus San Franzisko auslösen. Diese werden akustisch und gegebenenfalls auch als kurze Videosequenz ausgegeben („Wort- und Gestengenerator“). Der Weg eines Akteures innerhalb des Interaktionsraumes wird aufgezeichnet und, dient als Pfad für eine, mittels Ambisonic-Technologie, im Raum wandernde Klangquelle. Deren akustischen Eigenschaften (z.B. Tonhöhe oder Lautstärke) werden durch die Körperhaltung des aktuellen Akteurs beeinflusst. Dies gibt ihm ein direktes Feedback des Systems und stellt zugleich einen indirekten Kontakt mit dem vorherigen Akteur her. Michael Langeneckert wird mit seiner Choreografie beginnen. Sein Weg wird die erste Stufe der Klangpfad-Kette bilden.

Verwendete Technologien
Die für das aktuelle Setting für brollo verwendeten Komponenten sind zwei Axis IP-Kameras, der VR-Cluster (3 VR-Rechner und die VR-Workstation) für das Bespielen des Triptychon, der für die Ansteuerung der WFS (Wellenfeld-Synthese) zuständige Rechner und die Raum-Lautsprecher des MediaSynthesisLab. Es ist speziell an die Infrastruktur des MediaSynthesisLab angepasst und ohne tiefgreifende Veränderungen nicht portabel.


Systemarchitektur
Als besondere Herrausforderung bei der Implementierung von brollo für das MediaSynthesisLab stellten sich die Anpassungen an die dortige Infrastruktur herraus. Die Synchronisation aller Systemkomponenten einer komplexen verteilen Anwendung (5 unterschiedliche Computersysteme) machte sowohl das Debugging sowie das Aktualisieren aller benötigten Komponenten einer schwierigen Angelegenheit. Die einzelnen Komponenten kommunizieren untereinander über eine laborinterne Netzwerkanbindung mittels TCP/UDP-basierten Nachrichten. Durch diese notwendige Aufsplittung der Anwendung entstanden nicht unerhebliche Latenzzeiten, die sich im Entwicklungsverlauf als Problem herrausstellten.

brollo_scheme.swf Δ


_brollo_master@VR-Workstation
Max-Patch, der für die zentrale Steuerung des Aufbaus zuständig ist. Wertet die Tracking-Signale der Decken- und Seitenkamera und geniert daraus Steuersignale für _brollo_WFS und die _brollo_MovieClients. Bietet ein rudimentäres GUI für die Auswahl und das Platzieren von Worten aus der Existenzmitteilung aus San Franzisko von Max Bense innerhalb des Trackingbereiches. Derzeit ist es maximal möglich sechs Worte innerhalb des Interaktionsraumes zu platzieren. Die Anbindung für die das Aufzeichnen und Transformieren von Spuren für die Ambisonic-Audiospur ist noch implementiert, aber innerhalb des aktuellen Arbeitsstandes deaktiviert (siehe Interaktionsmöglichkeiten für Gründe).

Voraussetzungen: Max/MSP 5.0, Jitter, CV.jit, Java-Environment, installiertes Normalisator.mxj


_brollo_klangSpur@WFS-Rechner
Steuert die Audioausgabe auf Basis der Inputsignale von _brollo_master und dient als Schnittstelle für die Audioanbindung an das MediaSynthesisLab. Zusätzlich wird dem Operator ein GUI angeboten, mit dem er die, durch die Akteuere ausgelästen. Bewegungsgeräusche. verändern kann. Aktuell sind 4 mögliche Presets implementiert. Implementiert ist auch die Möglichkeit ein grundlegendes Audio-Ambiente abzuspielen (getestet wurde eine verzerrte Mischung aus Jimi Hendrix-Version von Starsprangled Banner und der von Matthias Grübeling vorgelesenen Existenzmitteilung).

Voraussetzungen: Max/MSP 4.6, Audiodateien für Bewegungspresets+Worte+Ambiente


_brollo_gestenGenerator@VR1+VR3
Betritt einer der Akteuere einen Worte-Punkt, so wird gleichzeitig ein kurzer MovieClip auf den VR-Clients 1 und 3 ausgelöst, der eine dazu passende Geste von Max Bense zeigt.

Voraussetzungen: Max/MSP 4.6, Jitter, CV.jit, Videodateien für die Gesten


_brollo_movieClient@VR2
Zeichnet die Spur des Akteuers auf Basis der Tracking-Daten von _brollo_master in Form einer abstrakten geometriscen Figur nach, so dass diese für das Publikum und den Akteur sichtbar wird. In Abhängigkeit von seiner y-Position wird diese mit einem Clip der Golden Gate Bridge überlagert.

Voraussetzungen: Max/MSP 4.6, Jitter, CV.jit, Videodatei für die Überlagerung


Interaktionsmöglichkeiten
Befindet sich ein Akteur im Trackingbereich der Seitenkamera, so hat er die Möglichkeit durch Bewegungen seines Körpers verschiedene Arten von akustischem Feedback durch das System zu provozieren. Das Spektrum an Tönen und Geräuschen, aus denen dieses sich konkret zusammensetzt, kann zu jedem beliebigem Zeitpunkt durch den Operator verändert werden.

Diese werden dann verschiedenen Punkten innerhalb des Aktionsbereiches zugewiesen. Das Überschreiten eines solchen Punktes löst nun eine Reaktion des Systems aus (das jeweilige Wort wird als Audio-File widergegeben und auf den Leinwänden 1 und 3 werden Video-Files von Max Bense aus der TV-Diskussion Kunst und Antikunst mit Joseph Beuys abgespielt).

Die beiden Axis-Kameras dienen der Erfassung des Akteurs innerhalb eines etwa 3 Meter auf 4 Meter großen Bereich durch das System. Eine der Kameras ist an der Decke des Labors angebracht und hat hierbei die Aufgabe seine Position im Raum zu bestimmen. Die Zweite ermöglicht es dem System die Körperlage des Tänzers im Raum sowie bestimmte Haltungen zu analysieren.

Das Aufzeichnen einer akustischen Spur im Raum hat sich aus mehreren Gründen, nach einigen internen Testläufen während der Umsetzungsphase, als nicht sinnvoll erwiesen. Der Akteur ist auch ohne diese Komponente schon einer großen Anzahl von akustischen Feedbacks auf sein Interaktionsverhalten mit durch System ausgesetzt. Weiterhin bestand eine zu große Differenz zwischen dem Raum, in dem die Spur aufgezeichnet wurde und dem Raum, in dem sie akustisch abgebildet wurde. Schon eine kleine Veränderung der Position des Benutzers führte zu einem viel zu drastischen Sprung im akustischen Raum. Diese spürbare Differenz machte jedes Gefühl für die Auswirkungen des eigenen Handelns auf das System zunichte. Das zusätzliche Variieren der Klangquellenlage innerhalb des Raumes erwies sich somit als kontraproduktiv für den Aufbau einer interaktiven Erfahrung für den Benutzer. Ersatzweise wird die Spur des Akteurs vom System nun visuell in Form einer abstrakten geometrischen Figur wiedergegeben. Diese wird auf Leinwand Nr.2 projiziert, wo sie sowohl durch den Akteur selbst wahrgenommen werden kann, als auch vom Publikum. Ein weiter Interaktionsansatz der durch diese Veränderung hinzukam, besteht darin, dass die y-Position des Akteurs innerhalb des Interaktionsraumes ausgewertet wird um diese Spur mit einer Aufnahme der Golden Gate Bridge zu überlagen. Je nach seiner Position ist es ihm nun auch Möglich, seine Spur unkenntlich zu machen und sie vor den Zuschauern zu verbergen.

Andere Hindernisse führten zu dem Wegfall eines weiteren Interaktionsansatzes, der innerhalb des ursprünglichen Konzeptes enthalten war: Der graduellen dynamischen Veränderung eines akustischen Hintergrundgeräusches durch die axiale Lage des Akteurs. Latenzzeit spielt gerade hierbei eine kritische Rolle. Der entwickelte Aufbau wies dabei während der Versuchsläufe etwa 200 bis zu 500 Millisekunden Unterschied zwischen Wahrnehmung durch das System und Feedback auf. Gerade beim Erfassen von speziellen Körperhaltungen ist es jedoch essentiell, dass diese Zeit möglichst gering ist. Der Akteur kann ansonsten keine Verbindung zwischen seiner eingenommenen Körperhaltung und einem bestimmten Verhalten des Systems herstellen. Während der ersten Testläufe stellte sich, insbesondere bei schnell ausgeführten Bewegungsabläufen, bald ein Gefühl der Beliebigkeit der Systemreaktion im Verhältnis zu dem eigenen Verhalten ein. Aufgrund dessen musste auf das dynamische Verändern ( "Gummiband"-Effekt) von Audiofiles verzichtet werden und auf statischere Varianten ausgewichen werden.

Aus demselben Grund, erwies es sich auch als nicht praktikabel Aufnahmen der Akteure durch die Axis-Kameras zu erzeugen. Die Ergebnisse schwankten hierbei von brauchbar bis wertlos, in Abhängigkeit von der abgebildeten Szene.

Interaktion durch Körperhaltung

Testlauf mit den Teilnehmern von Tanz und Interaktion


Verlauf des Tests
Am 2. Juni 2008 fand der erste Testlauf von brollo mit den Teilnehmern des WPV Tanz & Interaktion unter Leitung Michael Langeneckerts statt. Keinem der Teilnehmer waren vorher die genauen Eigenschaften des Systems, mit dem sie Interagieren sollten bekanntgegeben worden.

Der grundlegende Ablauf gestaltete sich dabei wie folgt: Bevor ein Akteur sich in den Trackingbereich begab teilte er der dem Operator die Worte aus Benses Existenzmitteilung mit, die er in seiner Performance verwenden wollte. Dabei handelte es sich in den meisten Fällen um eine Anzahl zwischen drei und sechs Worten. Dieser verteile die Worte dann über das GUI von _brollo_master innerhalb des Interaktionsbereiches. Der Akteur verbrachte dann zunächst einige Minuten in dem Interaktionsbereich um sich mit den spezifischen Gegebenheiten vertraut zu machen und die Orte, an denen die Worte platziert worden waren, zu entdecken. Anschließend gestaltete er seine Performance mit den innerhalb des WPV Tanz & Interaktion entwickelten Choreographien im Wechselspiel zwischen eigenem Handeln und den Reaktionen des Systems auf dieses.

Aufgrund der spezifischen Eigenschaften des für die Position verwendeten Tracking ergaben sich bei einigen Akteuren unvorhergesehene Effekte, die sich während des laufenden Betriebes nur bedingt beseitigen ließen. Besonders die variierenden Kleidungsfarben der Akteure stellten sich als Herausforderung dar. Auch wenn diese im Vorfeld gebeten worden waren sich möglichst hell zu kleiden, damit sie sich für die Deckenkamera deutlich von dem Boden des MediaSynthesisLab abheben, so waren doch nicht alle dieser Anweisung gefolgt. Auch die, sich durch den laufenden Dokumentationsablauf ergebenden Veränderungen der Lichtverhältnisse trugen dazu bei, dass sich das System zuweilen unzuverlässig verhielt. Interessant war jedoch auch der unterschiedliche Umgang der Akteure mit diesen irrationalen Verhaltensweisen des Systems.


Feedback der Probanden

„Die technische Umgebung für das Seminar Tanz und Interaktion hat sich als spannendes und funktionstüchtiges Experiment erwiesen. Die Aufgabenstellung der Interaktion zwischen Tanz, Video/Tracking und Sprache wurde überzeugend gelöst. Die im Vorfeld von den Studenten im Seminar gewonnenen Erfahrungen konnten kreativ und spontan eingesetzt werden. Die technische Umgebung entwickelte sich im Zusammenspiel der darstellenden Studenten zur szenischen Spielfläche, die sich inhaltlich mit einzelnen Begriffen von Max Bense aus einer öffentlichen Diskussionsrunde mit Josef Boys auseinander setzte.“
– Michael Langeneckert, Seminarleiter




„Ich fande es sehr spannend zu sehen, wie man als Tanzender eine Interaktion mit dem System eingehen konnte. Allerdings war die Kommunikation dahingehend beschränkt, dass alles in einem bestimmten Bereich festgelegt war, was natürlich an dieser Stelle nicht anders zu machen war. Schwierigkeiten boten sich hierbei dann noch, dass eine "schöne" Kommunikation nur dann zustande kam, wenn man sich auf die Trackingpunkte einstellte. Natürlich kann man das ganze Umgehen, in dem man eine Dissonanz zum System aufbaut. Etwas verwirrend waren dann teilweise die Endlosschleifen, in denen man immer wieder die gleichen Wörter erhalten hat. Vielleicht sollten auch noch die Abstürze anaylsiert und die Fehler die hierzu führen beseitigt werden.“
– Maria Gutknecht, OMB5




"Die Videos aus der Bense/Beuys Diskussion konnten für mich keine wirklichen Bezug herstellen. Ham sich eben ab und an bewegt, scheinbar aber willkürlich. Nett wäre es gewesen, wenn man die Worte so selbst setzen hätte können, indem man sich irgendwohin stellt, erfasst wird und das Wort dort platziert wird. Ohne, dass man die Koordinaten in etwa so einstellt, dass es passen könnte. Also Akteur als Werteinput. Ansonsten recht nett. Sind die Worte tatsächlich aus unterscheidlichen Richtungen gekommen, je nachdem wo sich der Tänzer von davor befand?
– Marco Schomas, MIB4




Ergebnisse


Theoretischer Arbeitsstand

  1. Es bestehen Unterschiede in der Interaktion durch technisches Vorwissen
  2. Es bestehen Unterschiede Unterschiede in der Interaktion durch choreographisches Vorwissen
  3. Ein stufenloses Interaktionsgefühl ist wichtig um die Installation als Erweiterung des eigenen Körpers zu betrachten (Gummiband-Effekt). Getriggerte Feedbacks wie sie brollo derzeit verwendet sind dazu nur bedingt geeignet.

Beobachtungen und Bezug zu David RokebyTransforming Mirrors Δ

Es war geplant brollo von vorneherein möglichst bedeutungsoffen zu konzipieren, damit es den Akteuren ermöglicht wird, den aufgespannten Möglichkeitsraum eigenständig mit Bedeutung zu füllen. brollo stellt damit also weniger ein reines Medienkunstwerk dar, als vielmehr ein mögliches Grundgerüst für Interaktionsansätze. Dennoch treffen erstaunlich viele Aspekte von Rokebys Analyse auch auf brollo zu.

„[…] interactive artists are looking for ways to give away some of the control over the final actualizations of their works. The extreme of this position, […] is found in the creation of learning and evolving systems. One might take the extreme position that a significant interaction between an artwork and a spectator cannot be said to have taken place unless both the spectator and the artwork are in some way permanently changed or enriched by the exchange […]“ (Rokeby, Transforming Mirrors, 1996)

Gerade dieses von Rokeby in Bezug auf Medienkunst beschriebene Wechselspiel zwischen Akteur Entwicklung und System-Entwicklung ist einer der zentralen Aspekte bei brollo. Denn in demselben Maße wie die Teilnehmer an den Testläufen nach und nach lernten sich dem System anzupassen, seine Möglichkeiten und auch seine Schwächen zu erkennen und auszuloten, gewann auch das System etwas dazu. Nicht nur durch das wertvolle Feedback, auf dessen Basis es zukünftig möglich sein kann es weiter zu entwickeln, sondern vor allem auch durch die Eigendynamik des inneren Systems (Akteur+brollo) und des Wechselspiels mit den Beobachtern desselben, dem äußerem System (Publikum, Operator und Dokumentatoren). Der Akteur verändere sein Verhalten nicht nur durch das Verändern des brollo-Feedbacks, sondern auch wesentlich durch die Reaktionen der Beobachter auf das Geschehen. Ob diese äußeren Einflüsse nun in angespannter Stille, Erheiterung aufgrund eines Systemabsturzes an einer unpassenden Stelle oder in Applaus bestanden war dabei eher von geringer Bedeutung: Erkennbar war, dass diese Effekte in den allermeisten Fällen deutlich entscheidender für eine Verhaltensänderung des Akteurs waren, als ein Feedback der Installation es je gewesen war. Veränderungen des weiteren Umfeldes (environment) haben somit erheblich Einfluss.

Ein wesentlicher Aspekt dabei ist auch die Motivation und das Vorwissen auf denen die Interaktion des Akteurs mit brollo basiert. Sie entscheiden nicht nur über die Zeit und Ausdauer mit denen der Kontakt zwischen beiden stattfindet, sondern auch wesentlich darüber, wie das System selbst wahrgenommen wird. Nur jemand der bereit ist, trotz externer Einflüsse wie Publikum und Anomalien in dem Systemverhalten diesen Kontakt aufrecht zu erhalten, wird jemals in der Lage sein brollo als eine Form von Inventing Media- oder eine Transforming Mirror-Installation im Sinne von Rokebys Definition anzusehen. Vor allem Akteure, bei denen die Motivation (aus welchen Gründen auch immer) zu einer Interaktion bereits ohnehin nicht besonders groß zu sein schien, benutzen z.B. Fehlfunktionen des System als eine Möglichkeit den Kontakt abzubrechen oder den Blick der Beobachter deutlich von sich zu lenken. Auch das technische Hintergrundwissen einiger Akteure schlug sich auf das Interaktionsverhalten aus. Lies sich ein Feedback des Systems für ihren Eindruck nicht überzeugend Reproduzieren, so gingen sie viel eher von einem Systemfehler aus und ignorierten dieses Feedback als Teilnehmer, die in diesem Bereich weniger versiert waren. In bezug auf diese ist auch interessant das eine erhöhte Neigung dazu bestand, bei irrationalem Verhalten des Systems dieses eher als eine Person, oder im Sinne Rokebys als Automata, aufzufassen. Diese beeinflusste stark die Kommunikation zwischen System und Akteur. Anstatt es zu Kontrollieren oder im Wechselspiel eine Aktio-Reaktio-Kommunikation aufzubauen bekam das System eine Eigendynamik. Das Verhalten des Systems wich von den erwarteten Parametern ab und entriss dem Akteur die Kontrolle über sich, so dass dieser sich erst wieder erneut innerhalb des Möglichkeitsraumes orientieren musste. Die Fragestellung die sich in dem Verhalten vieler Akteure widerzuspiegeln schien war, ob sie den Kontakt nun Abbrechen sollten oder ob sie dennoch versuchen die Interaktion aufrechtzuerhalten. Besonders bei den Performances von Michael Langeneckert zeigte sich diese Eigenschaft. Erste Hinweise auf die Eigenschaften von „kinesthetic intelligence“ könnten darin bestehen, in Abhängigkeit der Situation zwischen Kommunikation zur direkten Erkundung der primären Umgebung(brollo), deren Kontrolle/Benutzung und dem autonomen (Akteur allein) oder kooperativer Kommunikation (brollo+Akteur, jeder für sich) mit dem äußeren System in Form des Publikums bestehen.


Praktischer Arbeitsstand

  1. Download _brollo_SS08
  2. Download Normalisator.mxj (Im Rahmen des Projektes fogpatch entstandenes mxj-External zur Verbesserung der Zuverlässigkeit von RGB-Tracking durch CV.jit)


Ansatzpunkte für die Weiterentwicklung

  1. Implementation eines leistungsfähigen GUI für eine optimale live-konfigurierbarkeit des Systems bei künftigen Testläufen um schnelle Parameter-Veränderungen vorzunehmen.
  2. Verringerung der Latenzzeiten des Systems, um eine stufenlose Interaktion ("Gummiband-Effekt") zu ermöglichen.
  3. Implementation von Aufzeichnungen der Interaktion aus der Sicht der Trackingkameras. Dies müsste Hand in Hand mit einer Verringerung der Systemlatenz-Zeiten gehen.
  4. Beseitigung spontaner Abstürze von _brollo_klangSpur auf dem WFS-Rechner des MediaSynthesisLab. Diese Traten zufällig und während keiner Testphase vor dem 2.Juni auf. Stets in Verbindung mit dem Abspielen von WAV-Files.
  5. Enge Kommunikation mit Michael Langeneckert und den Teilnehmern von Tanz und Interaktion unterhalten! Besonders da die Erwartungen an die Installation eine wichtige Rolle spielen. Es besteht keine Notwendigkeit das Interaktionskonzept selbst im Vorneherein zu offenbaren, jedoch sollte es zumindest einen groben Konsens über die Art des Systemfeedbacks geben. In unserer Implementierung gingen wir davon aus, das ein Möglichkeitsraum geschaffen werden sollte, den die Akteure dann eigenständig Erkunden. Diese erwarteten jedoch während der ersten Testläufe reine getriggerte Anweisungen für ihre Performances durch das System. Solche Missverständnisse sind durch ausreichende Kommunikation vermeidbar und helfen dabei einen reibungsloseren Ablauf im Labor zu gewährleisten.

DANKSAGUNG
Vielen dank besonders an Katja Wahl für die unzähligen Überstunden, die sie wegen brollo auf sich genommen hat und die geschätzten 10-hoch-23 Dongle-Anfragen, die sie über sich hat ergehen lassen. Danke an Prof. Fetzner und Prof. Taube für die Betreuung und Unterstüzung. Auch an Patrick Burkert und Antonio Lopez, die dabei geholfen haben den Testlauf am 2.Juni zu dokumentieren. Nicht zu vergessen Israel Kamakawiwoʻole, für den überragenden spirituellen Beistand auch zu den unmöglichsten Zeiten.