Die Zielsetzung von Virtual Reality ist die möglichst "natürliche" Interaktion mit der Anwendung.

Im Gegensatz zu CAD-Programmen, die mit zweidimensionslen Darstellungen von 3D-Objekte arbeiten, ist in VR eine "echte" 3d-Manipulation der Objekte möglich. "Natürliche" Gesten und Bewegungen werden aufgegriffen und erleichtern im virtuellen Raum den Umgang.

VR hat dadurch das Potential, das Dilemma zwischen actio und reactio zu lösen, das durch die mangelnde Zuordnung von eingreifender Handlung und Bildschirmrepräsentation besteht.

Man muß eben nicht mehr waagrecht zum Schreibtisch Eingaben mit der Maus machen und senkrecht in verschiedenen Ansichtsfenstern am Monitor betrachten. Gerade für den Gestaltungsbereich ist VR aus diesen Gründen sehr interessant.

Denn die Änderung des Blickpunktes muß nicht mehr bewußt per Maus, Datenstift oder Tastatureingabe geändert werden, sondern wird automatisch aus der Kopfbewegung errechnet.

Die Kopfposition wird durch ein Tracking-System erfaßt und die Darstellung entsprechend geändert. Man hat dadurch psychologisch den Eindruck, sich in einem Raum frei umzuschauen und fortzubewegen. So kann man um die erstellten Objekte z.B. herumlaufen oder sie in die Hand nehmen und drehen und "be"greifen.

Das Tracking-System arbeitet in der Regel elektromagnetisch. Ein Sende- und Empfängersystem erfaßt die Positon der Hand und des Kopfes mitsamt Blickwinkel des Benutzers. Alternative Systeme arbeiten optisch oder mit Ultraschall.

Mit Hilfe von Eingabegeräten wie Spacemouse, Joystick und Handschuh wird die eigene Hand im Virtuellen repräsentiert und die Interaktion ermöglicht. Gerade mit dem Datenhandschuh ist es möglich, sehr intuitiv im Virtuellen auf etwas zu zeigen oder einfach zu greifen. In der Regel gibt es im Virtuellen keine räumlich-physikalischen Einschränkungen, d.h. man kann sich nach rechts, links, vorne, hinten, oben und unten bewegen und nichts kann einen aufhalten, denn man schwebt... Dies bewirkt oft Orientierungsprobleme und sogar Schwindelgefühl (simulator sickness), da die für den Gleichgewichtssinn ausschlaggebende Schwerkraft fehlt.

Um die Navigation im Virtuellen zu erleichtern, werden deshalb oft physikalische Bedingungen aus der Realität übernommen. Zum Beispiel werden Kollisionserkennungen programmiert, damit virtuelle Gegenstände nicht ineinander gesetzt werden können oder der Cybernaut einfach durch die Decke schwebt.

Der "Boom" als bodenständiges Gerät erleichtert den Einstieg in die virtuelle Welt, da er durch die Steuerung mit beiden Händen gezielt gesteuert werden kann.

Eine andere Möglichkeit ist die Projektion, der vom Tracking-System erfaßten visuellen Blickpunkte in Kombination mit "Shutterglasses". "Shutterglasses" sind wesentlich leichter als die Headmounted-Displays zu tragen und ermöglichen ebenso eine stereoskopische Sicht. Die visuelle Erlebbarkeit kann noch durch eine "CAVE" erhöht werden. Durch eine reale Raumkonstruktion, die mit Rückprojektionen per Videobeamer arbeitet, kann die digitale Umgebung ebenfalls mit Hilfe von Shutterglasses erlebt werden.

Die visuellen Darstellungsmöglichkeiten bewirken durch die Echtzeitrechnung und Tricks wie "Level-of-Detail"-Programmierung eine überzeugende räumliche Wirkung. Durch eine 3D-Akustik kann diese Wahrnehmung noch unterstützt werden.

Intensiv in Forschung ist der Einbezug der Haptik. Mit aufwendigen mechanischen Skelettkonstruktionen wird versucht ein "Force-Feedback" zu erreichen. Eine komplette Einbindung des Körpers würde mit diesen technischen Prothesen jedoch eher eine Mensch-Maschine als ein intuitives Interface ergeben. Niemand wird sich vorstellen können, in einem solchen Skelett arbeiten zu können.

Eine neuere Entwicklung ist das "Phantom", das zwar nur zwei Fingerkuppen in die virtuelle Welt bringt, jedoch angenehmer zu handhaben ist und feine sensitive Rückkopplungen ermöglicht.

Im Spielesektor dienen realistische Elemente, die vom Rechner durch Pneumatik bewegt werden, als zusätzliche Ausgabemedien. Diese "Motion Platformen" unterstützen nachhaltig die Realitätswirkung des Sichtbaren.

Der Künstler Jeffrey Shaw entwickelte ein Fahrrad zum Befahren seiner "Legible Cities". Mit Hilfe des realen Gegenstands läßt sich sehr angenehm in bekannter Weise Geschwindigkeit und Richtung steuern.

Um den gesamten Körper als Interaktionsmedium zu nutzen, gibt es verschiedene Systeme des elektromagnetischen Trackings oder der Videoerkennung der Bewegungsmuster. Diese "Motion-Capture"-Techniken werden zum Beispiel zur Generierung von realistischen Bewegungsabläufen für virtuelle Schauspieler eingesetzt. So lebte im MIRA-Lab in Genf Marilyn Monroe wieder auf.

Eine direkte Interaktion ist in gleicher Weise möglich. Myron Krueger zeigt dies eindrucksvoll in seinen Installationen "Videoplace" und "Metaplay".

Er entwickelte ohne "wearable technology", d.h. ohne den Ballast der technischen Sensorik, ein System, das trotzdem gezielt Bewegungen einzelner Körperteile registriert. Der Nutzer wird von einem Videosystem erfaßt und als scherenschnittartige Kontur über eine Videogroßprojektion in ein virtuellles Environment kopiert. Eine Echtzeitanalyse läßt das System, dem durch eine intelligente Programmierung vielfältige Verhaltensweisen eingegeben wurden, entsprechend reagieren. Man kann zum Beispiel spielerisch mit einem Riesenfloh umgehen. In Reaktion auf das eigene Verhalten, schmiegt er sich an den "Cybernauten" an oder flüchtet.

Das "Biomuse"-System arbeitet auf andere Weise. Statt der Bewegung mißt es die Muskelströme des Nutzers, so kann die Intensität einer Bewegung ins System eingegeben werden, jedoch nicht ihre Richtung. Die Performance-Künstlerin Laurie Andersson setzt dieses Prinzip in ihren Shows ein, um digitale Soundeffekte interaktiv zu steuern.

Ein wichtiges, aber relativ schwer zu definierendes Eingabemedium ist die Sprache. Fließende Sprache und eine sprecherunabhängige Erkennung bereiten noch Probleme.

Was den virtuellen Umgebungen noch gänzlich fehlt ist der Geruch. In diesem Bereich sind noch keine nennenswerten Ergebnisse erzielt worden.