Ipke Wachsmuth

Gert Rickheit

This volume presents important results of the Collaborative Research Center (Sonderforschungsbereich) "Situated Artificial Communicators," which was funded by grants from the German Research Foundation (Deutsche Forschungsgemeinschaft) for more than twelve years. The contributions focus on different aspects of human-human and human-machine interaction in situations which closely model everyday workplace demands. The authors are linguists, psycho- und neurolinguists, psychologists and computer scientists at Bielefeld University. They jointly tackle questions of information processing in task-oriented communication. The role of key notions such as context, integration (of multimodal information), reference, coherence, and robustness is explored in great depth. Some remarkable findings and recurrent phenomena reveal that communication is, to a large extent, a matter of joint activity. The interdisciplinary approach integrates theory, description and experimentation with simulation and evaluation.

Situated Communication

Günther Knoblich

Manuela Lenzen

Communication is not just about the transfer of verbal information. Gestures, facial expressions, intonation and body language are all major sources of information during conversation. This book presents a new perspective on communication, one that will help us to better understand humans, and also to build machines that can communicate.

Embodied Communication in Humans and Machines

When people communicate face to face they don't just exchange verbal information. Rather, communication encompasses the whole body. Communication partners synchronize their body sway, and mimic or imitate each other's body postures and actions. They produce a multitude of manual and facial gestures that help to illustrate what is being said, show how communication partners feel, or or reveal verbal deception. Moreover, face-to-face communication takes place in shared contexts where partners jointly attend and refer to the same objects, often while working on joint tasks such as carrying a table or repairing a car together. Traditionally, communication research has neglected these parts of communication using the engineering model of signal transmission as the main theoretical metaphor. This book takes a new look at recent empirical findings in the cognitive and neurosciences, showing that the traditional approach is insufficient, and presenting a new interdisciplinary perspective, the Embodied Communication perspective. The core claim of the Embodied Communication perspective is that human communication involves parallel and highly interactive couplings between communication partners. These couplings range from low-level systems for performing and understanding instrumental actions, like the mirror system, to higher-systems that interpret symbols in a cultural context. The book can also serve as a guide for engineers who construct artificial agents and robots that should be able to interact with humans.

Stefan Kopp

The International Gesture Workshops (GW) are interdisciplinary events for those researching gesture-based communication across the disciplines. The focus of these events is a shared interest in understanding gestures and sign language in their many facets, and using them for advancing human–machine interaction. Since 1996, International Gesture Workshops have been held roughly every second year, with fully reviewed proceedings published by Springer. The International Gesture Workshop GW 2009 was hosted by Bielefeld University’s Center for Interdisciplinary Research (ZiF – Zentrum für interdisziplinäre Forschung) during February 25–27, 2009. Like its predecessors, GW 2009 aimed to provide a platform for participants to share, discuss, and criticize recent and novel research with a multidisciplinary audience. More than 70 computer scientists, linguistics, psychologists, neuroscientists as well as dance and music scientists from 16 countries met to present and exchange their newest results under the umbrella theme “Gesture in Embodied Communication and Human–Computer Interaction. ” Consistent with the steady growth of research activity in this area, a large number of high-quality submissions were received, which made GW 2009 an exciting and important event for anyone interested in gesture-related technological research relevant to human–computer interaction. In line with the practice of previous gesture workshops, presenters were invited to submit theirs papers for publication in a subsequent peer-reviewed publication of high quality. The present book is the outcome of this effort. Representing the research work from eight countries, it contains a selection of 28 thoroughly reviewed articles.

8th International Gesture Workshop, GW 2009, Bielefeld, Germany, February 25-27, 2009 Revised Selected Papers

Gesture in Embodied Communication and Human Computer Interaction

Timo Sowa

This book constitutes the thoroughly refereed post-proceedings of the International Workshop on Gesture and Sign Languages in Human-Computer Interaction, GW 2001, held in London, UK, in April 2001. The 25 revised full papers and 8 short papers were carefully reviewed and selected for inclusion in the post-proceedings. The papers are organized in topical sections on gesture recognition, recognition of sign languages, nature and notations of sign languages, gesture and sign language synthesis, gestural action and interaction, and applications based on gesture control.

International Gesture Workshop, GW 2001, London, UK, April 18-20, 2001. Revised Papers

Gesture and Sign Languages in Human-Computer Interaction

Martin Fröhlich

This book presents the thoroughly refereed post-workshop proceedings of an International Workshop on Gesture and Sign Language in Human-Computer Interaction held in Bielefeld, Germany, in 1997. The book presents 25 revised papers together with two invited lectures. Recently, gesture and sign language have become key issues for advanced interface design in the humanization of computer interaction: AI, neural networks, pattern recognition, and agent techniques are having a significant impact on this area of research and development. The papers are organized in sections on semiotics for gesture movement, hidden Markov models, motion analysis and synthesis, multimodal interfaces, neural network methods, and applications.

International Gesture Workshop, Bielefeld, Germany, September 17-19, 1997, Proceedings

Gesture and Sign Language in Human-Computer Interaction

Wilfried Brauer

Claus Rollinger

This book constitutes the proceedings of the 19th Annual German Conference on Artificial Intelligence, KI-95, held in Bielefeld in September 1995. The volume opens with full versions of four invited papers devoted to the topic "From Intelligence Models to Intelligent Systems". The main part of the book consists of 17 refereed full papers carefully relected by the program committee; these papers are organized in sections on knowledge organization and optimization, logic and reasoning, nonmonotonicity, action and change, and spatial reasoning.

19th Annual German Conference on Artificial Intelligence, Bielefeld, Germany, September 11 - 13, 1995. Proceedings

KI-95: Advances in Artificial Intelligence

„Nur selten fragt die Wissenschaft nach dem roten Faden, der Lebendiges mit Technischem, Mensch mit Tier und beide mit Computern oder Robotern verbindet. Dieses lesenswerte Buch ist ein brillanter Führer durch den Themendschungel – und unerlässlich für jeden, der sich über den Stand der Forschung informieren will.“ Gert Scobel, 3sat „Was ist Kommunikation? Ein Pionier des digitalen Zeitalters nimmt uns mit auf eine spannende Reise: von Menschen und Tieren zu Computern und Robotern, die uns zunehmend ähneln und zugleich verändern und in Frage stellen. Wer sind wir, und wie werden wir künftig miteinander umgehen? Zugleich augenzwinkernd und tiefgründig und vor allem immer authentisch baut Ipke Wachsmuth beim Leser nicht nur Unwissen ab, sondern auch Ängste und Sorgen.“ Manfred Spitzer, Autor von „Lernen“ und „Medizin für die Bildung“ Wie gelingt Kommunikation? Unter welchen Voraussetzungen verstehen wir einander? Wie lernen Kleinkinder, sich zu verständigen? Wie kommunizieren Tiere untereinander und mit uns? Und schließlich: Können Roboter und virtuelle Agenten zu vertrauenswürdigen und einfühlsamen Dialogpartnern und Helfern werden? Ipke Wachsmuth führt den Leser auf einen spannenden Streifzug durch die Vielfalt und Komplexität der kommunikativen Fähigkeiten. Immer wieder begegnet uns dabei Max, ein Kunstmensch aus der virtuellen Realität, an dem sich ganz konkret das Funktionieren von Kommunikation und Fragen über die Möglichkeiten künstlicher Intelligenz erörtern lassen. Aus dem Epilog: Ich erwache, weil Max mich ruft. Von der schimmernden Wand, die ein einziges riesiges Display ist und die hinter ihm nun das Tagespanorama von Seoul zeigt, begrüßt er mich mit fröhlichem Gesicht: „Guten Morgen, Ipke, acht Uhr! Ausgeschlafen? Du hast doch um zehn Uhr einen Termin.“ ... Jetzt aber los. Halt, wie war das noch mit der freundlichen Begrüßung? „Max? Wie sagt man nochmal ‚Guten Tag‘ in Korea?“ Max sogleich: „An-nyeong ha-se-yo“, und weiter: „Du musst in einer Viertelstunde aufbrechen.“ Also doch noch Zeit für ein wenig Entspannung. „Max, gib mal etwas Musik.“ Er kennt ja meine Lieblingsstücke, aus meinem iTunes. Max wählt ein Bluesstück aus und tanzt dazu. Ich greife zum Couchtisch, wo meine Bluesharp liegt, und jamme etwas, variiere das eine oder andere, bis es richtig groovt. _____ Möwen, Krabben und Marktschreier – ausgehend von Alltagsbeobachtungen beleuchtet Ipke Wachsmuth in diesem Buch die Themen Kommunikation, natürliche und künstliche Intelligenz. Es geht dabei um Sprache und Denken, um Mimik und Gestik – und um die Komplexität hinter den so alltäglich erscheinenden kommunikativen Fähigkeiten von Menschen und Tieren. Das Buch führt auch in die Welt von Robotern und anderen künstlichen Wesen ein, die unseren künftigen Alltag mehr und mehr bevölkern werden. Max ist ein „lebendes“ Beispiel dafür, wie die Schnittstelle zwischen Mensch und Computer in Zukunft aussehen könnte. Doch wie erzeugt man ausdrucksvolle Sprache? Wie lassen sich Gesichtsausdrücke technisch nachahmen? Welche Rolle spielt der Sprechrhythmus für unsere Kommunikation? Wie ist die hochentwickelte Wortsprache des Menschen entstanden, die uns von allen Tieren unterscheidet? Bildgebende Verfahren machen es heute möglich, dem Hirn beim Denken „zuzuschauen“ und damit auch Einblicke in die Prozesse des Sprachverstehens zu erlangen, die man mit künstlicher Intelligenz nachzuahmen versucht. Zu den weiteren Themen des Buches gehören Gebärdensprachen, der Zusammenhang von Zeichen und Bedeutung sowie die Wirkung von spontanen Körperbewegungen und Körperhaltung für die Übermittlung von Botschaften. Spannend ist die Frage, inwieweit Tiere und Menschen sich über Bedeutsames austauschen können. Sind Menschenaffen in der Lage, Symbole zu gebrauchen und absichtsvoll zu kommunizieren, verfügen sie vielleicht sogar über Bewusstsein? Und wird sich ein Maschinenwesen wie Max eines Tages mit uns aus der Perspektive eines eigenen „Ich“ unterhalten können? Maschinen mit „Eigenleben“ – kann es und soll es die geben? Könnten sie einfühlsame Partner des Menschen werden? Nähme das dem Menschen etwas weg? Wachsmuths Buch stellt wichtige Fragen und schlägt einen weiten Bogen: Es schaut zurück in eine lange Evolutionsgeschichte und voraus in eine spannende Zukunft. Menschen, Tiere und Max macht neugierig, informiert und bietet zugleich eine vergnügliche Lektüre.

Natürliche Kommunikation und künstliche Intelligenz

Menschen, Tiere und Max

Zeit haben wir nicht unbegrenzt, denn wir leben nicht für immer. Doch haben wir mehr Zeit, als wir manchmal denken. Wem es gelingt, dass sie langsamer vergeht, der hat mehr Zeit. Gestützt auf wissenschaftliche Erkenntnisse und eigene Beobachtungen erläutert der Autor, warum wir Zeit manchmal schneller, manchmal langsamer erleben, und was wir tun können, dass sie uns nicht durch die Finger rinnt.

Zeit haben ist relativ

Im Zug fahre ich gern rückwärts

Embodied agents play an increasingly important role in cognitive interaction technology. The two main types of embodied agents are virtual humans inhabiting simulated environments and humanoid robots inhabiting the real world. So far research on embodied communicative agents has mainly explored their potential for practical applications. However, the design of communicative artificial agents can also be of great heuristic value for the scientific study of communication. It allows researchers to isolate, implement, and test essential properties of inter-agent communications in operational models. Modeling communication with robots and virtual humans thus involves the vision of using communicative machines as research tools. Artificial systems that reproduce certain aspects of natural, multimodal communication help to elucidate the internal mechanisms that give rise to different aspects of communication. In short, constructing embodied agents who are able to communicate may help us to understand the principles of human communication. As a comprehensive theme, “Embodied Communication in Humans and Machines” was taken up by an international research group hosted by Bielefeld University’s Center for Interdisciplinary Research (ZiF – Zentrum für interdisziplinäre Forschung) from October 2005 through September 2006. The overarching goal of this research year was to develop an integrated perspective of embodiment in communication, establishing bridges between lower-level, sensorimotor functions and a range of higher-level, communicative functions involving language and bodily action. The present volume grew out of a workshop that took place during April 5–8, 2006 at the ZiF as a part of the research year on embodied communication.

Second ZiF Research Group 2005/2006 International Workshop on Embodied Communication in Humans and Machines, Bielefeld, Germany, April 5-8, 2006, Revised Selected Papers

Ipke Wachsmuth

Books

Your next favorite book is out there