Der Beitrag multimodaler Abschlussignale zur zeitlich präzisen Turn-Übergabe /
Multimodal Turn-Completion Cues
Zusammenfassung Deutsch
Das Turn-taking in der menschlichen Face-to-face-Interaktion ist außerordentlich präzise: Turn-Übergaben erfolgen im Schnitt über Sprachen und Kulturen hinweg innerhalb von nur 200 ms. Die Präzision ist semiotisch signifikant: längere Übergaben werden als Vorzeichen unerwarteter Antworten gedeutet. Wie kommt diese Präzision zustande? Die Psycholinguistik nimmt ein Zusammenwirken von frühem prädikativem Verstehen durch die Rezipientin und der Verwendung von Turnabschluss-Merkmalen durch den Sprecher an. Letztere umfassen, zum Beispiel, Anredeformen, In-die-Länge-Ziehen von Silben oder die Rückkehr des Sprecher-Blicks zur Rezipientin am Turn-Ende, und sie fungieren als ultimative Go-Signale an die Rezipientin, den Antwort-Turn zu artikulieren.
Eine große Anzahl an verbalen, gestischen und prosodischen Turnabschluss-Merkmalen wurden bereits identifiziert, jedoch nur auf Basis von sehr kleinen und spezialisierten Datensets und/oder in experimentellen Settings sowie in Isolation voneinander. Wir wissen deshalb nicht, ob Turnabschluss-Marker miteinander interagieren, welche Turnabschluss-Merkmale tatsächlich einen Einfluss auf die Präzision der Turn-Übergabe haben, wie groß der Effekt ist und unter welchen Bedingungen er sich zeigt.
Das vorliegende Forschungsprojekt will diese Lücke füllen. Es verfolgt einen exhaustiven Ansatz: nicht nur einzelne, isolierte Merkmale, sondern das gesamte Repertoire an Turnabschluss-Merkmalen wird in den Blick genommen. Es zielt darauf herauszufinden, welche Merkmale in der Konversation tatsächlich verwendet und unter welchen Bedingungen sie verwendet werden, wie sie miteinander interagieren und welchen Effekt sie für die zeitliche Präzision der Turn-Übergabe haben.
Als Datengrundlage dient das englischsprachige Freiburg Multimodal Interaction Corpus. Dieses Korpus ist, unterstützt von der DFG (Projektnummer 414153266; cf. https://gepris.dfg.de/gepris/projekt/414153266), dezidiert multimodal: bei Fertigstellung im Herbst 2022 wird es über 70 Std. Audio-, Video- und Eyetracking-Aufzeichnungen sowie vollständige Transkriptionen in konversationsanalytischer Form umfassen. Die Auswertung erfolgt mit multifaktoriellen statistischen Methoden.
Der exhaustive Ansatz legt auch eine Kollaboration von Forscherinnen und Forschern mit unterschiedlichen Expertise-Schwerpunkten nahe, nämlich Peter Auer (Interaktionale Linguistik, Schwerpunkt Blick-Forschung), Christoph Rühlemann (Interaktionale Korpuslinguistik, Schwerpunkt Storytelling), Marion Schulte (Phonetik, Schwerpunkt Soziophonetik), Stefan Th. Gries (Korpuslinguistik, Schwerpunkt statistische Modellierung) sowie Judith Holler als eng integrierte Mercator Fellow (Psycholinguistik und Interaktionale Linguistik, Schwerpunkt Gesten-Forschung).
Der exhaustive Ansatz, die innovative Datengrundlage sowie die enge Experten-Kollaboration versprechen einen substanziellen Erkenntnisgewinn im Verständnis des precision timing der menschlichen multimodalen Kommunikation.
Zusammenfassung Englisch
Turn-taking in human face-to-face interaction is remarkably precision-timed: turn transitions happen within a gap of just 200 ms across languages and cultures. The precision carries semiotic significance: longer gaps are taken as harbingers of dispreferred responses. How is this precision-timing brought about? Psycholinguists agree that it is facilitated by a synergy of early predictive comprehension by the recipient and the use of turn-completion cues by the speaker, including, for example, address forms, turn-final drawling or the return of the speaker’s gaze to the recipient, giving the recipient the ultimate ‘go-signal’ to launch the response.
A large number of verbal, gestural, and prosodic turn-completion cues has already been identified, albeit based on based on very small and specialized data sets and/or in experimental settings and largely in isolation from one another. We therefore do not know how they interact, which of them have an actual effect on the precision-timing in turn transitions, how large the effect is, and under what conditions the effect holds.
This project addresses this gap. It comprehensively covers not just isolated cues but the whole repertoire of turn-completion cues used in face-to-face interaction. Its objectives are to establish which turn-completion cues are used and under which conditions they are used, detect their potential interactions in context, and determine which turn-completion cues have an effect on the precision-timing of turn transition observed in prior research.
The analyses will be based on the Freiburg Multimodal Interaction Corpus, currently under construction with funding from the DFG (project number 414153266; cf. https://gepris.dfg.de/gepris/projekt/ 414153266) and decidedly multimodal: once completed in fall 2022, FreMIC will comprise more than 70 hrs of video-recordings supplemented by eye-tracking videos for all recruits and complete conversation-analytic transcription; this rich multimodal data will be analyzed with predictive modeling techniques.
This comprehensive approach also suggests a collaboration of researchers with different specializations, each contributing their specific expertise, namely Peter Auer (Interactional Linguistics, with a focus on gaze research), Christoph Rühlemann (Interactional Corpus Linguistics, with a focus on storytelling research, Marion Schulte (Phonetics, with a focus on Sociophonetics), Stefan Th. Gries (Corpus Linguistics, with a focus on statistical modeling), and Judith Holler as a closely integrated Mercator Fellow (Interactional Linguistics and Psycholinguistics, with a focus on gesture research).
The comprehensive approach, the innovative database, and the close collaboration of experts in the field promise to substantially deepen our understanding of the precision timing of human multimodal communication.
Germanistische Linguistik Freiburg
Powered by CMSimple| Template: ge-webdesign.de| Login