Oraciones multimodales: La compleción gestual como recurso comunicativo
Magdalena Rosková
Universitat de Barcelona, España
magdalenaroskova@gmail.com
Ignacio Satti
Albert-Ludwigs-Universität Freiburg, Alemania
ignacio.satti@romanistik.uni-freiburg.de
Trabajo recibido el 9 de noviembre de 2023 y aprobado el 22 de marzo de 2024.
Resumen
En este trabajo estudiamos enunciados multimodales en donde un elemento gestual cumple una función sintáctica dentro de una oración verbalmente incompleta. Como ha sucedido con otros fenómenos típicos de la lengua oral, su estudio ha sido desdeñado por considerarse un problema de actuación: la gestualidad sería simplemente un recurso para subsanar el déficit del hablante para encontrar un elemento verbal. Al contrario, nuestro análisis muestra que las compleciones gestuales constituyen un recurso comunicativo con funciones propias (la intensificación, la atenuación y el favorecimiento de la progresión discursiva) que trascienden el uso de un posible equivalente verbal. Al adoptar la perspectiva émica de la lingüística interaccional, argumentamos que estos enunciados son considerados como completos por parte de los participantes del evento comunicativo y, como tales, constituyen oraciones multimodales. Así, nuestro trabajo propone la consideración de la gestualidad dentro del estudio de la gramática. Los datos proceden de tres corpus audiovisuales que incluyen muestras de diferentes variedades del español.
Palabras clave: multimodalidad, compleción gestual, oración incompleta, gestualidad, lingüística interaccional.
Multimodal sentences: Gestural completion as a communicative resource
Abstract
In this paper we study multimodal utterances in which a gestural element completes a syntactic function within a verbally incomplete sentence. As it has happened with other phenomena typical of spoken language, its study has been disregarded because it has been considered a performance problem: gesturing would be simply a resource to make up for the speaker’s deficit in producing a verbal element. On the contrary, our analysis shows that gestural completions constitute a communicative resource with its own functions (intensification, attenuation and favoring discursive progression) that transcend the use of a possible verbal equivalent. By adopting the emic perspective of interactional linguistics, we argue that these utterances are considered as complete by the participants and, as such, constitute multimodal sentences. Thus, our paper proposes the inclusion of gestures within the study of grammar. The data stems from three audiovisual corpora that include samples of different varieties of Spanish.
Keywords: multimodality, gestural completion, incomplete sentence, gestures, interactional linguistics.
Sentenças multimodais: O completamento gestual como um recurso comunicativo
Resumo
Neste artigo, estudamos enunciados multimodais nos quais um elemento gestual preenche uma função sintática em uma sentença verbalmente incompleta. Como aconteceu com outros fenômenos típicos da linguagem falada, seu estudo foi desdenhado por ser considerado um problema de desempenho: o gesto seria simplesmente um recurso para compensar o déficit do falante na produção de um elemento verbal. Ao contrário, nossa análise mostra que as complementações gestuais constituem um recurso comunicativo com funções próprias (intensificação, atenuação e favorecimento da progressão discursiva) que transcendem o uso de um possível equivalente verbal. Ao adotar a perspectiva êmica da linguística interacional, argumentamos que esses enunciados são considerados completos pelos participantes e, como tal, constituem sentenças multimodais. Assim, nosso artigo propõe a inclusão do gesto no estudo da gramática. Os dados são provenientes de três corpora audiovisuais que incluem amostras de diferentes variedades de espanhol.
Palavras-chave: multimodalidade, completação gestual, frase incompleta, gestos, linguística interacional.
1. Introducción
La integración entre el habla y la gestualidad ha sido ampliamente documentada y estudiada desde distintas perspectivas (McNeill 1992; Müller 1998; Kendon 2004; Enfield 2009; Streeck 2009). Estos estudios han dado lugar a conceptos como co-speech gesture (“gesto que acompaña al habla”), composite utterance (“enunciado compuesto”) (Enfield 2009) o multimodal gestalts (“gestalts multimodales”) (Mondada 2014), que agrupan distintos tipos de enunciados “multimodales” (Stivers y Sidnell 2005; Mondada 2014), es decir, enunciados en los que se presenta una coocurrencia del comportamiento visual-espacial y verbal-auditivo. Nos acercamos al estudio de la gestualidad en términos comunicativos (Kendon 2004). En este sentido, nuestro interés se focaliza en averiguar qué función comunicativa desempeñan los gestos en la interacción interpersonal y cómo la gestualidad contribuye a la transmisión del significado.
La mayor parte de los estudios sobre gestualidad se han concentrado en la integración simultánea entre el nivel verbal y el gestual. En este trabajo, en cambio, nos concentramos en un tipo específico de enunciado multimodal en donde la integración entre estos dos niveles es “lineal” (Ladewig 2014a): la oración se encuentra incompleta y el gesto ocupa un espacio sintáctico dentro de esta. En estos casos, sin tener en cuenta el gesto, su contenido sería incomprensible (Kendon 1988, 135), por lo que la gestualidad sirve como el “equivalente funcional de una palabra o frase” (Kendon 2004, 104). Estas compleciones gestuales, entonces, problematizan el concepto de “completitud”, en el sentido de que el enunciado está incompleto desde un punto de vista sintáctico, pero los participantes del evento comunicativo se orientan hacia este como completo tanto semántica como pragmáticamente.
Completar una oración con un gesto es habitual en la conversación oral y es un fenómeno que, plausiblemente, se encuentra en todas las lenguas. Sin embargo, se trata de construcciones marginalizadas (Garachana y Sansiñena 2023) que no han recibido casi atención en la lingüística. Como ha sucedido con otros rasgos típicos de la lengua oral, el posible origen de su exclusión del estudio lingüístico radica en la atribución de este fenómeno a un simple problema de actuación: la gestualidad en estos casos sería simplemente un recurso para subsanar el déficit del hablante para encontrar un elemento verbal. En este artículo, exploramos hasta qué punto este tipo de enunciados pueden considerarse un problema de actuación presentando una serie de extractos donde los participantes del evento comunicativo se orientan hacia ellos como completos sintácticamente. En este sentido, argumentamos que algunos enunciados con compleciones gestuales están diseñados como oraciones multimodales y, como tales, consideramos que su correcta descripción gramatical requiere de la gestualidad que las compone.
En lo que sigue, primero presentamos un panorama teórico sobre el lugar de la gestualidad en los estudios lingüísticos (§ 2). Además, en este apartado enmarcamos el fenómeno de las compleciones gestuales y presentamos algunos aspectos que aún quedan por explorar. A continuación (§ 3), presentamos nuestros datos, explicamos la metodología y mencionamos los principios básicos de la lingüística interaccional. El análisis (§ 4) se subdivide en tres partes: analizamos tres tipos de oración multimodal en donde la gestualidad cumple una determinada función sintáctica y cuya función comunicativa radica precisamente en la combinación entre un enunciado verbal sintácticamente incompleto y una compleción gestual. Para concluir (§ 5), presentamos los resultados y ofrecemos algunos puntos de discusión.
2. De la exclusión de la gestualidad a la compleción gestual de una oración
La exclusión de la gestualidad de los estudios lingüísticos modernos tiene mucho en común con la de otros aspectos de la oralidad. En un primer momento, la necesidad de la lingüística de establecerse como disciplina generó la separación de otras disciplinas donde la gestualidad ocupaba un lugar importante al principio del siglo XX, como la retórica y la psicología (Kendon 2004). Posteriormente, el ascenso de la lingüística chomskyana llevó a los investigadores a desdeñar diferentes aspectos de la comunicación, entre ellos la gestualidad, atribuidos a problemas de actuación. Además, el estudio de la gestualidad ha perdido valor frente al prestigio de la escritura (Le Guen 2018) y no ha sido considerado dado el sesgo por el estudio de la lengua escrita en la lingüística (Linell 2005).
Más recientemente, el avance tecnológico en la obtención de datos ha permitido el acceso a conversaciones naturales fuera del laboratorio, es decir, el tipo de datos predilecto de las distintas ramas de la lingüística funcionalista. Sin embargo, desde entonces, la gestualidad se ha visto enmarcada dentro del abanico de la comunicación no verbal, cuyo origen en la teoría de la información ha generado la dicotomía entre códigos “analógicos” (de codificación continua, como la gestualidad) y “digitales” (de codificación discreta, como la articulación verbal), nuevamente alejando la gestualidad de la lingüística. En definitiva, la gestualidad ha tenido un ascenso dentro de los estudios lingüísticos recién en el último cuarto del siglo XX, particularmente a partir del creciente interés que han generado las lenguas de signos.
Dentro de la lingüística hispánica actual, el estudio de la gestualidad ha encontrado dos nichos: la enseñanza de español como lengua extranjera y el estudio de las lenguas indígenas. Con respecto a la enseñanza de español, destaca el trabajo de Cestero Mancera (2017), basado en los estudios tempranos sobre comunicación no verbal por parte de Poyatos (1994). A partir de la conformación de inventarios gestuales en distintas lenguas y en el español, Cestero Mancera y su grupo de estudio han constatado similitudes y diferencias entre los gestos peninsulares y los utilizados en otras lenguas, lo cual ha permitido incorporar la gestualidad dentro del aula de ELE. Con respecto al estudio de las lenguas indígenas, existen algunos estudios recientes que se han concentrado en la gestualidad en comunidades indígenas americanas y han señalado diferencias en relación con la gestualidad de hablantes occidentales. Este es el caso de comunidades aymaras (Núñez y Sweetser 2006), quechuas (Dankel y Soto Rodríguez 2021) y mayas (Le Guen 2018), entre otras.
A diferencia de estos dos campos, en donde la lingüística hispánica se encuentra relativamente avanzada, la perspectiva comunicativa sobre la gestualidad no ha recibido la misma atención (véase, sin embargo, Alcaraz Carrión y Valenzuela 2022), en especial si se la compara con otras lenguas europeas, como es el caso del italiano (Kendon 2004), el alemán (Müller 1998), el francés (Calbris 1990) y el inglés (Kendon 2004). El presente trabajo se propone contribuir a este último campo de investigación.
Un fenómeno propicio para acercarse a la gestualidad desde una perspectiva lingüística es el denominado como “sintaxis mixta” (Slama-Cazaku 1976, también conocido como syntactic-body unit, Keevallik 2013). En estos casos, la gestualidad sirve como el equivalente funcional de una palabra o frase y, sin tener en cuenta el gesto, su contenido sería incomprensible (Kendon 1988). De forma reciente, Ladewig (2014a) ha realizado un estudio exhaustivo sobre este tipo de enunciados multimodales en alemán. La autora muestra que la mayor cantidad de compleciones gestuales se realizan mediante gestos referenciales o recurrentes (gestos que se producen junto con el habla), y no mediante emblemas y pantomimas (gestos que se producen habitualmente sin el habla). Este resultado muestra que la posibilidad de sustituir al habla no es una propiedad de ciertos tipos de gestos, sino de la gestualidad en general.
Las compleciones gestuales han recibido una reciente atención dentro de la lingüística interaccional. Keevallik (2018) muestra su uso en clases de enseñanza de baile en sueco, en donde una demostración gestual reemplaza al objeto directo en construcciones transitivas con hacer (“if guys do [gesto], then the ladies will do [gesto]”). En estos casos, la demostración corporal es naturalmente más eficiente que una descripción verbal. Li (2021) muestra el uso de compleciones gestuales en la realización de evaluaciones negativas en mandarín, en donde el gesto ocupa el lugar de un adjetivo (“la comida estaba [gesto]”). Utilizar un gesto en lugar de un adjetivo permite a los hablantes tratar la evaluación como delicada y evitar posibles respuestas no preferidas por parte de los interlocutores. Deppermann y Gubina (2021) analizan la combinación entre verbos modales en alemán (darf/kann ich, ‘puedo’) y un gesto de acción corporal. Los autores argumentan que esta combinación permite a los hablantes demostrar una mayor agentividad en la realización de la acción en cuestión. En definitiva, estos estudios nos dan la pauta de que las compleciones gestuales en la interacción cara a cara no se utilizan de forma aleatoria, sino que se trata de un recurso particularmente útil, que acarrea beneficios comunicativos para los hablantes por sobre un equivalente verbal.
En lo específico, aún quedan dos aspectos de las compleciones gestuales que requieren una investigación más detallada y que serán abordados en este trabajo. Primero, los estudios existentes no consideran hasta qué punto los participantes del evento comunicativo se orientan hacia los enunciados que combinan aspectos verbales y no verbales como completos sintácticamente. Segundo, aún queda espacio para indagar sobre las funciones comunicativas de las compleciones gestuales, en especial con respecto al posible beneficio para los participantes del uso de la gestualidad por sobre un posible equivalente verbal. Ambos aspectos resultan de vital importancia para nuestro argumento de que las compleciones gestuales no se producen de esa manera debido a un déficit en la capacidad discursiva de los hablantes, sino que se trata de recursos disponibles en la interacción cara a cara.
3. Datos y metodología
El análisis de este trabajo utiliza grabaciones de conversaciones espontáneas provenientes de tres fuentes de datos: el corpus GRADIA del español de Barcelona (Mar Garachana y equipo, Universidad de Barcelona), el corpus Freiburg SofaTalks (Stefan Pfänder y equipo, Universidad de Friburgo) y el corpus multimodal del español contemporáneo, MCCS (Oliver Ehmer y equipo, Universidad de Osnabrück). En todos los casos, se trata de grabaciones en video con una o dos cámaras que involucran de dos a cuatro participantes. En todos los casos, los informantes han firmado un consentimiento informado sobre el tratamiento de los datos. En total, hemos revisado aproximadamente 18 horas de grabaciones que incluyen hablantes de distintas variedades del español, siendo las más representadas las de Barcelona, Buenos Aires, Cochabamba y Bogotá.
Para la creación de la colección y para el análisis cualitativo de los extractos adoptamos la metodología de análisis de la lingüística interaccional (Couper-Kuhlen y Selting 2018; Imo y Lanwer 2019). La premisa fundamental de la LI es el estudio de la lengua en su hábitat natural: la interacción social. Desde esta perspectiva, la regularidad de las estructuras lingüísticas se relaciona con la implementación práctica que hacen de ellas los interactuantes para solucionar las necesidades recurrentes que se presentan en el desarrollo en tiempo real de la interacción social. En este sentido, la LI investiga la relación entre las estructuras y los patrones lingüísticos de cada lengua, y los problemas prácticos generales que se presentan en la interacción social, como es el caso de la organización secuencial de la conversación, la toma de turnos o la estructura de la preferencia, entre otros.
Un aspecto fundamental de la LI es la adopción de una perspectiva émica: el analista adopta la perspectiva de los participantes del evento comunicativo y sus argumentos se basan en la orientación de los participantes hacia el fenómeno de análisis en cuestión (Couper-Kuhlen y Selting 2018, 25-26). Para ello, la herramienta principal es el “procedimiento de prueba del turno siguiente” (Sacks et al. 1974; Raymond y Olguín 2022), que consiste en observar la respuesta a un turno como forma de verificar qué significado atribuyen mutuamente los interlocutores a sus expresiones, es decir, si el interlocutor B interpreta el enunciado de A como una pregunta, una solicitud, un reproche, etc. y si esta interpretación es la que esperaba A cuando produjo su turno de habla. Para los objetivos de este trabajo, el procedimiento de prueba del siguiente turno resulta una herramienta fundamental para comprobar si los participantes se orientan hacia ciertos enunciados multimodales como una estructura sintáctica completa.
A partir de la metodología de la LI, hemos coleccionado instancias en donde una estructura sintáctica verbalmente incompleta se completa mediante una expresión gestual. Hemos incluido solamente las instancias en donde los participantes muestran su orientación hacia el enunciado multimodal como completo, es decir, que no requiere una compleción posterior y en donde no se muestra un olvido del elemento verbal. En estos casos, el elemento lingüístico reemplazado por el gesto no es posteriormente completado por un equivalente verbal ni tampoco hay evidencia de que se trate de una búsqueda de palabra (Goodwin y Goodwin 1986; Auer y Zima 2021, 394)1. De esta manera, nos concentramos en el análisis de enunciados multimodales cuyo uso difícilmente pueda atribuirse solamente a un problema de actuación de los participantes. A partir de estos criterios, hemos identificado un total de 63 instancias que serán objeto de análisis.
Una vez obtenida la colección, hemos realizado un análisis cualitativo haciendo énfasis en los siguientes aspectos: tipo de elemento lingüístico completado, temporalidad de las fases del gesto con respecto al enunciado verbal, análisis secuencial de la interacción y función comunicativa del enunciado multimodal. En lo que sigue, presentamos ocho extractos ilustrativos que muestran los resultados generales de este análisis. Por cuestiones de extensión y coherencia, nos concentramos solamente en la compleción gestual de verbos copulativos, determinantes y formas de sujeto2. Las transcripciones que utilizamos siguen las convenciones GAT2 para el habla (Ehmer et al. 2019)3 y las convenciones de Lorenza Mondada (2001) para los aspectos visuales-espaciales4. Además, hemos agregado capturas de pantalla alineadas temporalmente con la transcripción para visualizar los aspectos gestuales más relevantes en cada ejemplo.
4. Análisis
El análisis se estructura en tres partes, en las que presentamos el uso de elementos lingüísticos que necesitan una compleción sintáctica mediante otros elementos. Es el caso del verbo ser (4.1), los artículos definidos e indefinidos en una frase nominal (4.2) y distintas formas de sujeto (4.3). En la superficie, estos casos presentan instancias de oraciones sintácticamente incompletas. Sin embargo, al considerar la combinación entre estos elementos lingüísticos y el uso de la gestualidad, observamos que se trata de oraciones completas desde la perspectiva de los participantes, a las cuales podemos asignar funciones comunicativas que trascienden el uso de un equivalente verbal.
4.1. Oraciones atributivas multimodales: ser + gesto
En este apartado, analizamos oraciones atributivas multimodales. Estas oraciones se componen, prototípicamente, por el verbo copulativo ser y un gesto que representa al atributo. El ejemplo (1), a continuación, presenta una estructura de este tipo. En esta conversación, Cristina (CRI) y Judit (JUD), ambas hablantes del español catalán, hablan sobre los últimos viajes que realizaron al extranjero. En concreto, Cristina cuenta las vivencias de su estancia en China, relacionadas con la higiene en los restaurantes.
Figura 1. Cristina completa su descripción del lavabo con un gesto.
Antes de la transcripción, Cristina explica que, en China, algunos restaurantes muestran a los clientes un certificado de limpieza para garantizar las condiciones higiénicas del local. En cambio, aquellos que carecen del certificado a menudo presentan unas condiciones de higiene que, según la hablante, son pésimas. Cuando Judit pregunta en qué exactamente estribaba el problema de higiene (l.04), Cristina introduce el tema del lavabo (l.06). Para expresar sus condiciones, se sirve de una oración atributiva multimodal con el verbo ser. La preparación del gesto se observa junto a “era” y su golpe5, que coincide con el vacío sintáctico, consiste en que la mano con los dedos extendidos y unidos con la palma direccionada hacia abajo se mueve en una línea horizontal desde el lado izquierdo de Cristina hacia su derecha (l.07, #2 y #3). Además, nótese que, a lo largo de la realización del gesto, la hablante permanece con los ojos cerrados y con una expresión facial de asco. Judit reacciona, asimismo, con una cara que se suele hacer cuando se contempla algo repugnante (l.08, #4).
Desde la perspectiva de las interlocutoras, la oración multimodal de la línea 07 se considera como completa tanto desde el punto de vista semántico como comunicativo. En cuanto a la hablante, su enunciado se produce con un movimiento tonal final levemente ascendente que proyecta una continuación. Sin embargo, la emisora no completa la oración verbalmente a posteriori y lo que sigue en su narración no es una reformulación o corrección de lo expresado anteriormente. En este sentido, la continuación del discurso no se puede considerar la compleción verbal del enunciado. Además, la preparación del gesto coincide con la expresión verbal de “era” —un indicio de que la producción multimodal de la oración ya se encontraba proyectada desde el inicio de la frase. Desde la perspectiva de la receptora, observamos que no muestra indicios de incomprensión. Al contrario, muestra su entendimiento con otra expresión facial de disgusto (#3) y, en la línea 12, se extraña verbalmente por el hecho de que alguien tuviera mal el baño en su propia casa, lo cual comprueba que ha interpretado el gesto como una característica negativa del sujeto.
En términos de su función comunicativa, en este caso la compleción gestual se utiliza como recurso de intensificación. Tal y como afirma Briz, “intensificar es hacer que una cosa adquiera mayor intensidad, en sentido figurado, vehemencia, a través del énfasis o fuerza de la expresión, de la entonación o de los gestos” (2011, 113). Los ojos cerrados refuerzan la idea de algo que no es atractivo de ver, mientras que el gesto de corte horizontal implica una declaración que se presenta como suficiente y que no requiere más comentarios (Kendon 2004, 256). De esta manera, la combinación entre la expresión facial de disgusto y el gesto muestran que las palabras no son suficientes para expresar el estado deplorable de los aseos. En efecto, expresar la calidad de “asqueroso” exclusivamente de forma corporal recurre a la falta de palabras como recurso en sí mismo, intensificando la emoción negativa de la hablante con respecto a los aseos.
En definitiva, en este ejemplo no observamos indicios de un problema de actuación por parte de la emisora o un enunciado incomprendido por la receptora. Al contrario, la oración está diseñada multimodalmente desde su concepción y, desde el punto de vista comunicativo, es exitosa.
Documentamos más ejemplos de oraciones multimodales atributivas, en las que el uso de la gestualidad en lugar del lenguaje verbal puede atribuirse a otras razones. El ejemplo (2) es un fragmento de una conversación entre Clara (CLA), hablante del español catalán, y Lucas (LUC), hablante del español madrileño, que hablan de las estancias de Erasmus que hicieron en Inglaterra. Lucas cuenta que una amiga suya vivía en un piso con vistas particularmente bonitas que daban a un puerto con barcos.
Figura 2. Clara completa su frase con un gesto deíctico.
Después de que Lucas describe las vistas maravillosas que tenía el piso de su amiga (l.01-03), Clara muestra su asombro (l.04, #1). Seguidamente, reacciona con un comentario sobre la zona en la que se encontraba el piso mediante una oración atributiva multimodal (l.08), en la que la parte verbal de la oración —“por la zona era”—, durante la cual ocurre la preparación del gesto, está completada por un señalamiento, realizado con la mano izquierda, que indica dos veces hacia su lado izquierdo (l.08 #2 y #3). Lucas reacciona en inmediato con un asentimiento verbal y con la cabeza, y continúa con fluidez en la descripción de la zona (ll.09-14).
La oración en la línea 08 es multimodal, puesto que el sujeto y la cópula se expresan por vía verbal, y el atributo, por un gesto deíctico. Nuevamente, podemos argumentar que se encuentra diseñada multimodalmente desde el inicio del turno. El primer indicio de ello es que la preparación se produce al principio del enunciado, de manera que los dos golpes del gesto suceden inmediatamente después de “era”. Otra prueba es que el verbo se produce con un movimiento tonal final sostenido, lo cual proyecta una continuación que, sin embargo, no ocurre verbalmente. Además, el gesto supone el final del turno, ya que Lucas reacciona durante su realización con un consentimiento verbal y gestual, y después continúa su discurso.
El ejemplo (2) es similar al (1) en que, en ambos casos, los gestos permiten que la conversación avance y en que no son soluciones a problemas de expresión, sino legítimos constituyentes de la oración, que actúan en la transmisión de la información. En cambio, difieren en el tipo del gesto que incluyen: en el ejemplo (1), la oración se completa mediante la combinación de una expresión facial con un gesto recurrente; en (2) ejecuta esta tarea un gesto deíctico. Además, estas instancias difieren en términos de la función comunicativa de la gestualidad: en (1) la expresión corporal tiene la función intensificadora; en (2) la gestualidad apela a la economía lingüística por conocimiento compartido y favorece la progresión discursiva.
El ejemplo (3), a continuación, presenta otra instancia de la estructura ser + gesto donde la hablante no verbaliza el atributo. Sin embargo, a diferencia de los dos anteriores, aquí la receptora sí produce una posible compleción verbal de la estructura, por lo que discutiremos hasta qué punto se trata de un enunciado completo desde la perspectiva de los participantes. En este extracto, Juana (JUA) y Valeria (VAL) cuentan a su tío Tato (TAT) sobre el estado de las carreteras en su región, en Bolivia. Los tres participantes son hablantes de español andino boliviano.
Figura 3. Juana mira a Valeria y completa su evaluación con un gesto zigzagueante.
Al inicio del fragmento, Juana valora positivamente una carretera recientemente renovada (l.01). A continuación, añade una justificación de su valoración realizando una descripción del estado anterior de la carretera (“o sea porque antes era”, l.02). Después de la cópula, no completa su enunciado verbalmente, sino que realiza una compleción multimodal mediante un atributo gestual combinando un gesto icónico (l.02, #2 y #3) y un silbido (l.02). En el golpe del gesto, la hablante utiliza sus dedos extendidos y unidos para dibujar un camino desde abajo hacia arriba, presentando tres curvaturas (una carretera zigzagueante).
A diferencia de los ejemplos anteriores, aquí la receptora, Valeria, responde de una manera que podría considerarse la compleción sintáctica del verbo copulativo (“era fea fea fea”, l.03). Sin embargo, podemos argumentar que este turno de Valeria se produce en respuesta a la oración copulativa multimodal producida por Juana. Por un lado, nótese que, justo al pronunciar “era”, nuevamente con un movimiento tonal final sostenido, Juana cambia la dirección de la mirada hacia Valeria (#1), proyectando que su turno está dirigido a ella (y no a Tato, detrás de cámara); por lo que una respuesta por parte de Valeria está proyectada desde antes de que se produzca el vacío sintáctico. Por otro lado, desde un punto de vista secuencial, la respuesta de Valeria tiene el formato prototípico de una evaluación en segunda posición secuencial, es decir, de una segunda evaluación (Pomerantz 1984). En efecto, la repetición del adjetivo en tres ocasiones puede considerarse una muestra de acuerdo con un aumento de la evaluación (Couper-Kuhlen y Selting 2018, 295) y no la provisión de la solución a una búsqueda de palabra, que suele diseñarse como respuesta candidata y requerir una ratificación (Oloff 2014; Dressel 2020). Además, la producción de una primera evaluación sobre un referente que ambas conocen, es decir, para el que comparten el acceso epistémico, suele incluir elementos de atenuación (Couper-Kuhlen y Selting 2018, 289). En definitiva, argumentamos que la evaluación de Valeria toma como base la primera evaluación de Juana, la cual necesariamente tiene que incluir su gesto para ser entendida como tal.
La utilización del gesto también es un recurso comunicativo desde la perspectiva de Juana. Nótese que, desde el punto de vista semántico, la compleción de Valeria (“fea”) no coincide exactamente con lo que expresa el gesto de Juana, que es más bien una característica de la carretera. Aun así, el contexto permite entender esta característica como negativa. En otras palabras, el diseño multimodal del turno contribuye a diseñar la primera evaluación de una forma atenuada, algo que resulta preferido en este tipo de acciones, sin por ello evitar que se comprenda el carácter negativo de la evaluación. En este sentido, coincide con lo propuesto por Li (2021) para las evaluaciones incompletas en primera posición secuencial en mandarín. Además, es necesario considerar el registro coloquial de esta conversación: lo que se expresa con el gesto no tiene un equivalente de carácter adjetival claro en el español coloquial. El adjetivo más cercano sería “sinuosa”, una expresión propia del registro formal. En definitiva, nuevamente podemos atribuir funciones comunicativas al diseño multimodal del turno que trascienden el uso de un equivalente verbal.
4.2. Sintagmas nominales multimodales: determinante + gesto
En este apartado consideramos oraciones con sintagmas nominales multimodales. En estos casos, la oración incluye un sintagma nominal compuesto por un determinante verbal y un nombre gestual, que, por lo menos en nuestros datos, desempeña la función de objeto directo. El ejemplo (5) proviene de una conversación entre los mismos hablantes del ejemplo (2), Clara (CLA) y Lucas (LUC). En este caso, hablan sobre el máster que ambos realizaron en Barcelona. En el extracto, Lucas compara la dinámica de los estudios de grado con el de máster, donde el sistema de evaluación obliga a los estudiantes a trabajar continuamente.
Figura 4. Lucas concluye su turno con un gesto circular indicando conocimiento compartido.
En las primeras líneas, Lucas argumenta que los estudios de grado no requieren un esfuerzo continuo del estudiante, sino que es suficiente prepararse para el período de los exámenes (ll.01-06). Para expresar el hecho de que los estudiantes de grado no se esfuerzan durante el semestre, Lucas emplea una oración con un sintagma nominal multimodal. Se trata de una oración transitiva, en donde el objeto directo se expresa mediante un gesto: después de pronunciar “estoy tres meses tocando mi” (l.06), sigue un gesto circular (Ladewig 2014b) con la mano derecha (ll.06-07, #2-#4). La reacción de Clara es inmediata tanto en el plano verbal como gestual: muestra su acuerdo con un “sí” (l.07) y con una mano abierta con la palma hacia arriba extendida hacia Lucas (#5) (Kendon 2004, 210).
Nuevamente, observamos que la oración multimodal está diseñada como tal por parte del hablante. En primer lugar, el movimiento tonal final del determinante mi es sostenido, lo cual apunta a una necesaria continuación del enunciado. En segundo lugar, el tipo de gesto encaja bien en su contexto; se trata de una variante del gesto circular realizada hacia el interlocutor (Ladwig 2014b, 1610), indicando una invitación a continuar con la actividad comunicativa y asignando al interlocutor una posible recuperación de la palabra faltante. En tercer lugar, si analizamos el comportamiento de Clara, es evidente que interpreta el gesto como finalizador de turno, ya que toma la palabra por un momento, y no muestra indicios de incomprensión, más allá de que su intento de tomar el turno resulta en un habla solapada.
En cuanto a la función del gesto, se podría considerar un caso opuesto a los gestos intensificadores: en el ejemplo (5), el gesto sirve para atenuar una palabra grosera. En términos de Briz Gómez (2011) gracias a la atenuación se mitiga la fuerza significativa de una expresión para no violar el principio de la cortesía (p. 158). En este sentido, Lucas utiliza el gesto con la finalidad de atenuar el efecto negativo que podría causar el empleo de una palabrota sobre la interlocutora. Clara entiende el “camuflaje” de la palabra grosera y lo acepta con un acuerdo inmediato.
Esta función atenuadora parece ser particularmente útil en la interacción. El ejemplo (5), a continuación, presenta otra instancia donde se atenúa la misma palabra tabú. Este extracto tiene lugar durante la sobremesa de una comida entre tres amigos. Edwin (EDW), Adrián (ADR) y Juan (JUA) conversan sobre videos enviados por redes sociales. Adrián pregunta a sus amigos si han visto el último que ha enviado.
Figura 5. Adrián utiliza dos veces la gestualidad para referirse a una palabra tabú.
En vez de emplear una palabra que designa los genitales masculinos, Adrián completa el enunciado en la línea 03 (“que enseña la…”) con un gesto deíctico, realizado con la cabeza y la mirada, que se mueven en la dirección de su regazo (#2). De esta manera, transmite el mensaje que desea comunicar sin tener que verbalizarlo. Si bien el habla solapada impide la recepción del mensaje por los interlocutores, la intención de atenuar la palabra tabú mediante un gesto se ve reforzada en el contexto posterior, en el que Adrián vuelve a parafrasear el primer enunciado incompleto en la línea 05 (“se sube las faldas y le…”). Seguidamente, completa su frase con un movimiento de la mano que imita el sacar algo sobre la mesa. Nuevamente, observamos la función atenuadora del gesto, aunque en este caso sustituye una parte mucho más compleja de la oración, a saber, un sintagma verbal. En efecto, los interlocutores demuestran su entendimiento de la referencia sin la necesidad de completar verbalmente el enunciado (l.07 y l.08).
Los sintagmas nominales multimodales no aparecen solamente en contextos de atenuación. El (6) presenta la combinación del artículo indefinido verbalizado y un gesto al que podemos atribuir una función intensificadora. En el fragmento, Jorge (JOR) y Gerard (GER), hablantes del español de Cataluña, comparten sus experiencias iniciales como profesores de inglés. Jorge cuenta sobre una academia de idiomas donde le prometieron una formación y la planificación de las clases preparada.
Figura 6. Jorge completa su frase con un chasquido de dedos.
Antes del inicio de la transcripción, Jorge valora positivamente el hecho de que la academia ofrece a los profesores novatos una formación previa y una planificación de clases. Le parece un punto favorable para que los maestros principiantes reciban un impulso para incorporarse a la actividad docente (ll.01-07). Para expresar esto se sirve, primero, del enunciado verbal “para empezar” (l.03, #1), al que, luego, parafrasea con una oración que incluye un sintagma nominal multimodal compuesto por el artículo un y un gesto emblemático, que consiste en dos chasquidos de los dedos (l.07, #3). Gerard demuestra su entendimiento de la compleción gestual y se muestra de acuerdo con la posición de Jorge (ll.09, 13, 14).
La construcción multimodal del sintagma nominal en la línea 14 se observa en el movimiento tonal final sostenido del artículo, que invita a la complementación del sintagma, la cual sucede de forma inmediata gracias al gesto. Si bien el gesto no cierra el turno, Jorge no busca la sustitución por una forma verbal, sino que continúa fluidamente en su discurso con una nueva idea, de modo que la compleción verbal no sucede por parte de ninguno de los participantes. Además, la composición multimodal de la oración está diseñada como tal desde su inicio. La preparación del gesto sucede a lo largo de “para tener un” (#2), cuando los dedos se recogen para chasquear inmediatamente después del artículo (#3).
En cuanto al gesto, su uso encaja bien en el contexto en el que se emplea. En los textos de Antigua Roma, el emblema del chasquido de dedos se describe como un gesto típico de dar una orden conocida por los interlocutores, de haberle venido a uno una idea después de pensar mucho o como un recurso de escandir (Fornés Pallicer y Puig Rodríguez-Escalona 2008, 57-63), usos que siguen existiendo actualmente. Otros autores documentan empleos del gesto para llamar la atención de alguien (Meo-Zilio y Mejía 1980, 46) o, en el catalán, para comunicar a alguien que se aleje (Payrató 1989, 208). De la misma manera, en nuestras bases de datos encontramos ejemplos en los que el gesto incita a la realización de una acción o a la aceleración de esta. En resumen, el gesto se asocia con contextos en los que se expresa dinamismo, tal y como ocurre en el ejemplo (4).
En este caso, la función comunicativa de la compleción gestual consiste en el grado de expresividad, por lo que, nuevamente, podemos incluirla dentro del campo de la intensificación. Nótese que la oración multimodal es, en realidad, una paráfrasis del enunciado “para empezar” de la línea 03. Al rehacer su turno mediante una compleción gestual que expresa la puesta en marcha de una actividad de manera más eficaz, el hablante aporta más expresividad a su turno y genera una respuesta inmediata por parte de Gerard (l.09).
4.3. Recreaciones multimodales: sujeto + gesto
En este apartado, analizamos la combinación entre distintas formas de sujeto y gestos icónicos (McNeill 1992) o gestos representativos (Kendon 2004), que presentan “un cierto grado de isomorfismo entre la forma del gesto y la entidad expresada por este” (Kita 2000, la traducción es nuestra). A través de esta combinación multimodal, los hablantes no solamente describen un evento, sino que, a partir del uso de gestos icónicos, lo muestran.
La combinación de formas de sujeto con elementos gestuales se utiliza dentro de las prácticas de “recreación” (en inglés reenactment, Sidnell 2006) de un evento reportado. Las recreaciones son formas de discurso directo (Holt 1996) que permiten la animación de los personajes de la narración (Ehmer 2011; Cantarutti 2022). Frente a conceptos como “discurso directo” o “diálogo reportado”, el uso del término “recreación” hace referencia al carácter multimodal que tiene esta actividad (Ehmer y Mandel 2021). En efecto, las recreaciones combinan el uso de recursos lingüísticos (Posio y Pešková 2020), prosódicos (Couper-Kuhlen 1999) y corporales, como la mirada (Pfeiffer y Weiss 2022) y la gestualidad (Sidnell 2006). En otras palabras, cuando los hablantes utilizan el discurso directo, no reportan simplemente las palabras de alguien, sino que, al mismo tiempo, recrean distintos aspectos de su comportamiento.
El ejemplo (7), a continuación, presenta una instancia en donde se combina un sujeto pronominal con un gesto icónico como forma de recreación narrativa. Los participantes de este extracto son los mismos que los del extracto (5). Edwin (EDW) cuenta a Adrián (ADR) sobre un viaje que hicieron a Mallorca junto con Juan (JUA). Estando de fiesta y borrachos, intentaron tomar el ferry desde Barcelona a la isla, y se sorprendieron cuando la policía no los detuvo.
Figura 7. Edwin recrea corporalmente su incredulidad.
En el extracto, Edwin relata el momento en el que un policía los detiene antes de subir al ferry. Primero, Edwin describe el accionar del policía al inspeccionar el interior del auto (ll.01-05). Nótese que utiliza el pretérito perfecto simple durante la descripción. En lo que sigue, produce un sonido onomatopéyico que cierra la descripción (l.06) y reporta en presente las palabras del policía: “sigan” (l.07). Después de un silencio (l.08), Edwin reporta la reacción de los presentes dentro del auto (l.09). Para ello, utiliza la forma pronominal “y nosotros” y recrea corporalmente la reacción de incredulidad (figura 7). A continuación, Edwin prosigue con la narración, retomando el pretérito perfecto simple (ll.10-13).
El turno de Edwin en la línea 09 puede considerarse una oración multimodal en donde el sujeto se expresa de forma verbal y el verbo, de forma gestual (#3). Como hemos visto en el resto de los extractos, esta oración está diseñada como multimodal. El contenido verbal del turno se produce con un movimiento tonal final sostenido, proyectando una continuación. La fase de preparación del gesto se inicia durante “nosotros”, de forma tal que el gesto toma su forma final inmediatamente después. Esto nos da la pauta de que, para que esto sea posible, Edwin planea su turno de esta manera desde el inicio de la línea 09. Por último, la continuación en línea 10 (“y seguimos”) no puede considerarse un elemento que completa sintácticamente “nosotros”. En definitiva, no se trata de un déficit en la capacidad discursiva de Edwin, sino que, al contrario, el enunciado está diseñado como una combinación entre un sujeto verbal y un gesto; y este diseño es más propicio al contexto de enunciación, es decir, la recreación narrativa de una parte de la historia.
El uso de este tipo de oraciones multimodales no se limita a formas pronominales, sino que puede utilizarse con todo tipo de sujetos. Como evidencia, véase el extracto (8), en donde se utiliza como sujeto “la gente”. Dos amigas conversan sobre las diferencias entre las costumbres alemanas y las de sus países. Violeta (VIO), de Perú, dice a su amiga Renata (REN), de Argentina, que en Perú es habitual pasar un periodo prolongado de tiempo mirando programas televisivos.
Figura 8. Violeta recrea “la gente” frente al televisor.
Al inicio del extracto, Violeta cuenta a Renata que en Perú hay muchos programas televisivos sobre la farándula (ll.02-03). Lo hace mirando a Renata (#1), quien confirma que en Argentina también existen dichos programas (l.04). A continuación, Violeta inicia su turno con “y la gente”, el cual, nuevamente, se finaliza con un movimiento tonal sostenido (l.05). Nótese que, al igual que en el ejemplo (7), Violeta cambia la dirección de su mirada e inicia la preparación de una recreación corporal de forma temprana. De este modo, el gesto llega al ápice justo después de terminado el contenido verbal del turno (#2). Mediante esta recreación, Violeta no solamente describe la gente frente al televisor, sino que encarna visiblemente a una persona en esa situación. Es decir, no solamente muestra qué hace la gente, sino también cómo lo hace. Esto le permite incluir su evaluación de ese comportamiento, la cual, en este caso, tiene un matiz negativo.
Los ejemplos (7) y (8) tienen varios aspectos en común. Primero, en ambos casos se trata de la recreación conversacional del comportamiento de un grupo de personas. Segundo, ambas recreaciones están construidas desde un inicio del turno como oraciones multimodales. Esto nos da la pauta de que se trata de un tipo de construcción que requiere tanto del nivel verbal como del corporal. Tercero, la recreación corporal permite hacer visible un desplazamiento deíctico de tipo temporal, espacial y personal. De esta manera, los hablantes logran la animación de un personaje (o varios) en un espacio externo al de la enunciación. Por último, la preferencia por una recreación corporal por sobre una posible descripción verbal no resulta aleatoria, sino que está motivada por el comportamiento recreado, que, en ambos casos, es de naturaleza exclusivamente corporal. En definitiva, la gestualidad resulta constitutiva de las recreaciones de un evento reportado, en el sentido de que agrega un matiz adicional que no sería posible con el uso de una descripción verbal equivalente.
5. Resultados y discusión
En este artículo, hemos estudiado enunciados multimodales en donde un elemento gestual cumple una función sintáctica dentro de una oración verbalmente incompleta. Al inicio del trabajo nos hemos planteado dos objetivos. En primer lugar, averiguar, en base a ejemplos de conversaciones reales, si los hablantes consideran estos enunciados como oraciones completas en su composición multimodal y, en segundo lugar, si las compleciones gestuales analizadas cumplen funciones comunicativas adicionales en comparación con un posible equivalente verbal.
Con respecto al primer objetivo, según la perspectiva émica de la lingüística interaccional, mostramos que los hablantes consideran estos enunciados como oraciones multimodales completas y diseñadas precisamente como tales. Eso se observa, en primer lugar, en que las oraciones multimodales incompletas verbalmente no se completan por ningún participante a posteriori, y que ocasionan la toma de turno o una reacción (expresión facial, elemento confirmatorio verbal o gestual, etc.) por parte del interlocutor. En segundo lugar, el diseño del turno carece de muestras de dificultad de expresión del hablante o señales de incomprensión por parte del interlocutor. Al contrario, las oraciones multimodales suelen formar parte de un discurso fluido y, a menudo, representan el vehículo de la progresión discursiva. En tercer lugar, los casos que hemos analizado presentan rasgos prosódicos específicos que proyectan continuación, es decir, un movimiento tonal final sostenido o levemente ascendente y, en ocasiones, un leve alargamiento. De esta manera, la conclusión del enunciado no se produce mediante la prosodia, sino mediante la retracción del gesto a su posición de base (en efecto, como argumentan González Temer y Ogden (2021), los límites no convergentes entre unidades son más bien la norma en la interacción multimodal). Por último, en todos los casos, el golpe del gesto coincide con el vacío sintáctico de la oración; y, en la mayoría de los ejemplos, la preparación del gesto ocurre durante el habla anterior, lo cual sirve como prueba de que el hablante proyecta la inclusión de la gestualidad desde su inicio y no recurre a ella ante la falta de un elemento léxico.
En lo que concierne a la segunda meta, este artículo revela tres funciones comunicativas de las compleciones gestuales por sobre un posible equivalente verbal: la intensificación, la atenuación y el favorecimiento de la progresión discursiva. La intensificación se observa especialmente en el ejemplo (1), donde el gesto intensifica una calidad negativa del sujeto; en el ejemplo (6), donde el hablante rehace su turno con una compleción gestual que le permite conseguir un mayor grado de expresividad; y en el ejemplo (8), donde el gesto enriquece el significado de la aseveración de la hablante con su posicionamiento afectivo negativo. Además, en relación con la intensificación, cabe destacar que el uso de compleciones gestuales otorga una mayor expresividad y dramatización al diseño del enunciado, lo cual es particularmente útil en contextos narrativos, como los que observamos en los ejemplos (7) y (8).
La atenuación se observa, ante todo, en el ejemplo (3), donde se mitiga una evaluación negativa, y en los ejemplos (4) y (5), donde los gestos evitan el uso de una palabra tabú. En estos casos, las compleciones gestuales cumplen justamente la función opuesta a la intensificación, al garantizar un ambiente comunicativo cortés y facilitar el manejo de la estructura de la preferencia en contextos de evaluaciones en primera posición secuencial.
Además de la atenuación y la intensificación, el empleo del gesto por sobre un equivalente verbal favorece la progresión discursiva y la economía lingüística. Esto es particularmente visible en los ejemplos (2) y (4), en donde el hablante apela al conocimiento compartido con el interlocutor; y en el ejemplo (3), donde el español carece de un equivalente verbal de uso frecuente para describir una carretera de montaña en malas condiciones. Sin embargo, podemos argumentar que se trata de una función secundaria en el resto de los ejemplos. En efecto, las compleciones gestuales se utilizan particularmente en contextos donde un equivalente verbal es menos eficiente en términos de economía lingüística que una expresión corporizada6 (véase, por ejemplo, el uso de compleciones gestuales en clases de danza en Keevalik 2018).
Las funciones comunicativas de las compleciones gestuales ofrecen dos argumentos centrales para considerar las oraciones multimodales como recursos propios de la lengua hablada y no como producto del “déficit” discursivo del hablante. Por un lado, las tres funciones mencionadas obtienen su potencial comunicativo precisamente en el hecho de que lo descripto no puede, no debería o no necesita ser expresado con un equivalente verbal. Por otro lado, las oraciones multimodales reportadas pueden construirse con todo tipo de gestos (icónicos, deícticos, emblemáticos o recurrentes) sin que las funciones de la estructura cambien en base al tipo de gesto. Al contrario, las funciones comunicativas que hemos evidenciado se relacionan más bien con el carácter multimodal de la oración y no con el aporte individual de sus partes.
Finalmente, los tres tipos de oraciones multimodales analizados permiten observar la confluencia del lenguaje verbal y de los gestos en términos de una gramática de la lengua oral. Los gestos poseen la capacidad de desempeñar diversas funciones sintácticas: en las oraciones atributivas multimodales funcionan como el atributo del verbo ser, expresan el objeto directo de una oración dentro de sintagmas nominales multimodales, y constituyen el predicado en las recreaciones multimodales. En concordancia con los hallazgos de Ladewig (2014a), no observamos una relación sistemática entre un tipo de gesto y una función sintáctica concreta (actuaciones solo para verbos, o representaciones solo para sustantivos, por ejemplo), sino que parece que es una capacidad de la gestualidad en general sustituir elementos verbales, teniendo en cuenta que la función sintáctica queda proyectada gracias a la estructura de la oración.
En definitiva, consideramos más propicio estudiar las oraciones multimodales como un recurso comunicativo en sí mismo, en lugar de seguir desdeñando su estudio por considerarlas problemas de actuación, debidos al “déficit” en la capacidad discursiva de los hablantes. Esta perspectiva puede abrir nuevas preguntas en relación con la gramática de la lengua oral y contribuir a nuestro conocimiento sobre la interfaz entre la gramática y el cuerpo en la interacción social (Pekarek Dohler et al. 2022).
Bibliografía
» Alcaraz Carrión, Daniel y Javier Valenzuela. 2022. “Time as space vs. time as quantity in Spanish: A co-speech gesture study.” Language and Cognition 14(1): 1-18.
» Auer, Peter y Elisabeth Zima. 2021. “On word searches, gaze, and co-participation.” Gesprächsforschung - Online - Zeitschrift zur verbalen Interaktion 22: 390-425.
» Briz Gómez, Antonio. 2011. El español coloquial en la conversación: Esbozo de pragmagramática. Barcelona: Ariel.
» Calbris, Genevieve. 1990. The semiotics of French gestures. Bloomington: Indiana University Press.
» Cantarutti, Marina Noelia. 2022. “Co-Animation in Troubles-Talk.” Research on Language and Social Interaction 55(1): 37-58.
» Cestero Mancera, Ana María. 2017. “La comunicación no verbal.” En Manual del profesor de ELE, editado por Ana María Cestero Mancera y Inmaculada Calvo Penadés, 1051-1122. Alcalá: Universidad de Alcalá.
» Couper-Kuhlen, Elizabeth. 1999. “Coherent Voicing: On Prosody in Conversational Reported Speech.” En Coherence in Spoken and Written Discourse (Pragmatics & Beyond New Series), vol. 63, editado por Wolfram Bublitz, Uta Lenk y Eija Ventola, 11-34. Ámsterdam: John Benjamins.
» Couper-Kuhlen, Elisabeth y Margret Selting. 2018. Interactional linguistics: Study language in social interaction. Cambridge: Cambridge University Press.
» Dankel, Philipp y Mario Soto Rodríguez. 2021. “Contacto y multimodalidad: Listas andinas y sus gestos, entre adaptaciones situacionales, tendencias regionales y pautas universales.” En Variedades del español en contacto con otras lenguas, editado por Élodie Blestel y Azucena Palacios, 157-180. Lausana: Peter Lang.
» Deppermann, Arnulf y Alexandra Gubina. 2021. “When the Body Belies the Words: Embodied Agency With darf/kann ich? (‘May/Can I?’) in German.” Frontiers in Communication 6: 661800.
» Dressel, Dennis. 2020. “Multimodal word searches in collaborative storytelling: On the local mobilization and negotiation of coparticipation.” Journal of Pragmatics 170: 37-54.
» Ehmer, Oliver. 2011. Imagination und Animation: Die Herstellung mentaler Räume durch animierte Rede. Berlín: De Gruyter.
» Ehmer, Oliver, Ignacio Satti, Angelita Martínez & Stefan Pfänder. 2019. „Un sistema para transcribir el habla en la interacción: GAT 2”. Gesprächsforschung - Online-Zeitschrift zur verbalen Interaktion (ISSN 1617-1837) 20: 64-114.
» Ehmer, Oliver y Daniel Mandel. 2021. “Projecting action spaces. On the interactional relevance of cesural areas in co-enactments.” Open Linguistics 7(1): 638-665.
» Enfield, Nick. 2009. The Anatomy of Meaning. Cambridge: Cambridge University Press.
» Fornés Pallicer, María Antonia y Mercè Puig Rodriguez-Escalona. 2008. El porqué de nuestros gestos: La Roma de ayer en la gestualidad de hoy. Barcelona: Octaedro.
» Garachana, Mar y María Sol Sansiñena. 2023. “¿Cómo explicar el cambio lingüístico marginal? Los modelos lingüísticos actuales y el estudio de los marginalia.” Boletín de Filología 58(1): 13-46.
» González Temer, Verónica y Richard Ogden. 2021. “Non-convergent boundaries and action ascription in multimodal interaction.” Open Linguistics 7(1): 685-706.
» Goodwin, Marjorie Harness y Charles Goodwin. 1986. “Gesture and coparticipation in the activity of searching for a word.” Semiotica 62(1-2): 51-76.
» Holt, Elizabeth. 1996. “Reporting on Talk: The Use of Direct Reported Speech in Conversation.” Research on Language & Social Interaction 29(3): 219-245.
» Imo, Wolfgang y Jens Philipp Lanwer. 2019. Interaktionale Linguistik: Eine Einführung. Heidelberg: J. B. Metzler Verlag.
» Keevallik, Leelo. 2013. “The Interdependence of Bodily Demonstrations and Clausal Syntax.” Research on Language & Social Interaction 46(1): 1-21.
» Keevallik, Leelo. 2018. “What Does Embodied Interaction Tell Us About Grammar?” Research on Language and Social Interaction 51(1): 1-21.
» Kendon, Adam. 1988. “How gestures can become like words.” En Cross-cultural perspectives in nonverbal communication, editado por Fernando Poyatos, 131-141. Toronto: Hogrefe.
» Kendon, Adam. 2004. Gesture: Visible action as utterance. Cambridge: Cambridge University Press.
» Kita, Sotaro. 2000. “How representational gestures help speaking.” En Language and gesture, editado por David McNeill, 162-185. Cambridge: Cambridge University Press.
» Ladewig, Silva H. 2014a. “Creating multimodal utterances: The linear integration of gestures into speech.” En Handbücher zur Sprach- und Kommunikationswissenschaft / Handbooks of Linguistics and Communication Science (HSK) 38/2, editado por Cornelia Müller, Alan Cienki, Ellen Fricke, Silva H. Ladewig, David McNeill y Jana Bressem, 1662-1677. Berlín: De Gruyter.
» Ladewig, Silva H. 2014b. “The cyclic gesture.” En Handbücher zur Sprach- und Kommunikationswissenschaft / Handbooks of Linguistics and Communication Science (HSK) 38/2, editado por Cornelia Müller, Alan Cienki, Ellen Fricke, Silva Ladewig, David McNeill y Jana Bressem, 1605-1618. Berlín: De Gruyter.
» Le Guen, Olivier. 2018. “La importancia de la gestualidad en el estudio del maya yucateco actual.” Cuadernos de Lingüística de El Colegio de México 5(1): 427-469.
» Li, Xiaoting. 2021. “Multimodal practices for negative assessments as delicate matters: Incomplete syntax, facial expressions, and head movements.” Open Linguistics 7(1): 549-568.
» Linell, Per 2005. The written language bias in linguistics: Its nature, origins and transformations. Londres y Nueva York: Routledge.
» Meo-Zilio, Giovanni y Silvia Mejía. 1980. Diccionario de gestos: España e Hispanoamérica. Bogotá: Instituto Caro y Cuervo.
» McNeill, David. 1992. Hand and mind: What gestures reveal about thought. Chicago: The University of Chicago Press.
» Mondada, Lorenza. 2001. Conventions for multimodal transcription. https://franzoesistik.philhist.unibas.ch/fileadmin/user_upload/franzoesistik/mondada_multimodal_conventions.pdf.
» Mondada, Lorenza. 2014. “The local constitution of multimodal resources for social interaction.” Journal of Pragmatics 65: 137-156.
» Müller, Cornelia. 1998. Redebegleitende Gesten: Kulturgeschichte, Theorie, Sprachvergleich. Berlín: Spitz.
» Núñez, Rafael E. y Eve Sweetser. 2006. “With the Future Behind Them: Convergent Evidence from Aymara Language and Gesture in the Crosslinguistic Comparison of Spatial Construals of Time.” Cognitive Science 30(3): 401-450.
» Oloff, Florence. 2014. “L’évaluation des complétions collaboratives: Analyse séquentielle et multimodale de tours de parole co-construits.” SHS Web of Conferences 8: 2125-2145.
» Payrató, Lluís. 1989. “Assaig de dialectologia gestual. Aproximació pragmàtica al repertori bàsic d’emblemes del català de Barcelona”. Tesis doctoral, Universitat de Barcelona.
» Pekarek Doehler, Simona, Leelo Keevallik y Xiaoting Li. 2022. “Editorial: The Grammar-Body Interface in Social Interaction.” Frontiers in Psychology 13: 875696.
» Pfeiffer, Martin y Clarissa Weiss. 2022. “Reenactments during tellings: Using gaze for initiating reenactments, switching roles and representing events.” Journal of Pragmatics 189: 92-113.
» Pomerantz, Anita. 1984. “Agreeing and disagreeing with assessments: Some features of preferred/dispreferred turn shapes.” En Structures of Social Action, editado por J. Maxwell Atkinson, 57-101. Cambridge: Cambridge University Press.
» Posio, Pekka y Andrea Pešková. 2020. “Le dije yo, digo: Construccionalización de los introductores cuotativos con el verbo decir en español peninsular y argentino.” Spanish in Context 17(3): 391-414.
» Poyatos, Fernando. 1994. La comunicación no verbal. Madrid: Istmo.
» Raymond, Chase Wesley y Luís Manuel Olguín. 2022. Análisis de la conversación: Fundamentos, metodología y alcances. Londres y Nueva York: Routledge.
» Sacks, Harvey, Emanuel A. Schegloff y Gail Jefferson. 1974. “A Simplest Systematics for the Organization of Turn-Taking for Conversation.” Language 50(4): 696-735.
» Sidnell, Jack. 2006. “Coordinating Gesture, Talk, and Gaze in Reenactments.” Research on Language & Social Interaction 39(4): 377-409.
» Slama-Cazacu, Tatiana. 1976. “Nonverbal Components in Message Sequence: ‘Mixed Syntax’”. En Language and Man, editado por William C. McCormack y Stehpen. A. Wurm, 217-228. Berlín: De Gruyter Mouton.
» Stivers, Tanya y Jack Sidnell. 2005. “Introduction: Multimodal interaction.” Semiotica 156: 1-20.
» Streeck, Jürgen. 2009. Gesturecraft: The manu-facture of meaning. Vol. 2. Ámsterdam: John Benjamins.
1 En las búsquedas de palabra resulta habitual que haya un elemento gestual que ocupa momentáneamente un lugar sintáctico vacío. En estos casos, funciona como ayuda visual hasta encontrar el elemento léxico olvidado.
2 Nuestra colección también incluye compleciones gestuales de otros elementos (conjunciones, preposiciones, adverbios y otro tipo de verbos), por lo que la posibilidad de completar un enunciado con un gesto no es exclusiva de las estructuras sintácticas presentadas en el análisis. Un análisis detallado de la compleción de otros elementos, así como un análisis de frecuencia, serán considerados en futuras investigaciones.
3 Disponibles en: Un sistema para transcribir el habla en la interacción: GAT 2 traducido y adaptado al español
4 Disponibles en: Conventions for multimodal transcription
5 Según Kendon (2004, 111-113), los gestos se pueden describir en términos de tres fases fundamentales: la preparación, que es el movimiento que se realiza con las manos desde la posición del descanso hacia el espacio gestual del hablante; el golpe, que representa el ápice del gesto y que revela un significado, y, la retracción, que constituye el movimiento de regreso a la posición de base.
6 Véase, por ejemplo, el uso de compleciones gestuales en clases de danza en Keevalik (2018).