Définition
La « multimodalité numérique » (Wachs et Weber, 2021) c’est la mise en relation d’informations linguistiques, sémiotiques et technodiscursives produites dans différentes modalités et dont l’usage combiné contribue à l’élaboration et à la perception d’un message. Parmi les différentes modalités, nous pouvons distinguer : le verbo-oral, le posturo-mimogestuel, le scriptural, le graphique, l’audio, la vidéo, le cinétique.
Présent dès que deux modes se sont trouvé mêlés – comme le textuel et le graphique à travers les premiers émoticônes par exemple – le concept de « multimodalité » en contexte numérique est devenu de plus en plus central.
Ainsi, Herring (2015) parle désormais de « Communication Interactive Multimodale » (Interactive Multimodal Communication) comprenant la Communication Multimodale Médiée par Ordinateur (Multimodal Computer-Mediated Communication), principalement sur les plateformes interactives multimodales, et la Communication Médiée par Robot (Robot-Mediated Communication). Il est aussi devenu de plus en plus complexe.
En effet, si originellement la Communication Médiée par Ordinateur (CMO) reposait sur des éléments textuels que l’on étudiait au sein des courriels, forums de discussion, groupes de diffusion, donjons multi-utilisateurs, blogues, microblogues et wikis, désormais le graphique, l’audio, la vidéo sont de plus en plus disponibles sur les plateformes du web 2 et les smartphones (Herring et Androutsopoulos, 2015). La CMO est considérée comme multimodale quand sa production ou sa réception implique un canal de communication autre ou en addition au textuel (Herring et Androutsopoulos, 2015). On peut citer les émoticônes, les dessins animés (emoji), les gifs animés, les avatars, les bannières, les tickers, les boutons de relationnalité, les mèmes internet, les pancartes numériques, les incrustations textuelles, les reprofilages par filtres, l’ensemble de ce que Paveau (2017) nomme « technographismes ». Les annotations vidéo collaboratives (CVA) sont des variantes dynamiques de la communication textuelle au sein de l’image ainsi que les commentaires faits dans un mode autre que textuel. Comme Herring et Androutsopoulos (2015) le soulignent, la CMO exclusivement textuelle est en déclin, la multimodalité est de plus en plus forte (Develotte, Kern et Lamy, 2011), les frontières entre les codes s’estompent ou se reconfigurent dans les écosystèmes connectés (Paveau, 2017), on tend vers une « iconisation du texte » (Paveau, 2019) grandissante, le métissage des signes (scripturaux, sonores, iconiques et datas) devenant la norme.
Ainsi, étudier la communication multimodale numérique consiste donc à mettre en relation des informations linguistiques, sémiotiques et technodiscursives produites dans différentes modalités, chacune d’elle contribuant à l’élaboration et à la perception du message communiqué dans une communauté donnée.
Le schéma ci-dessous synthétise l’ensemble des éléments que le chercheur peut prendre en compte dans son analyse de la multimodalité numérique dans la mesure où ceux-ci seront croisés.
