SWIPE IS A RESEARCH PROJECT ON DIGITAL WRITING LED BY BÉRÉNICE SERRA BETWEEN 2019 AND 2020.

SWIPE
WRITING SYSTEM

The Swipe project takes as its starting point a scriptural form associated with the emergence of the digital: the gestural text entry — more widely known as "swipe".

The word "swipe", from the English verb to swipe, has become the accepted term to refer to all operations on a digital device that involve the sliding of the finger on the surface of the touch screen.

In the context of gestural text entry, this refers more specifically to a virtual keyboard writing technique that allows users, of touchscreen smartphones and tablets, to write not by typing each letter of the desired word according to the practice inherited from mechanical keyboards, but by sliding a finger across the corresponding series of keys.

The Swipe research project proposes to consider the gestural text entry method, not as a tool, but as a writing system in its own right that can be practiced through a multiplicity of media, starting with the pen on paper.

For this new writing system, it is the trails produced by the use of the virtual keyboard — deliberately ignored in the digital application — that constitute the elements of the notation system.





SWIPE
TRANSLATION APP

In 2019, on the occasion of the presentation of the project at Festival Ars Electronica, a translation app, allowing to switch from English text to its translation in Swipe, has been developed and made usable by the public.

This application highlights one of the effects of such a writing system: the graphic enrichment of the written language. While the use of the Latin alphabet limits the composition of the language to the use of 26 symbols, the gesture input allows to generate for each word a new sign.

ars.electronica.art/outofthebox/en/swipe/




view of the exhibition Valis, September 2019, Postcity, Linz



development: Bérénice Serra and Jacques-Daniel Pillon


SWIPE
LARGE PRINTS

The signs resulting from the translation of a text by Georges Orwell The Principles of Newspeak had be printed and presented during the exhibition Space cheap : pop culture et science-fiction, at Shadok — Fabrique du numérique in Strasbourg, in July 2019.

At the end of this exhibition, a detail came to bring a new dimension to the project: a visitor had written two new symbols with a pen, as a desire to understand and use this new writing system.

curators: Maxence Grugier and David-Olivier Lartigaud

exhibition Space cheap: pop culture & science-fiction, 2019


SWIPE
WRITING COPYBOOK

During the first quarantine period, from March to June 2020, the Swipe research project was enriched with an artist book, accessible to all from their computer.

This edition is a writing copybook that offers practical and poetic exercises to consider learning the Swipe notation system, outside of its digital environment and as a way to renew cursive writing.

The writing copybook is immediately printable from this website, in double-sided and black and white (no margins), using the Google Chrome or Chromium browser. Then, you just have to fold the A4 sheets in half lengthwise and join them with a staple or sewing thread.



Cahier d'écriture Swipe

Swipe est un système d'écriture imaginé par Bérénice Serra et inspiré par le principe de la saisie gestuelle qui permet, sur smartphone ou tablette, d'écrire en reliant de manière continue les lettres qui composent chaque mot. Dans le cadre du projet d'écriture Swipe, ce sont les tracés produits par l'utilisation du clavier virtuel — volontairement ignorés dans l'application — qui sont considérés comme un système de notation à part entière.

Ce cahier d'écriture propose des exercices pratiques et poétiques afin d'envisager l'apprentissage de ce système de notation, en dehors de son environnement numérique, comme une manière de renouveler l'écriture cursive.

L'article « Swipe ou l'écriture tout court » écrit par Bérénice Serra et Gianni Gastaldi, et situé en dernière partie de cet ouvrage, a fait l'objet d'une parution dans la revue Formules, revue des littératures à contraintes, à l'occasion du 22e numéro consacré aux Littératures, performances et technologies et dirigé par Lucile Haute et Allan Deneuville.



Bérénice Serra

Née en 1990, Bérénice Serra est une artiste et chercheuse travaillant à Caen (FR) et Zürich (CH). Elle enseigne l'édition d'art et les pratiques numériques à l'École d'arts & médias Caen/Cherbourg, en Normandie. Sa pratique, tant plastique que théorique, se concentre sur la notion de publication à l'ère numérique.


Swipe, cahier d'écriture

Swipe est un système d'écriture inspiré par le principe de la saisie gestuelle qui permet, sur smartphone ou tablette, d'écrire en reliant de manière continue les lettres qui composent chaque mot. Dans le cadre du projet d'écriture Swipe, ce sont les tracés produits par l'utilisation du clavier virtuel — volontairement ignorés dans l'application — qui sont considérés comme un système de notation à part entière.

Ce cahier d'écriture propose des exercices pratiques et poétiques afin d'envisager l'apprentissage de ce système de notation, en dehors de son environnement numérique, comme une manière de renouveler l'écriture cursive.























Design et développement : Bérénice Serra
Textes : Gianni Gastaldi & Bérénice Serra
Date du projet : juillet 2020
Site internet : berenice-serra.com/swipe
Dernière mise à jour : octobre 2020
Remerciements : Allan Deneuville, Lucile Haute,
Lorène Ceccon et Isabelle Daëron
Typographie utilisée : Roboto, Christian Robertson

40













































































































Partie A. trois principes d'écriture swipe

Notes


[1] Qu’on appelle cet ordinateur « téléphone » ne constitue guère d’autre qu’un fait anecdotique.
[2] Plus de 45% de la population mondiale est supposé utiliser un smartphone en 2021 (source : Newzoo, ID 330695).
[3] « Fouetter l’air en direction de qch » (Collins English-French Dictionary, HarperCollins Publishers).
[4] Une description des origines de ces travaux peut être trouvée dans le site personnel de Kristensson : http://pokristensson.com/gesturekeyboard.html.
[5] Près de 40 au lieu de 30 mots par minute, environ (voir : Palin et al., 2019; Reyal et al.).
[6] La pièce Swipe a été exposée au Shadok-Frabrique du numérique (Strasbourg, 2019) ainsi qu’au festival Ars Electronica (Linz, 2019). Pour plus des détails sur cette œuvre, voir : bereniceserra.com.
[7] Hjelmslev, Louis. Prolégomènes à une théorie du langage. Paris : Minuit, 1971, § 12.
[8] Par exemple, le mot inévitable résulte, sur un clavier d’ordinateur, en quelque chose comme ijnhgredfvbhuiuytrezazerfvbnjklkjhgre.
[9] Saussure (de), Ferdinand. Cours de linguistique générale. Paris : Payot, 1916, p. 165.
[10] Ducrot, Oswald ; Schaeffer, Jean-Marie. Nouveau dictionnaire encyclopédique des sciences du langage. Paris : Seuil, 1999, p. 23-41.
















Références


Ducrot, Oswald ; Schaeffer, Jean-Marie. Nouveau dictionnaire encyclopédique des sciences du langage. Paris : Seil, 1999.

Foucault, Michel. « La Peinture Photogénique ». Dans : Dits et écrits. Paris : Gallimard, 2001, pp. 1575-1583.

Hjelmslev, Louis. Prolégomènes à une théorie du langage. Paris : Minuit, 1971.

Palin, Kseniia ; Feit, Anna Maria ; Kim, Sunjun ; Kristensson, Par Ola ; Oulasvirta, Antti. « How Do People Type on Mobile Devices? Observations from a Study with 37,000 Volunteers », dans : Proceedings of the 21st International Conference on Human-Computer Interaction with Mobile Devices and Services. Taipei : Association for Computing Machinery, 2019.

Reyal, Shyam ; Zhai, Shumi ; Kristensson, Per Ola. « Performance and User Experience of Touchscreen and Gesture Keyboards in Lab Setting and in the Wild ». Dans : Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. Séoul : Association for Computing Machinery, 2015.

Saussure (de), Ferdinand. Cours de linguistique générale. Paris : Payot, 1916.

Zhai, Shumi ; Kristensson, Per Ola. « Shorthand Writing on Stylus Keyboard ». Dans : Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. Lauderdale : Association for Computing Machinery, 2003.

















36

ces processus mouvants, et une poésie d'une tout autre nature, au croisement du linguistique et du figural, dont les ressorts nous sont encore inconnus, devient soudainement possible, relançant encore de nouvelles ouvertures.

Vers une naturalité de l'écriture numérique

Organisation stratifiée, identification oppositionnelle, performance évolutive : voilà les principes qui ressortent d'une pratique d'écriture numérique comme la saisie gestuelle lorsque, comme dans le cas de Swipe, elle est prise au sérieux en tant que pratique d'écriture tout court. Ces principes ne constituent pas des propriétés spécifiques d'un medium, d'une technologie ou d'un support d'enregistrement, mais ils commandent l'être de toute écriture, lorsqu'elle est l'écriture d'une langue naturelle. Or, si toute écriture est soumise à ces lois générales du langage, un système d'écriture comme celui suggéré par Swipe les intègre, pour ainsi dire, « by design » . Non pas qu'elles constituent des fonctionnalités (des « features ») d'un logiciel qui le rendraient plus performant que d'autres, et dès lors plus attrayant pour les potentiels acheteurs. Pas plus que ces propriétés aient guidé consciemment sa conception dans la tête de ses créateurs. Identifier un créateur unique de ce type de systèmes relèverait d'ailleurs plus du mythe fondateur que des conditions historiques qui veulent toujours que l'émergence de ces idées se fasse au croisement d'une multiplicité difficilement localisable de pratiques et de réflexions. Le design n'est donc ici qu'anecdotique. Que Swipe intègre, pour ainsi dire, par système, ces principes veut dire alors que, en tant que système et indépendamment des desseins originaux, savoir le manipuler implique sinon devenir conscient, du moins problématiser les principes qui régissent de manière silencieuse toute écriture. Performer Swipe au delà des limites imposées par l'interface des dispositifs numériques, c'est performer l'écriture de la langue dans ce qu'elle a de plus naturel.

Enfin, la perspective ainsi offerte par Swipe sur l'écriture à l'ère du numérique permet d'ouvrir des pistes sur la qualification du numérique en tant que tel. Car avant d'être un phénomène relevant de la technique, de la science ou de la société, ce que l'on appelle de nos jours « numérique » a trait à la nature et à l'expérience de la textualité. Une étude de cette question reste sans doute























34

de termes n'est pas moins un artifice. Or adopter un tel artifice comme contrainte fondamentale pour tout ce qui peut être écrit dans un langage risque d'avoir des effets hautement contraignants quant à la puissance créatrice propre à tout langage. Cela peut être facilement constaté en essayant d'écrire un mot hors vocabulaire, tel que indécorable. Dans son état actuel, l'algorithme rendra invariablement le mot inévitable à la place, dont le motif correspondant est, parmi ceux du vocabulaire, le plus proche de la figure produite par le parcours d'indécorable. Un système ainsi construit risque alors d'incarner une conception profondément conservatrice de l'écriture, négligeant toute originalité par la restitution sans appel d'une cohérence préalablement établie. La correction orthographique mentionnée plus haut pourrait d'ailleurs être comprise comme rien d'autre qu'une manifestation de ce conservatisme. Ce phénomène est, d'ailleurs, d'autant plus flagrant que l'on s'éloigne, volontairement ou pas, des usages courants de la langue, ce qui peut aller jusqu'au cas extrème où l'algorithme retrouve toujours un mot « correct » même dans le cas où le parcours dessiné sur le clavier tactile est délibérément chaotique.

Dans les différentes implémentations de la saisie gestuelle, cette difficulté est contournée par le recours à l'écriture dactylographique, qui reste toujours possible sur le clavier virtuel des dispositifs numériques. Si l'on considère la saisie gestuelle comme système d'écriture à part entière, cela suggère que celui-ci ne saurait se suffire à lui-même, l'écriture dactylographique restant après tout la norme de l'écriture et son garant en dernière instance. Mais à bien y regarder, cette insuffisance du système ne relève pas d'une faiblesse intrinsèque des principes sur lesquels il s'appuie, et n'est donc nécessaire qu'en apparence. Car si la liste des mots constituant le vocabulaire est nécessairement finie, elle n'a pas à être close pour autant. Close, elle ne l'est que par une décision arbitraire. Mais rien n'empêche de rendre le contenu de cette liste dynamique, de telle sorte que des éléments soient constamment ajoutés ou effacés en fonction des l'évolutions des habitudes d'écriture. C'est même le principe fondamental de la saisie gestuelle qui y invite qui s'appuie, comme on l'a vu, sur la capacité d'accorder une existence simple et séparée aux gestes frequents initialement composés d'unités préexistantes (typiquement des caractères). À la limite, on pourrait imaginer un vocabulaire initial constitué uniquement des gestes élémentaires pour les unités irréductibles (les lettres, par























32

able (tout comme tion, ment ou ient, par exemple), se trouve parmi les séquences à quatre lettres les plus probables, et en tant que telle, la trace correspondante sur Swipe est susceptible de se dégager comme une unité sinon indépendante, du moins parfaitement distincte.

En cela, Swipe comporte une puissance critique singulière vis-à-vis de la nature du langage. Car au fond, comme il a été souvent signalé en linguistique, le mot n'existe pas. Le privilège traditionnellement accordé au mot dans l'écriture du langage se trouve ainsi déjoué par la logique non moins que par la pratique de ce système d'écriture. Et, en échange, celui-ci révèle une organisation du langage plus complexe, dont l'originalité à la fois inattendue et radicale est d'avoir la puissance de capturer de principes de stratification et articulation morphologiques, syntaxiques, voire stylistique au niveau de l'écriture elle-même.

L'identité dans la différence

La remarquable efficacité de la saisie gestuelle telle qu'elle est implémentée dans les dispositifs numériques à usage quotidien est sans cesse constatée avec surprise dès le premiers essais réalisés par des nouveaux utilisateurs. En effet, la précision avec laquelle les mots visés sont rendus est certainement inattendue, compte tenu des parcours sur l'écran après tout hautement imprécis et variables.

Le dispositif tient cette efficacité de la façon dont est réalisée la reconnaissance des figures. La suite de lettres finalement rendue pour un parcours donné n'est pas le résultat direct des touches parcourues. Il suffit d'essayer de « swiper » sur un clavier mécanique pour s'en convaincre[8]. Mais elle ne résulte pas non plus de l'identification de temps d'arrêt dans ces parcours, dont la traversée sans solution de continuité ne fait qu'améliorer les performances. L'identification finale d'un mot à partir de la multiplicité instable des parcours possibles se fait, d'une toute autre manière, par la capacité que les figures résultantes ont de discriminer un élément parmi une liste finie de mots. Plus précisément, une liste finie de mots étant donnée (i.e. un vocabulaire), chaque mot est mis en correspondance avec un motif prototypique propre, si bien que tout parcours realisé sur le clavier virtuel pourra dès lors être associé au motif le plus proche, et sélectionner ainsi le mot correspondant. Aussi, les possibilités








































Partie B. trois exercices d'écriture swipe


30

Si au début, pour saisir un mot, on doit parcourir une à une les lettres qui le composent, les saisies répétées de ce même mot finissent par arracher ce geste au contrôle des lettres sur le clavier et à l'investir d'une unité et d'une indépendance nouvelles. Par cette transition, un repertoire de gestes simples est progressivement construit par l'utilisateur comme autant d'unités dans un vocabulaire élargi, auquel il pourra dès lors avoir recours pour contourner la saisie alphabétique traditionnelle.

Or, ces unités ne restent purement gestuelles que parce que leur trace sur l'écran est ignorée. Mais il suffit de recueillir ces traces pour que les prémisses d'une véritable écriture soient mises en lumière. C'est ce que propose la pièce Swipe présentée dans le cahier graphique précédent ce texte [6]. Les gestes deviennent ainsi des formes, prélevant une dimension figurale implicite dans l'écriture dactylographique, susceptible de constituer un système d'écriture autonome.

Ces formes extraites des gestes émancipés de la grille dactylographique constituent de véritables monogrammes, entrelaçant des lettres pour ne former qu'un seul caractère. Pourtant, ces monogrammes sont d'un type radicalement nouveau. Car si chacun d'eux atteint une existence autonome, ils n'ont pas vocation à se constituer en signes indépendants, tels des icônes ou des logos. Ces monogrammes deviennent plutôt ce qu'il faudrait appeler, suivant l'approche d'une sémiologie structurale [7], des figures, c'est-à-dire des unités d'expression atomiques dont les rapports réciproques constituent la base sur laquelle s'érige un système de signes. Seulement, à la différence des figures habituelles (comme les caractères), ces figures ne sont pas moins des signes, car elles sont liées de manière nécessaire à un contenu.

La stratification du langage

Le système d'écriture qui se dessine de cette façon est alors doué des propriétés remarquables. À commencer par le fait que l'écriture alphabétique sur clavier récupère ainsi l'un des traits principaux de l'écriture cursive, voire même des principes gouvernant l'écriture idéographique ou pictographique. Tout comme ces dernières, la saisie de chaque mot comme des expressions simples (i.e. non composées, aussi complexes soient-elles) rappelle que les






12








28

Face à cette orientation vers l'illettrisme au sein de la littéralité numérique, il suffit de rappeler un fait simple mais significatif : aucun dispositif numérique ne saurait de nos jours se passer d'un clavier. On voit mal d'ailleurs comment il pourrait le faire sans pousser du même coup ses utilisateurs à une passivité extrême. Si bien que l'insistance des claviers, voire leur centralité au cœur des dispositifs numériques, doit être tenue pour symptôme du fait que si écrire n'est pas aligner des lettres, l'écriture constitue pourtant bien un certain travail sur des caractères. Aussi, pour saisir ce que les nouvelles pratiques textuelles dans le cadre du numérique révèlent de positif quant à la nature de l'écriture en tant que telle, il faut se concentrer sur la façon dont ces pratiques sont capables d'investir les principes de l'écriture alphabétique de nouvelles puissances.

Swipe

Parmi la série de nouvelles formes scripturales associées à l'émergence du numérique, il y en a une qui, de ce point de vue, mérite une attention spéciale. Il s'agit de la saisie gestuelle, plus largement connue sous le nom de swipe. Le mot « swipe », et sa déclinaison verbale « swiper », est emprunté du verbe anglais to swipe [3], devenu le terme consacré pour référer à toutes les opérations sur un dispositif numérique qui impliquent le glissement d'un doigt sur la surface de l'écran tactile. Dans le contexte de la saisie textuelle, cela renvoie plus particulièrement à une technique d'écriture sur clavier virtuel permettant aux utilisateurs des dispositifs numériques d'écrire les différents mots du texte voulu, non pas en tapant chaque lettre, selon la pratique héritée des claviers mécaniques, mais en faisant glisser un doigt à travers la série de touches correspondantes. Ainsi, pour écrire le mot inévitable, on place le doigt sur la zone du clavier virtuel correspondant à la lettre i , et on le glisse en parcourant successivement les lettres n, e, v et ainsi de suite, jusqu'au dernier e, sans jamais abandonner le contact avec la surface de l'écran.

Originalement introduite en 2003 par Per-Ola Kristensson en collaboration avec Shumin Zhai (2003), alors que l'un était étudiant à l'Université de Linköping (Suède) et l'autre chercheur chez IBM [4], la saisie gestuelle a été popularisée ensuite sous la forme de différentes applications pour tablettes et smartphones à écran tactile.






14









26

Car si une chose est devenue évidente depuis que l'écriture dactylographique s'est répandue comme écriture proprement manuscrite, c'est moins la manière dont la textualité se laisse informer par (voire enfermer dans) la surface close du clavier, que les multiples moyens qu'elle a, dans sa pratique quotidienne, d'y échapper. En effet, les dernières décennies ont été témoins d'un foisonnement des moyens expressifs au niveau des pratiques proprement numériques d'écriture, qui transgressent en tous sens les limites prétendument imposées par l'interface dactylographique des dispositifs portables: emojis, gifs, photos, vidéos, mèmes, dessins, captures d'écran, liens hypertextuels, cartes, croquis, annotations, enregistrements vocaux ... Toutes ces pratiques scripturales constituent autant d'ouvertures de la textualité numérique dont la source doit être cherchée dans l'incapacité de l'écriture tapuscrite à satisfaire les besoins et principes propres à la spontanéité de l'écriture quotidienne – tels l'expressivité, la figuralité, la vitesse ou l'évanescence – monopolisés jusqu'à récemment par l'écriture manuscrite.

Paradoxalement, tout se passe comme si, à l'instant même où le tapuscrit se livrait à la conquête totale et sans appel de l'écriture sur la lancée de la révolution numérique, l'écriture se trouvait plus que jamais affranchie de toutes les contraintes que touches, engrenages, léviers, ressorts, articulations et caractères de plomb faisaient peser sur elle. Ainsi compris, ce moment a quelque chose de celui qui suivit, il y a déjà un siècle et demi, l'émergence de la photographie. Mais non d'après le sens que le point de vue des media pourrait accorder à cet événement, à savoir celui de la continuation de la peinture par d'autres moyens, et de la conséquente capture de l'image dans des nouvelles conditions et contraintes mettant à mal le sens du medium pictural, obligé désormais de se battre contre sa propre obsolescence. Il faut penser ici plutôt à cette période, située par Foucault entre les années 1860 et 1880 (Foucault, 1975), où les mélanges sans préceptes ni embarras entre les pratiques picturales et photographiques entraînèrent une circulation frénétique d'images, un véritable carnaval des yeux, où l'image comme telle se trouva, fût-ce le temps d'un clignotement, libérée des contraintes de ses media devenus soudainement pluriels. Libérateur pour les images, ce moment le fut aussi pour la peinture, qui loin de se voir substituée, déplacée ou assujettie aux commandements du nouveau medium photographique, en a fait l'occasion de se délivrer à son








16











































Partie C. article par Gianni Gastaldi & Bérénice Serra


18










22
























































20