Prêts à plonger en eaux artificielles ?
- Objectifs de la séance : trois objectifs sont envisagés pour les élèves :
- Amorcer une discussion autour des usages des générateurs de textes (LLM) pour l’écriture.
- Vérifier la capacité à étudier un poème et l’autonomie des élèves.
- Préparer le devoir d’écriture
Destinée à une classe de troisième, cette séance fait partie d’une séquence abordant le thème « Visions poétiques du monde ».
Cette séquence a pour titre « Dire la mer » et explore les liens entre lecture et écriture.
Avant cette séance, les élèves ont réactivé leurs habitudes scolaires de lecteurs du genre poétique. Après une première séance lexicale et artistique, les élèves ont découvert des poèmes maritimes, parmi les plus célèbres. (Corpus de la Séquence joint en PDF)
Notre problématique est ici de savoir si l’analyse critique d’un corpus de textes générés par des LLM permet aux élèves de:
- montrer leur compétence d’analyse d’un texte poétique
- construire leur qualité de lecteurs autonomes et d’évaluateurs
- développer leurs exigences pour le devoir d’écriture, et donc de mieux le réussir.
- Déroulement de la séance
Dans une salle disposée en îlots, le déroulement de la séance est prévu ainsi :
- Annonce aux élèves de cette séance expérimentale, brève discussion autour de leur perception de l’usage de l’I.A. ( certains élèves en classe de quatrième avaient eu l’occasion de participer à un projet que j’avais mené avec le professeur documentaliste sur la constitution d’une revue de presse à ce sujet dans le cadre de l’Éducation aux Médias.)
- Présentation de l’outil choisi : compar.ia (site gouvernemental proposant de comparer le résultat d’ IA conversationnelles)
Cet outil permet de choisir parmi différentes modèles, créés dans différents pays et de différentes tailles. Il indique aussi la consommation d’énergie.
Certaines IA affichent également un commentaire de leur réponse, expliquant les choix retenus dans la génération des textes. Je voulais aussi m’éloigner de l’utilisation des IA les plus connues par les élèves.
La variation de modèles permet aussi des prolongements : nous pouvons nous interroger sur des biais d’écriture en étudiant les textes et commentaires proposés, par exemple si on demande au même LLM une voix poétique féminine ou masculine.
En effet, les commentaires du même LLM avec une consigne de voix poétique féminine ou masculine mettent l’accent sur des choix d’écriture différents et font apparaître des biais genrés surprenants comme le choix de mots « plus recherchés » pour un poème qui viserait un public féminin et au contraire un choix de mots « pas trop compliqué » pour un poème au public plutôt masculin.
Les textes sont à la fois semblables et différents, et peuvent être étudiés avec les élèves dans une séance dédiée, séance qui peut se décliner selon les biais choisis. (PDF ci-joint)
Une fois l’outil choisi, la génération des textes pour notre séance a été générée en amont et donne lieu à une analyse dans la partie IV.Précautions.
- Étude d’un texte par groupe : en tout il y a 5 textes différents, générés à l’avance. ( La génération des textes a été expliquée après la séance, dans le cours suivant ). Les poèmes étaient donnés avec le commentaire de l’IA, mais en une heure de séance, les élèves n’ont pas exploité cela en groupe. Nous en sommes servis pour la séance suivante.
Les textes (dans le PDF ci-joint) sont donnés aux élèves en capture d’écran du LLM car nous ne voulions pas révéler le nom du système utilisé pour le générer. On en comprendra la raison par la suite.
Voici un premier exemple d’analyse : les élèves appliquent et réinvestissent les contenus du cours, et les exercices d’appropriation des notions et de repérage sur texte. Il y a un secrétaire pour chaque groupe de quatre élèves et le texte s’enrichit avec les remarques de chacun.
On constate qu’ils sont attentifs à la prosodie, la métrique, aux figures de style, aux champs lexicaux et au système énonciatif.
Voici l’analyse d’un autre groupe
Au terme de la mise en commun, nous arrivons à la synthèse faite au tableau suivante. De façon impromptue, les élèves ont souhaité « noter » les poèmes. Face à des productions synthétiques, ils souhaitent donc spontanément se positionner en évaluateurs. Nous avons trouvé ce réflexe intéressant car se dessine ici un levier didactique.
| Poème | 1. Indices de littérarité perçus par les élèves pour un « bon » poème | 2. Limites, étonnements, incompréhensions des élèves | 3. Note proposée par les élèves |
| Poème A | -4 strophes de 5 vers – alexandrins – personnification de la mer – pronom “ tu” – énumération v.10 – champ lexical de la mer et de la lumière | – pas de majuscules aux vers – pas de rimes régulières – fautes – mots inventés” pared, offers” – maladresses “ mots lourds pour un sac” – Trop de figures de style (presque partout) > cela gène la compréhension | 10/20* (consensus) |
| Poème B | – un titre – 5 quatrains + une conclusion – Anaphores “La mer, c’est” et “alors, nous nous” – Le champ lexical du mystère et de la tempête – Ambivalence de la mer | -pas vers ni de rimes réguliers -“Conclusion” – Les deux premiers quatrains et le reste ne vont pas ensemble – on dirait des définitions, à la fin c’est lourd – répétition facile « qui nous inspire » – les sons ne sont pas jolis « connexion, connectés » | 8/20 (consensus) |
| Poème C | – 4 quatrains, – rimes croisées – personnification de la mer – mer changeante – lien entre la mer et la voix poétique “moi” | – pas de majuscules au vers – pas assez de mots pour la colère, seulement 2 vers derniers vers bizarre un peu bâclé. | 13/20 (consensus) |
| Poème D | – 4 quatrains, rimes suivies alexandrins : forme réussie – champ lexical de la colère et de la tempête – antithèses – énumération v.10 – phrase exclamative – fin optimiste, message d’espoir “ après la pluie le beau temps”. | -vers 3 et 4 parlent du poète et non de la mer – vocabulaire bizarre, compliqué » Aquilon » » concorde » | entre 14 et 18/20** |
| Poème E | – quatre quatrains -champ lexical de la douceur -champ lexical de la musique – personnification – rapport avec la voix poétique « je t’écoute, je t’écris ». | -pas de rimes régulières -les deux premières strophes sont bien – mélange trop de thèmes ensuite, plusieurs poèmes en un seul | entre 12 et 15/20 |
*Au moment du l’annonce du consensus de 10/20, obtenu par le LLM, les élèves ont pris conscience qu’ils voulaient / pouvaient mieux faire lors de leur devoir à venir. J’ai senti une sorte de confiance, même chez les élèves qui n’ont pas un bon niveau en Français.
**Les élèves se sont pris au jeu et nous avons dû établir des critères de notation plus précis.
- Synthèse personnelle des élèves, avis sur la séance.
Les dernières minutes du cours sont consacrées à la rédaction personnelle d’un questionnaire au sujet de la séance.
III. Analyse du questionnaire et des réponses des élèves
Voici le questionnaire, le résumé des réponses et le verbatim des élèves
- Quel poème préférez-vous et pourquoi ?
Le poème D “Pendant que la mer gronde” est plébiscité. Les élèves ont aimé la cohérence de l’image de la mer, l’image finale de l’orage qui laisse place à l’azur, le côté moins évident du poème, ou bien disent le sentir sans pouvoir l’expliquer: « ça se sent ». Les élèves affirment ainsi leur sensibilité de lecteur et lectrice, au-delà de la pratique de questions type DNB.
Le poème E “L’ appel de la mer” arrive en deuxième. Les élèves le trouvent moins original. Certains élèves pointent justement le fait qu’il est simple à comprendre et satisfait la consigne. Le débat est animé. Nous essayons donc de faire la part des choses entre poème et devoir scolaire.
Et Victor Hugo apparut !
🗨️ C’est à ce moment-là que je le révèle que le poème D est en réalité généré par … Victor Hugo ! Les élèves sont surpris de cette démarche, le groupe qui a travaillé sur ce poème – constitué d’élèves au bon niveau de français, se sent un peu trahi :
« Madame, ça se fait pas ! »
« alors, on n’a rien compris ? «
Je leur explique que la veille de la séance j’ai pris la décision d’ajouter un poème d’auteur, et qu’ils avaient tout à fait le droit de trouver des points négatifs à celui-ci. Les élèves de la classe sont rassurés de leur intuition car ils lui avaient attribué la meilleure note.
Les élèves ont donc compris que l’expérimentation avait aussi un objectif s’inscrivant dans les débats actuels qui instaurent une rivalité entre créations humaines et artificielles.
Ce dispositif didactique de « trouver l’intrus », parmi un concours d’Olympiades poétiques, les a rendus optimistes dans les pouvoirs de la création poétique, comme nous le montre la fin du questionnaire.
- Pour vous qu’est-ce qu’un poème ?
L’analyse des paroles des élèves montre la définition d’une voix lyrique qui partage ses émotions et une pratique artistique particulière et consciente.
Un poème est un texte structuré avec des émotions.
Un poème a un thème, des rimes, et fait comprendre des émotions.
Un poème, c’est quelque chose qui vient du coeur et qui nous donne la liberté de s’exprimer avec art.
Un poème est une façon artistique de parler.
- Pensez-vous que les LLM apportent un intérêt à l’écriture de la poésie ?
Les réponses montrent que les élèves ont différents degrés d’adhésion à l’outil :
- Pour les élèves rétifs:
- méfiance sur la fiabilité
- textes uniformes, formules stéréotypées
- résistance culturelle et axiologique sur l’utilisation d’un outil coûteux en énergie
- impression d’imposture, de triche
Les réponses négatives soulignent les erreurs et les limites de LLM.
Je trouve qu’ils n’apportent aucun intérêt car ils font énormément d’erreurs.
Il y a au final beaucoup de fautes, les poèmes ne sont pas bien écrits.
L’IA ne peut pas exprimer des sentiments, elles les énumère.
Non, car il y a toujours quelque chose qui ne va pas.
- Pour les élèves demandeurs ou curieux:
- montrer des contre-exemples pour un apprentissage par « essai / erreur ».
- possibilité d’un assistant pour lancer l’écriture ou proposer des améliorations
- sentiment d’émulation: envie de faire mieux que la machine pour l’ évaluation
Les réponses positives montrent qu’elles permettent l’émergence des idées et donne l’envie de faire mieux que la machine.
Ils apportent un intérêt infime, ils peuvent nous aider mais c’est maladroit.
Je pense que c’est bien pour apporter de l’imagination et des idées.
Un élève comprend même l’intérêt d’une certaine « pédagogie par l’erreur ».
On peut détecter les fautes dans un poème, ce qu’il faut éviter de faire.
- Autre chose à rajouter ?
C’est plus réel dans un vrai poème, même si on ne sait pas l’expliquer, ça nous touche.
Le poète ressent les choses et les partage.
Écrit par un humain c’est mieux.
Ça donne plus de vie au poème.
Toutes les remarques insistent sur la nécessaire humanité de la voix poétique et son caractère peut-être difficile à théoriser.
- Précautions
Avant de conclure sur les résultats de cette séance, il faut apporter certaines précisions.
- Le temps et la difficulté de préparer les textes proposés :
- le prompt a pour cela été réduit au minimum » écris un poème sur la mer »
- rajouter » comme si tu étais un(e) élève de troisième » a produit des poèmes souffrant de biais de genre et de biais culturels
- la difficulté pour les LLM de donner la première strophe et les trois dernières strophes du poème de Victor Hugo. Celles-ci répondent, d’ailleurs judicieusement, de regarder sur un moteur de recherche…ce qui pourrait amener une réflexion sur les usages pertinents ou pas. Mais pour les besoin du dispositif didactique, nous avions ici besoin que la présentation du texte de Victor Hugo corresponde à la même interface que les autres poèmes synthétiques.
Pour rentrer dans les détails de tout cela, un autre article est disponible, ici joint en PDF.
Pour une idée des difficultés de certains LLM à donner le texte de V.Hugo, voici le PDF suivant qui signale les hallucinations de l’IA sur le texte originel auxquelles un regard critique expert doit être attentif pour ne pas se laisser berner.
Pendant que la mer gronde et que les IA souffrent : difficulté de faire citer des textes.pdf
- Un certain lâcher-prise à développer dans la posture enseignante :
- accepter de faire étudier des textes générés par des LLM et non des auteurs
- accepter de ne pas guider les élèves dans le relevé des remarques, seules les questions de vocabulaire étaient autorisées
- accepter de voir le poème de V.Hugo critiqué alors confondu avec un texte de LLM par les élèves, qui, ignorants qu’ils étaient devant un texte patrimonial, se sont sentis légitimes à le critiquer sans gêne avec jubilation. Il me fallait quant à moi sortir momentanément de mon rôle prescripteur du « bon goût » et les laisser affiner le leur. Ce déplacement momentané de posture d’autorité est porteur d’enseignement pour un professeur : les élèves, décomplexés et ne reconnaissants à l’IA aucune capacité « artistique », se sont alors affrontés véritablement au texte, ils ont accepté de le « lire » plutôt que d’écouter ce que le professeur leur dit dessus. Ce levier pédagogique nous semblerait donc intéressant à développer.
V. Résultats
Si l’on reprend les objectifs de séance, nous pouvons constater les plus-values suivantes:
- synthèse, évaluation diagnostique et formative des élèves avant le devoir d’écriture
- attitude plus dynamique pour l’étude d’un texte, sans auto-censure, les élèves ont partagé leurs incompréhensions et étonnements de manière plus libre que lors d’un exercice d’analyse “classique” et ce, quelque soit leur niveau.
- au fil de leur analyse, les élèves se sont sentis pourvus d’une autorité analytique et sont mis en posture d’évaluateurs précis et exigeants. Ils gagnent confiance en eux et se jugent capables.
- au delà de l’approche purement technique, les élèves ont débattu sur la littérarité des textes, et les élèves ont aussi montré leur sensibilité de lecteur et de lectrice.
VI .Évaluation finale
La consigne était la suivante :
Écrivez un sonnet sur la thématique de la mer : vous exprimerez vos sentiments et vos connaissances du genre poétique.
Vous écrirez également un court commentaire mettant en lumière vos principales intentions d’écriture.
Le devoir d’écriture a été plutôt bien réussi, avec des notes de 8/20 (un seul devoir) à 20/20.
Le devoir contenait deux types d’écrits :
- Le poème
- Le commentaire du poème , avec les intentions d’écriture.
Voici les commentaires de certaines productions.
Cet élève a insisté sur l’importance de ses émotions avec une certaine cohérence : affection malgré les risques liés à la mer.
Cette élève montre une association entre puissance de la mer et de l’amour.
Voici quelques extraits de poèmes réalisés.
Un élève a repris le motif de la douceur vu dans le poème E:
La mer et sa belle couleur bleue
Me laisse admirer sa douceur
Ces vagues qui murmurent me rendent joyeux
En la regardant, je ne ressens aucune frayeur
La personnification a été utilisée dans de nombreuses créations, comme ce quatrain:
La mer est calme comme si elle dormait
Personne n’est là pour la déranger
Elle s’est assoupie bercée par les bateaux
Maintenant à l’horizon plus un mot
Une élève a repris une inspiration du poème de Pierre de Marbeuf , étudié dans la séquence
Comme l’amour, elle me brûle
Par son amertume
Elle est bruyante et elle hurle
La qualité de certains poèmes – rédigés dans un temps imparti d’une heure de cours – a été surprenante, et je pense que la séance de posture critique y a largement contribué et nous a fait gagner du temps sur les étapes de compréhension de la consigne et de recherche des idées.
Sur le sable endormi murmure la marée
Un souffle lent s’élève et caresse mes peurs
L’horizon infini berce mes heures troublées
Et noie mes souvenirs dans ses reflets trompeurs
Pour répondre à la problématique de notre expérimentation:
- j’ai pu vérifier lors de la séance de la bonne maîtrise des outils d’analyse.
- les élèves se sont révélés être des évaluateurs scrupuleux et dynamiques, qui ont pris conscience de leur potentiel et n’ont plus considéré que le LLM pouvait faire leur travail.
- lors de l’évaluation, les élèves ont fait preuve de motivation et de dynamisme et se sont rendus aussi compte du labeur des poètes et de la création artistique. J’ai trouvé qu’ils s’étaient pleinement approprié l’acte d’écrire. Les élèves ont joué le jeu, ont écrit ce qui les touchait car ils étaient soucieux de montrer une sensibilité toute humaine après avoir été confrontés à des textes synthétiques. Sans cela, se seraient-ils autant investis? J’ai pu reconnaître certains traits de leur personnalité à travers leurs textes et c’est pourquoi aucun poème ne figure en intégralité dans cet article.
- Prolongements réalisés, prolongements possibles
- Prolongements réalisés
- Discussions autour des coulisses de la séance : la génération de texte et ses biais surprenants
- Fonctionnement de l’IA: résultats imprévisibles et inexplicables. Le choix du LLM n’est pas forcément celui de la personne qui rédige le prompt.
Pourquoi faire des quatrains, des alexandrins si le prompt ne le dit pas ?
- Rappels de la consommation d’énergie entre 30 min et 1 heure d’une ampoule LED pour la génération de chacun des poèmes A, B, C, D, E, celui du V.Hugo ayant mis le plus de temps, prouvant qu’un LLM n’est pas un moteur de recherche.
- La liaison avec la séquence » Progrès scientifiques » sur la robotique se fait naturellement.
- Prolongements possibles
- Après le devoir d’écriture de l’élève, temps d’amélioration des vers signalés lors de la notation.
Choix laissé d’employer un LLM ou non ⟶ Si l’élève emploie un LLM, l’élève doit aussi fournir le prompt qui lui a suggéré la proposition de correction.
- Modèle de séance adaptable
Lors de cette étude, nous avons choisi de nous intéresser particulièrement au motif de la mer dans la poésie lyrique, que donnent les LLM dans la rédaction de fables, de calligrammes, d’OuLiPo, ou d’autres genres littéraires ?
Les compétences du CRCN travaillées ont été les suivantes:
- Traiter des données (domaine 1)
- Communication et collaboration (domaine 2)
Sylvaine Rosier, Académie de Bordeaux,
Cité Scolaire Maurice Ravel, Saint Jean de Luz (64)