Sommaire des expérimentations du TraAM 2024-2025
| Titre de l’activité : Faut-il toujours faire confiance à une IA générative pour faire ses devoirs ? | Niveaux concernés Scénario A : 3ème Scénario B : 2nde Scénario C : Tle Scénario D : Tle | Nombre de séances utilisées en classe : Scénario A : 1h Scénario B : 2h : 1h / 0,5h+0,5h Scénario C : 1h30 Scénario D : Pb1) 1 séance d’1 heure Pb2) Temps libre élève |
| Domaine (parmi les 5 repérés) L’usage d’outils d’IA | Biais identifié(s) Biais d’ancrage Biais de confirmation Biais de cadrage Biais d’autorité | Choix pédagogique (parmi les 4 repérés) : Le professeur propose de travailler sur des situations réelles qui étonnent et amènent les élèves à explorer des arguments et à débattre |
Fiches d’aides à la préparation complétées
Scénario A : Lien vers fichier « Fiche aide à la préparation d’un scénario A – 3ème »
Scénario B : Lien vers fichier « Fiche aide à la préparation d’un scénario B – 2nde »
Scénario C : Lien vers fichier « Fiche aide à la préparation d’un scénario C – Tle »
Scénario D : Lien vers fichier « Fiche aide à la préparation d’un scénario D – Tle »
Caractéristiques
- Problématique
Dès le début de l’année, plusieurs élèves ont utilisé Chat GPT pour faire des devoirs en temps libres. Afin de développer leur esprit critique, le professeur utilise régulièrement Chat GPT pour montrer les avantages et désavantages de ce dernier. L’objectif principal est que les élèves arrêtent de prendre pour comptant les réponses de cette IA.
- Contenus – objectifs disciplinaires et énoncés
Scénario A : Résolution d’un exercice d’application sur le théorème de Thalès et plus particulièrement sur la bonne écriture des rapports. Énoncé A.
Scénario B : Condition pour qu’un quadrilatère soit un parallélogramme, dans un repère orthonormé. Énoncé B avec coups de pouce(éditable)
Scénario C : Démontrer l’alignement de 3 points dans un tétraèdre (géométrie non repérée). Énoncé C.
Scénario D : Résolution d’un problème d’empilement d’entiers (Pb1) et d’un problème de calcul d’angle dans un tétraèdre (Pb2) : somme d’entiers consécutifs, produit scalaire et conséquences. Énoncé D.
Scénario
| Scénario prévu (présentation, mise en œuvre ; postures du professeur) | Déroulé effectif de la séance (place du professeur / place des élèves) |
Scénario A : 3ème Scénario A et déroulé
Scénario B : 2nde Scénario B et déroulé
Scénario C : Tle Scénario C et déroulé
Scénario D : Tle Scénario D et déroulé
Compétences du CRCN mis en jeu par les élèves
Domaine 1 : INFORMATION ET DONNÉES
- 1.1 Mener une recherche/ veille d’information
- 1.2 Gérer des données
Domaine 2 : COMMUNICATION ET COLLABORATION
- 2.1. Interagir
Compétences du CRCN-édu mobilisées par l’enseignant
DOMAINE 1. DEVELOPPEMENT PROFESSIONNEL
1.1 Communiquer
– Communiquer avec les canaux et services numériques (messagerie, ENT, etc.) adaptés aux destinataires et aux objectifs visés.
1.5 Adopter une posture ouverte, critique et réflexive
– Expérimenter de nouveaux services et ressources numériques, de nouvelles approches pédagogiques.
DOMAINE 2. GESTION DES RESSOURCES NUMÉRIQUES
2.2 Concevoir des ressources
– Créer ou co-créer de nouvelles ressources éducatives numériques en fonction d’objectifs pédagogiques, des apprenants et du contexte d’apprentissage.
DOMAINE 3. ENSEIGNEMENT-APPRENTISSAGE AVEC ET PAR LE NUMÉRIQUE
3.1 Concevoir
– Élaborer des situations et des activités d’apprentissage selon diverses modalités
– Planifier, scénariser des apprentissages sur différentes durées et sélectionner des moyens numériques adaptés.
– Expérimenter avec sa classe de nouveaux formats et pratiques pédagogiques.
3.2 Mettre en œuvre
– Conduire des activités avec les apprenants avec les apprenants à l’aide d’outils numériques.
DOMAINE 5. DÉVELOPPEMENT DES COMPÉTENCES NUMÉRIQUES DES APPRENANTS
5.1 Information et données
– Adapter la configuration des espaces de travail aux objectifs d’apprentissage ou d’éducation
– Articuler les différents temps scolaires et d’apprentissage pour renforcer la maîtrise des compétences numériques dans et hors la classe
Productions d’élèves :
Scénario A : 3ème Productions élèves A anonymes
Scénario B : 2nde Productions élèves B anonymes
Scénario C : Tle Productions élèves C anonymes
Scénario D : Tle Productions élèves D anonymes
Bilan critique de la séance / Réussites, obstacles et limites :
Réussites:
Scénario A : Dans un premier temps, l’utilisation de ChatGPT comme un outil rapide et efficace a suscité beaucoup d’enthousiasme et de croyance dans l’IA. Un biais d’autorité et un biais d’ancrage se sont installés, ce qui a surpris (trompé) les élèves sur le deuxième exemple. Cela a permis de créer un débat et les élèves ont spontanément proposé d’améliorer la façon dont le professeur avait proposé l’exercice. Il est intéressant de montrer aux élèves que sans connaissances préalables, l’utilisation de l’IA n’ est pas aussi efficace. Les élèves se sont retrouvés dans une posture « d’enseignants » vis-à-vis de l’IA, ce qui leur a permis de consolider leurs apprentissages sur les conditions d’application du théorème de Thalès, l’importance de formuler rigoureusement les informations, ainsi que la nécessité d’écrire correctement les rapports. Pour mesurer la progression du développement de l’esprit critique des élèves, un autre exercice a été proposé 2 séances plus tard, et les élèves ont été beaucoup plus vigilants avant de confirmer/infirmer la production de l’IA.
Scénario B : Le débat a permis à certains élèves de donner des exemples dans la vie de leurs parents où l’IA est de plus en plus présente. Ils ont déjà été confrontés à l’utilisation d’IA génératives qui ont produit des erreurs ou des hallucinations notoires. Avec beaucoup d’enthousiasme le débat a permis à certains élèves un peu effacés d’habitude de prendre la parole. Les remarques ont été pertinentes. Une élève a même utilisé de façon naturelle l’expression « Esprit critique » lors du bilan pour mettre en avant la nécessité d’être vigilant en utilisant de tels outils. D’autres ont avancé le fait que les IA utiliseront leurs inexactitudes pour se perfectionner et dans un proche avenir ne commettront plus de telles productions erronées.
Scénario C : Les élèves ont été en très grande difficulté sur cet exercice qui était à faire à la maison. Seule une élève a réussi à faire l’exercice correctement jusqu’au bout.
Les élèves se sont, en revanche, très bien impliqués dans la critique des copies. Toutefois, ils ont eu beaucoup de mal à analyser les réponses proposées hormis celle de la copie de l’élève. Cela vient probablement du fait qu’ils n’ont pas l’habitude de ce genre d’exercices.
Ils n’ont eu aucune difficulté à identifier la copie de ChatGPT.
L’argument principal est que les copies faîtes par les IA sont « trop parfaites » car très bien rédigées et contiennent beaucoup de phrases en français : « Un élève n’écrirait pas autant », « on fait des maths, pas du français ».
En revanche, environ 80 % des élèves ont dit que la copie 2 avait été faîte par un élève ce qui est faux. C’est Gemini qui a produit cela mais contrairement à ChatGPT, il rédige effectivement beaucoup moins avec des phrases.
Tous ont trouvé que la copie 1 était une copie d’élève car « ça va à l’essentiel », « quasiment pas de phrases ».
Voici les résultats du sondage avant l’analyse des copies :
| Filles | Garçons | |
| IA | 1 | 6 |
| Meilleur élève | 9 | 3 |
Les résultats de ce sondage pose de nombreuses questions ! Les réponses ont évolué à la fin du débat mais seulement si l’on ne considère que les exercices de géométrie dans l’espace où l’IA semble en difficulté, notamment à cause de la représentation qu’elle a du mal à gérer.
Scénario D : Pb1 : 2 groupes sur 4 ont amorcé une résolution par eux-mêmes du problème (sans IA), mais tous les groupes ont repéré les apports positifs de l’IA une fois distribués (amorce d’une solution, formules de calcul à utiliser…) ainsi que l’erreur faite par l’IA. Chaque groupe a trouvé, en 1h, la solution au Pb1 et rédigé correctement une solution.
- Tous les groupes ont vérifié l’existence de preuves et évalué leur qualité : formule pour la somme des entiers reconnue et exacte, solution de l’(in)équation du second degré sous-jacente : ils se sont bien préoccupés de la fiabilités des sources et de la qualités des preuves.
- Tous les groupes ont vérifié la plausibilité de la réponse de l’IA et vu que la colonne proposée était fausse.
Pb2 : (en DM individuel) – Typologie de comportements « positifs » lus dans les copies :
- Tous les élèves ont (ou ont pris à cette occasion) conscience, en le verbalisant dans la réponse à la question 5., que l’IA est d’une grande aide pour « démarrer » mais que pour former le cerveau, il ne faut pas lui faire tout résoudre : il faut un bon « prompt », dialogue qui accompagne l’IA en précisant des éléments, en demandant un point non compris, en vérifiant certains calculs etc…
- Certains « découvrent » la loi d’Al-Kashi proposée par leur IA mais, ne comprenant pas la méthode alambiquée de l’IA, s’emparent plus simplement de la loi et trouvent la bonne réponse avec une méthode plus simple. Ils ont bien réagi en conservant la méthode de l’IA mais en simplifiant les calculs.
- Certains utilisent la méthode avec un repère orthonormé proposé par l’IA, s’appuient dessus en vérifiant les calculs, et mènent alors leur propre raisonnement (sans évoquer une erreur de l’IA présente dans la solution : est-ce par omission ? ou parce qu’ils ne l’ont pas vu ?)
Obstacles :
Scénario A : La phase d’analyse des différentes productions a volontairement été proposée de manière individuelle. Effectivement, la phase de débat qui suit peut être biaisée si l’analyse en amont est faite en binôme car forcément un biais d’autorité de leader s’installe. La phase de débat a tout de même été monopolisée par les élèves qui ont déjà du recul et davantage de facilité avec la résolution de ce type d’exercices. Cela a créé un doute chez plusieurs élèves qui étaient convaincus que l’IA avait raison (lors de sa production erronée).
Scénario B : Faute de temps il n’a pas été possible de refaire cet exercice plus tard dans l’année lorsque la formule des coordonnées du milieu d’un segment aura été travaillée à un moment plus éloigné dans le temps. En effet, certaines IA font aussi des erreurs sur cet exercice lorsqu’ils le résolvent en utilisant les coordonnées des milieux des diagonales. D’autre part, il n’a pas été possible, lors d’exercices à réaliser à la maison, de proposer une correction par IA à projeter et de travailler dessus, car il y aurait à la fois des réponses correctes et incorrectes. Cela aurait permis de réactiver en cours d’année les leçons tirées de cette activité.
Scénario C : L’esprit critique est régulièrement travaillé en classe, notamment lors de corrections d’exercices. Cela peut se faire via des projections de copies d’élèves ou de copies faîtes par des IA.Malgré cela, force est de constater qu’un groupe non négligeable d’élèves a du mal à remettre en cause les erreurs faîtes par l’IA alors qu’ils ne se posent pas la question lorsque c’est une copie d’élève. Ils préfèrent d’ailleurs recopier une réponse d’IA, vérifiée ou non, plutôt que de ne rien rendre.Concernant l’exercice en lui-même, seulement quelques élèves ont réussi à trouver toutes les erreurs dans les copies. Je soupçonne que ceux qui ont identifié les copies d’IA n’ont pas pris la peine de chercher les erreurs car pour eux, il n’allait pas y en avoir. Il aurait peut-être été préférable de ne pas préciser qu’il y avait des réponses faîtes par des IA.
Scénario D : Pb1 : il y a eu certains échanges informels entre groupes ou élèves qui ont peut-être influencé certains résultats du groupe.
Pb2 : (en DM individuel) – Typologie de comportements « négatifs » lus dans les copies :
- Le dialogue avec l’IA est amorcé par beaucoup d’élèves, mais, au mieux, ils ne recopient pas quand ils ne comprennent pas. Pire : ils disent se méfier de l’IA mais recopient sans vérifier un résultat faux quand ils n’ont que cela, plutôt que de s’abstenir.
- Un élève valide la solution fausse de l’IA et, tout en disant qu’il faut toujours vérifier le travail d’une IA, la recopie telle quelle. Biais d’autorité total… ? Absence de vérification ou de conjecture avec GeoGebra par exemple, qui donnerait une valeur approchée fiable de la mesure de l’angle à trouver…
- Certains trouvent la solution (correcte) de l’IA trop difficile avec la loi d’Al-Kashi, et lui demande d’utiliser le produit scalaire : l’IA se trompe car elle fait des calculs dans le repère du tétraèdre qui n’est pas orthonormé. Le résultat est faux mais les élèves le valident car ils reconnaissent les outils utilisés (repère, produit scalaire).
- Certains envoient une réponse fausse de l’IA mais une solution juste de leur part, sans aucune comparaison entre les deux. Aucune analyse n’est faite pour régler ce problème de deux résultats différents : soit par non remise en cause de l’IA, soit en ayant cherché mais pas trouvé l’erreur de l’IA.
Peu d’analyse comparée pertinente entre la production de l’IA et leur propre production quand elle est différente, ou bien certains résultats produits par l’IA sont repris par l’élève sans être justifiés. L’évaluation des arguments et l’identification des arguments fallacieux de l’IA a été absente.
Très peu de métacognition : aucune évocation sur le degré de confiance dans la production de l’IA sur le Pb2. Beaucoup ont utilisé l’IA comme amorce, et soit l’ont utilisée, soit l’ont modifiée mais sans explicitation de la vérification des arguments ou du repérage des erreurs.
La préoccupation a été davantage de résoudre le problème que d’analyser la production de l’IA.
Bilan méthodologique pour le professeur :
Sur le plan pédagogique, pour mieux travailler l’esprit critique, peut-être faudrait-il dans un premier temps séparer la résolution du problème en amont (obtenir d’abord le bon résultat), de l’analyse critique des réussites/erreurs de l’IA en aval : la connaissance du bon résultat faciliterait peut-être la focalisation sur le travail de l’IA (solution différente mais intéressante qui enrichit les connaissances ou travail sur l’erreur, qualité des preuves, des arguments…).
Dans un deuxième temps, donner aux élèves la liste des biais cognitifs possibles d’une part, et d’autre part celle des items importants à vérifier : fiabilité des sources, qualité des preuves, plausibilité, arguments, métacognition.
Dans un troisième temps, comme l’IA est reconnue comme une bonne amorce, travailler les deux aspects en parallèle (analyse de la production de l’IA et résolution mathématique) en posant un nouveau problème et en sachant alors qu’il faut toujours observer et émettre un avis explicite sur :
- la plausibilité des résultats de l’IA,
- la fiabilité des propriétés avancée par l’IA,
- la véracité des preuves ligne par ligne.
A retrouver également :
