Les images en mouvement

{{{Contexte et objectif de la séance}}}

3ème séance de la séquence « Inattendu Artificiel » mise en œuvre à destination des élèves de 4èmes CHAAP (Classe à Horaire Aménagé Arts Plastiques)

La séquence « Inattendu Artificiel » a pour objectif de travailler la Notion d’Outil au regard du questionnement «  Quelle place pour la complétion d’un objectif dans une collaboration avec une intelligence artificielle ? »

Il a été demandé aux élèves d’ expérimenter la réalisation d’une animation audiovisuelle la plus cohérente possible produite en collaboration avec des intelligences artificielles et la part inattendue de leurs productions.

{{{Plus-value du numérique dans cette séance}}}

Le Numérique (ici les Intelligences artificielles) est ici à considérer comme objet d’étude à part entière.

{{{Modalités de mise en œuvre}}}

-* Niveau éducatif : Cycle 3

-* Durée : séquence : 5 séances

-* Ressources numériques utilisées :

-** Genmo : https://www.genmo.ai/create/video

Genmo est une plateforme de création utilisant l’IA générative de « stable diffusion ». Disponible actuellement en version Béta, elle est ici modifiée afin d’accéder aux fonctionnalités image to video ou text to video

-* Pré-requis :

Le groupe a tout d’abord choisi un genre commun ici, le cinéma d’horreur. Ils ont ensuite choisi individuellement un mot en rapport avec le thème. Collectivement, sur le compte de leur enseignant, le groupe a rédigé un prompt à l’attention de ChatGPT, afin que cette IA produise un poème de 20 vers incluant les mots choisis. Après plusieurs essais, cette poésie, dès lors qu’elle a remporté l’adhésion du groupe, aura été utilisé pour la suite de la séquence comme scénario, libre en raison de la licence poétique imposé à Chat GPT. Chaque chaapiste a ensuite pris en charge un vers et son illustration par une photographie afin de réaliser un storyboard photographique de la production audiovisuelle à venir.

{{{Déroulement de la séance}}}

Via un partage du compte de leur enseignant, il a ensuite demandé à une IA image to video (genmo) d’animer cette photographie téléchargée sur la plateforme via un prompt rédigé par ses soins qui, s’il comportait la traduction en anglais du vers, devait présenter de multiples sous-indications concernant la qualité de rendu, le cadrage, la lumière afin de s’approcher au mieux de l’objectif commun fixé en amont. En conclusion de la séance, un débat, nourrit par des références artistiques et culturelles, s’est ouvert afin de mesurer la complétion de l’objectif face à la part inattendu de la collaboration des IA puis l’intérêt de la réalisation et de la démarche et enfin d’exprimer librement réflexions enthousiasmes et frilosité face à l’avenir inattendu des relations IA / Humain dans un contexte scolaire mais aussi sociétal.

{{{Compétences travaillées}}}

-* {{Compétences disciplinaires}} :

Evaluation (Compétences visées)

Individuellement :

Réaliser une photographie qui illustrera un vers du poème.

C1-4 Explorer l’ensemble des champs de la pratique plastique et leurs hybridations, notamment avec les pratiques numériques.

Genmo et Collectivement:

Afin que cette IA anime les photographies en fonction de l’objectif, Rédiger un prompt de style en fonction du Titre du poème.

C2-3 Se repérer dans les étapes de la réalisation d’une production plastique et en anticiper les difficultés éventuelles

Genmo et Individuellement :

Afin que cette IA anime les photographies en fonction de l’objectif, Rédiger un prompt de contenu en fonction de votre vers.

C3-1 Dire avec un vocabulaire approprié ce que l’on fait, ressent, imagine, observe, analyse ; s’exprimer pour soutenir des intentions artistiques ou une interprétation d’œuvre.

Collectivement :

Mesurer l’intérêt de la réalisation et de la démarche.

C3-4 Porter un regard curieux et avisé sur son environnement artistique et culturel, proche et lointain, notamment sur la diversité des images fixes et animées, analogiques et numériques.

Collectivement :

Mesurer la complétion de l’objectif

C4-4 Interroger et situer œuvres et démarches artistiques du point de vue de l’auteur et de celui du spectateur.

Individuellement :

Expérimenter la réalisation d’une animation la plus cohérente possible produite en collaboration avec des intelligences artificielles et la part inattendue de leurs productions.

C1-1 Choisir, mobiliser et adapter des langages et des moyens plastiques variés en fonction de leurs effets dans une intention artistique en restant attentif à l’inattendu.

-* {{Compétences du CRCN}} mises en œuvre par les élèves :

Compétence 2.3 Collaborer

Compétence 3.2 Développer des documents multimédia

-* {{Compétences du CRCN-Edu}} mises en œuvre par l’enseignant :

1.5 Adopter une posture ouverte critique et reflexive

Analyser sa pratique, expérimenter, faire preuve d’esprit critique :

– Faire évoluer sa pratique pédagogique numùérique à la lumière des travaux de la recherche et de sa communauté.

– Faire preuve d’ouverture d’esprit et de discernement poour découvrir, tester puis utiliser des approches pédagogiques, des services et des ressources numériques.

{{{Bilan critique de la séance}}}

– Une implication de l’ensemble du groupe prenant du plaisir à cette collaboration.

– Mise en avant efficace des concepts d’erreur et d’inattendu dans un processus créatif.

– Questionnement efficient sur la place des IA dans un contexte éducatif puis sociétal.

Inattendu Artificiel : Une séquence de Collaboration élèves et IA (Arts Plastiques au Collège)

Il est reconnu que les intelligences artificielles accessibles actuellement ne sont pas encore parvenues à un degré de maturité suffisant pour obtenir, malgré le développement du Prompt Engineering, des résultats parfaitement adéquats aux requêtes. Tant dans les IA textuelles que visuelles, des erreurs se glissent systématiquement créant des artefacts inattendus qui singularisent des productions pourtant largement stéréotypées. Ce phénomène tire ses origines du fonctionnement d’algorithmes basés sur les récurrences dans des bases de données titanesques via un fonctionnement proche de la paréidolie. Si les traces de ce « mode de pensée » se font de plus en plus discrets, les premières IA visuelles comme Google Deep Dream produisaient principalement des images que l’on qualifiait alors d’oniriques voir de psychédéliques. D’ailleurs encore aujourd’hui le fonctionnement du deep learning comporte une « boîte noire » dont les rouages se développent en autonomie et en secret y compris du point de vue des spécialistes qui en sont à l’origine. Ainsi les réalisations des IA comportent une part incontestable d’inattendu.

L’utilisation actuelle dans un contexte pédagogique des IA permettrait donc de placer l’élève dans une posture de travail constructive face à des problématiques renouvelées par cette technologie. La place de l’inattendu évidemment nourrit par la notion d’erreur dans son sens le plus formatif mais aussi le processus de travail collaboratif non pas entre pairs mais bien avec une entité qui, si elle est dépourvu d’intention fera preuve d’une autonomie rebelle en raison de l’« imperfection technique » de cet outil. Enfin, pour le citoyen, élève ou enseignant, se pose la question du regard réflexif et critique, qu’il est envisageable de poser sur une technologie fascinante par la nouveauté des possibilités qu’elles semblent offrir et des précautions afférentes au-delà des fantasmes véhiculés par les médias.

Mobilisant les 4èmes CHAAP (Classe à horaire aménagé Arts Plastiques) dans un séquence conjuguant EMI et Arts plastiques intitulée « Inattendu Artificiel », il leurs a été demandé d’ expérimenter la réalisation d’une animation audiovisuelle la plus cohérente possible produite en collaboration avec des intelligences artificielles et la part inattendue de leurs productions. Ainsi le groupe a tout d’abord choisi un genre commun ici, le cinéma d’horreur. Ils ont ensuite choisi individuellement un mot en rapport avec le thème. Collectivement le groupe a rédigé un prompt à l’attention de ChatGPT, afin que cette IA produise un poème de 20 vers incluant les mots choisis. Après plusieurs essais, cette poésie dès lors qu’elle a remporté l’adhésion du groupe aura été utilisé pour la suite de la séquence comme scénario, libre en raison de la licence poétique imposé à Chat GPT.

Dans l’antre sinistre de la salle 31, expire un gémissement,

Un enfant reposant, cadavre de songes aux rêves fuyants.

Le professeur, témoin d’une scène morbide,

Se nourrit de peurs, enfouies sous le bureau, guide.

Au sous-sol, un secret étend son ombre dense,

Des murmures de dépression, les murs en confidence.

Une camionnette, complice des promesses nocturnes,

Emporte des indices vers un destin qui s’urne.

Dents acérées, un psychopathe s’approche en silence,

Des bonbons masquent un maléfice intense.

Minuit sonne, l’horreur s’éveille avec éclat,

Sous la lueur froide, des âmes dansent au seuil du trépas.

Les ombres s’animent, le silence tisse la peur,

Des enseignants cachés dans une frayeur qui pleure.

Sous les draps, des visages pâles, terrorisés,

La salle 31, prisonnière des cauchemars passés.

Dans la pénombre froide, le bureau devient autel,

Où résonnent des échos d’un rituel cruel.

Des chuchotements s’élèvent, tissent des fils,

La salle 31, théâtre d’ombres, dissimule des périls.

Chaque chaapiste a ensuite pris en charge un vers et son illustration par une photographie afin de réaliser un storyboard de la production audiovisuelle à venir. Il a ensuite demandé à divers IA image to video ( plazmapunk, replicate et genmo) d’animer cette photographie via un prompt qui, s’il comportait la traduction en anglais du vers, devait présenter de multiples sous-indications concernant la qualité de rendu, le cadrage, la focale, la lumière afin de s’approcher au mieux de l’objectif commun fixé en amont. Après de multiples essais et corrections, l’ensemble des rushes aura été monté afin de prendre la forme d’un court métrage dont la bande son est composé d’une voix off lisant la poésie.

Création : Salle B1 : 4èmes #CHAAP + #ChatGPT + #Genmo

En conclusion, un débat, nourrit par des références artistiques et culturelles, se sera ouvert afin de mesurer la complétion de l’objectif face à la part inattendu de la collaboration des IA puis l’intérêt de la réalisation et de la démarche et enfin d’exprimer librement réflexions enthousiasmes et frilosité face à l’avenir inattendu des relations IA / Humain dans un contexte scolaire mais aussi sociétal.

Traces audiovisuelles d’un échange oral à propos de l’oeuvre « Second Earth » : 4èmes #CHAAP et #IA 🌏 sur la “Terre Seconde” @GregoryChatonsky (séquence “Inattendu Artificiel”)

Inattendu Artificiel

Notion : Outil / Durée : 1/ Difficulté : 3/3

«  Quelle place pour la complétion d’un objectif dans une collaboration avec une intelligence artificielle ? »

Introduction :

https://blogpeda.ac-poitiers.fr/lesimagesenmouvement/2023/04/12/lintelligence-artificielle-dans-leducation-artistique-et-culturelle-une-revolution-creative-en-marche/

• • Collectif Obvious, Portrait d’Edmond de Belamy, 2018

  • Jason Allen via MidJourney, Théâtre D’opéra spatial , 2022

Organisation : Une vidéo finale pour l’ensemble du groupe (animation, couleur, son) résultante de collaborations individuelles et collectives avec deux intelligences artificielles

Matériel :

ChatGPT : (Chat Generative Pre-trained Transformer) est un prototype d’agent conversationnel utilisant l’intelligence artificielle, développé par OpenAI ; Il est capable de générer des réponses à des questions, de compléter des phrases, de traduire des textes, d’écrire des articles et de tenir des conversations avec des humains.

IA Image to video : Les outils suivants sont basés sur l’IA de « stable diffusion » qui permet de créer des vidéos de type image to video ou text to video.

PlazmaPunk : https://www.plazmapunk.com/

Replicate : https://replicate.com/stability-ai/stable-video-diffusion

Genmo : https://www.genmo.ai/create/video

Pika : https://pika.art/

Consignes et Procédure :

0/ Objectif :

Expérimenter la réalisation d’une animation la plus cohérente possible produite en collaboration avec des intelligences artificielles et la part inattendue de leurs productions.

• 0/ Collectivement :
  • Choisir un thème/genre pour le projet
• 1/ Individuellement :
• 2/ ChatGPT et Collectivement :
  • Afin que cette IA (CHATGPT) crée un poème contenant ces mots, Rédiger un Prompt.
    • (Poste et compte professeur)
• 3/ Collectivement :
  • Rédiger un titre au poème qui ne contiendra aucun des mots précédents.

   

• 4/ Individuellement :
  • Réaliser une photographie qui illustrera un vers du poème.
  •              Dans l’établissement

   

• 5/ Ia photo to video et Collectivement:
  • Afin que cette IA anime les photographies en fonction de l’objectif,
  • Rédiger un prompt de style en fonction du Titre du poème.
    • (Poste collège et compte élève)
• 6/ IA photo to video et Individuellement :
  • Afin que cette IA anime les photographies en fonction de l’objectif,
  • Rédiger un prompt de contenu en fonction de votre vers.
    • (Poste collège et compte élève)
• 7/ Individuellement :
  • Enregistrer la lecture de votre vers du poème
    • (appareil photo)
• 8/ Collectivement:
  • Monter les Rushes et la voix-off
    • (Poste collège et compte élève)
• 9/ Collectivement :
  • Mesurer la complétion de l’objectif
    • Oral

  • Mesurer l’intérêt de la réalisation et de la démarche.

    • Oral

Références artistiques et culturelles:

Aléatoire et IA:

Prototype de l’IA culturelle : Une machine autonome et aléatoire

Art : Jean Tinguely, Méta-matics N°10, Replik, 1990 https://www.youtube.com/watch?v=4-NrTsq6bsg

Démarche scientifique : L’IA simule l’évolution

Document : Karl Sims, Evolved Virtual Creatures, Evolution Simulation, 1994 https://www.youtube.com/watch?v=JBgG_VSP7f8

Narration absurde : Des dialogues générés par une IA

Cinéma : Oskar Sharp, Sunsring, 2016 https://www.youtube.com/watch?v=LY7x2Ihqjmc

Portrait de l’IA : De nouvelles images à l’infini

Art : Mario Klingemann, Memories of Passerby 1, 2019 Document : https://www.youtube.com/watch?v=Jjv3m5oWICA&

Références et IA :

Données : Ressemblance et Autonomie

Cinéma : Alex Garland, Ex-Machina, 2015

Trailer :

https://www.youtube.com/watch?v=O4p1qIh8XPc

Boucle : Réseau de neurones (naturels, artificiels, naturels)

Art : Pierre Huyghe, Uumwelt, 2021

Captation d’exposition :

https://www.youtube.com/watch?v=Jr-Ly2RJEE4

Document : https://www.youtube.com/watch?v=enx-vyWn7UU

Vraisemblance : Une histoire d’IA fictive représentée via une IA réelle (effets spéciaux)

Cinema : Alex Proyas, I-Robot, 2004

Extrait : Battle scene :

https://www.youtube.com/watch?v=RvRZogigTtQ

Données : Ressemblance et Paréidolie

Art : Gregory Chatonsky, Terre seconde, 2018

Document :

https://www.youtube.com/watch?v=JRBkwQwy6n0&

Boucle : Représenter par l’IA les données utilisées par l’IA

Art : Refik Anadol, Machine Hallucinations, 2022

Captation d’exposition:

https://www.youtube.com/watch?v=Ts7fQB3K__M&

Document :

https://www.youtube.com/watch?v=I-EIVlHvHRM&

Vraisemblance : Un histoire d’IA fictive modifiée par la collaboration du spectateur et d’une IA réelle

Art: Ian Cheng, Life after Bob, the Chalice Project, 2018

Trailer :

https://www.youtube.com/watch?v=vCc2djR25hg

Making-of :

https://www.youtube.com/watch?v=3R6_ANvF7VE&

Evaluation (Compétences visées)

4/ Individuellement : Réaliser une photographie qui illustrera un vers du poème.

C1-4 Explorer l’ensemble des champs de la pratique plastique et leurs hybridations, notamment avec les pratiques numériques.

5/ PlazmaPunk et Collectivement: Afin que cette IA anime les photographies en fonction de l’objectif, Rédiger un prompt de style en fonction du Titre du poème.

C2-3 Se repérer dans les étapes de la réalisation d’une production plastique et en anticiper les difficultés éventuelles

6/ PlazmaPunk et Individuellement : Afin que cette IA anime les photographies en fonction de l’objectif, Rédiger un prompt de contenu en fonction de votre vers.

C3-1 Dire avec un vocabulaire approprié ce que l’on fait, ressent, imagine, observe, analyse ; s’exprimer pour soutenir des intentions artistiques ou une interprétation d’œuvre.

9/ Collectivement : Mesurer l’intérêt de la réalisation et de la démarche.

C3-4 Porter un regard curieux et avisé sur son environnement artistique et culturel, proche et lointain, notamment sur la diversité des images fixes et animées, analogiques et numériques.

9/ Collectivement : Mesurer la complétion de l’objectif

C4-4 Interroger et situer œuvres et démarches artistiques du point de vue de l’auteur et de celui du spectateur.

0/ Expérimenter la réalisation d’une animation la plus cohérente possible produite en collaboration avec des intelligences artificielles et la part inattendue de leurs productions.

C1-1 Choisir, mobiliser et adapter des langages et des moyens plastiques variés en fonction de leurs effets dans une intention artistique en restant attentif à l’inattendu.

Intelligences Artificielles & Arts plastiques (Références artistiques et Compétences disciplinaires)

Gregory Chatonsky, Terre seconde, 2018, Exposition/Installation, Dimensions Variables, collection de l’artiste

Document : https://www.youtube.com/watch?v=JRBkwQwy6n0&

Si les interactions à caractère pédagogique entre élèves et intelligences artificielles dans le cadre du cours d’arts plastiques mobilisent à l’évidence le recours « à des outils numériques de captation et de réalisation à des fins de création artistique », les concepts soulevés par ces collaborations créatives et culturelles prennent une résonance particulière au regard du champ de références artistiques qui soutiennent de telles séquences pédagogiques permettant ainsi une actualisation fulgurante de notions traitées au quotidien dans la discipline.

Ainsi Gregory Chatonsky, Terre seconde, 2018, Installation, Dimensions Variables, collection de l’artiste (Document) que les 4èmes de la CHAAP du Collège Font-Belle de Segonzac auront étudié dans le cadre de la séquence « Inattendu Artificiel » (Séquence). Un ensemble de séances pendant lequel les collégiens auront produit un court-métrage, produit d’un échange étroitement collaboratif avec plusieurs IA ( Chat GPT, Plazmapunk, replicate et genmo) afin de se questionner sur la place de la délégation et de la maîtrise dans un processus créatif.

Initié à la suite d’expérimentations sur des logiciels de « deep learning », le projet de Grégory Chatonsky a émergé de la constatation que « la machine devenait capable de produire automatiquement une quantité phénoménale d’images réalistes à partir de l’accumulation des données sur le Web. Bien que ce réalisme évoque le monde que nous connaissons, il ne s’agit pas d’une reproduction à l’identique. » Ainsi, cette Seconde Terre, une réinterprétation de notre réalité, est générée par une machine qui interroge la nature de sa propre création. En utilisant une vaste base de données composée de millions d’images, la machine crée sa propre vision de la planète. Grégory Chatonsky, en employant le même processus d’accumulation de données et d’analyse statistique, lui confère ensuite des éléments tels que les fluides, les plantes, le son, la parole et des organismes pour peupler sa surface. Ce monde peut être « visité » au sein d’une exposition conçue par l’artiste pour être évolutive : une structure modulaire accueille chaque jour de nouvelles sculptures aux formes organiques étranges imaginées par la machine.

Usant d’un mode de réflexion assimilable à de la paréidolie, l’intelligence artificielle se nourrit de banque de données, les digère via un processus de récurrence, puis les régurgite en fonction des commandes de l’artiste. Elle boucle ainsi un cycle de datas produisant des datas qui mettront en avant, pour les élèves, la question de la ressemblance et de l’écart dans la représentation. L’œuvre ventile ainsi la stéréotypie qui provient de l’utilisation des banques de données utilisées et l’originalité du processus imparfait de production de l’ia permettant à l’élève de « porter un regard curieux et avisé sur son environnement artistique et culturel, proche et lointain, notamment sur la diversité des images fixes et animées, analogiques et numériques »

L’immaturité temporaire du fonctionnement des IA qui produisent encore de nombreux artefacts inattendus, révèle les traces d’un mode de fonctionnement qui comporte, y compris aux yeux de leurs concepteurs, une « boîte noire ». Pour les premières IA mises à disposition du grand public comme Goggle Deep Dream, ces erreurs était qualifiées de rêves ou d’hallucinations étant donnée le caractère psychédélique que l’on pouvait y déceler. Grégory Chatonsky voit dans ses erreurs les hallucinations d’une machine (chiasme introduisant la question de la conscience) qui pourront être une source d’inattendu à l’origine de l’écart artistique attendu. Pour le collégien, la question de l’erreur (à la différence de la faute) ainsi que celle de la sérendipité, qui sont toutes deux sources de singularité dans l’œuvre et dans son propre processus créatif lui permettront de « choisir, mobiliser et adapter des langages et des moyens plastiques variés en fonction de leurs effets dans une intention artistique en restant attentif à l’inattendu. »

En articulant des données d’origine naturelle à un processus artificiel dans l’objectif de produire une œuvre culturelle mimant la nature, Second Earth crée une mise en abîme de sa démarche de création à l’intérieur de la thématique abordée, poussant ainsi le rapport Nature/Culture vers un potentiel questionnement sur la naissance d’une imagination de l’IA issu d’un potentiel embryon de volonté artificielle voir de conscience. «  Prendre part au débat suscité par le fait artistique » permettra au collégien de se questionner sur les IA hissées au rang de créatrices voir d’artistes. Leur évolution et leur image perçue par le grand public entre 2018 et aujourd’hui permettra aux élèves de se forger un avis critique sur le statut dans la fiction (cinéma apocalyptique) puis dans la société (marché de l’emploi) d’une intelligence artificielle souvent présentée entre fascination et répulsion dans les médias.

Grâce à ces références issues d’artistes et d’intelligences artificielles, les élèves auront l’opportunité de revisiter les compétences classiques propres à la discipline en les actualisant. Cela leur permettra de s’engager dans la pratique, de réévaluer le statut de cette discipline, et d’adopter une perspective critique vis-à-vis des défis posés par cette technologie tant dans le domaine culturel que dans le futur monde professionnel

Traces audiovisuelles d’un échange oral à propos de l’oeuvre « Second Earth » : 4èmes #CHAAP et #IA 🌏 sur la “Terre Seconde” @GregoryChatonsky (séquence “Inattendu Artificiel”)