Intelligence artificielle, réalité virtuelle et augmentée : l'art et l'histoire comme vous ne les avez jamais vus

Le numérique transforme notre façon d'explorer la culture et de visiter des musées. De l'intelligence artificielle à la réalité virtuelle en passant par la réalité augmentée, les nouvelles technologies offrent une expérience immersive, interactive et dynamique. Les visiteurs·ses peuvent alors voyager dans un espace où l'art et l'histoire prennent vie de manière exceptionnelle.

Quand l'intelligence artificielle permet d'interagir avec les œuvres et les artistes

L’IA commence doucement à trouver sa place au sein des musées. Certaines des intelligences artificielles utilisées dans les musées sont des IA génératives qui permettent de générer différents types de contenus (texte, image, son, film, etc.). Elles peuvent prendre la forme d'un chatbot (IA conversationnelle) et fusionner avec d’autres technologies, comme la reconnaissance d’images. Le chatbot peut alors reconnaître une image et générer du contenu à son sujet. Mais d'autres musées sont allés plus loin.

Citons notamment le Salvador Dali Museum de St. Petersburg (Floride) et son dispositif d’IA. Appelé « Ask Dalí », il se présente sous forme d’un grand écran sur lequel un Salvador Dalí recréé peut interagir avec les visiteurs·ses et répondre à n'importe quelle question. Ce Salvador Dalí peut également commenter l'actualité, donner son avis sur la météo du jour et faire un selfie avec les visiteurs·ses. L’artiste a été recréé grâce à plusieurs modèles d'apprentissage automatique, notamment GPT-4 d'OpenAI et Eleven V2 d'ElevenLabs.

Code informatique de Ask Dali : self.conversation _memory lidl-append({'role': 'user', 'content': query)) self.conversation_memory lid] -append(('role': 'assistant', 'content': "*})
response = self.client.chat.completions.create(
model= 'gpt-4-turbo-preview', messages=self.conversation memory [id], temperature=1.0, stream=True
for chunk in response:
delta = chunk. choices [0].delta
if delta.content:
self. conversation_memory [id] [-11 ['content'] += deltal yield delta.content
async def transcribe(self, file: UploadFile):
extension = extension_from_mime_type(file.content_type)
with tempfile.NamedTemporaryFile(delete=False, suffix-extension) as temp_file:
contents = await file.read)
temp_ file.write(contents)
temp_file_path = temp_file.name
try:
with open (temp_file_path, 'rb') as audio file:
transcript = self.client.audio.transcriptions.create(
model= whisper-1', file audio_ file
)
transcript = transcript.text — Source : The Dali Museum - Ask Dali Teaser (YouTube)

Afin d’entraîner les algorithmes à reproduire les mimiques, l'accent et les phrases de l'artiste, environ 6.000 photos, vidéos et déclarations de Salvador Dalí ont été numérisées et analysées. Les images d’un acteur sosie ont ensuite permis de créer un deepfake (technique utilisant l'intelligence artificielle pour manipuler des fichiers vidéo ou audio, en modifiant par exemple un visage ou une voix). On peut tout de même se demander si Dali aurait été d'accord pour qu'une intelligence artificielle reprenne ses expressions...

Source : Site internet - The Dali Museum

L’exposition « De Kalila wa Dimna à la Fontaine, voyages à travers les fables », présentée au Louvre Abu Dhabi du 26 mars au 21 juillet 2024, utilisait également des dispositifs d’intelligence artificielle. Selon Charlotte Clergeau, chargée de projets numériques, cette exposition « explore le riche héritage des fables, mettant en lumière leur rôle éducatif et leur pertinence sociale ». Une borne interactive permettait aux visiteurs·ses de « générer leurs propres récits en sélectionnant un style d’écriture, des personnages et une morale afin d’obtenir une fable personnalisée générée par l’IA ».

Cependant, dans cette exposition, la complexité principale résidait dans l’accès limité aux données d’entraînement de l’IA. Cette dernière impactait notamment la qualité linguistique des contenus multilingues et la capacité de l’IA à imiter le style littéraire des fables, la forme, le vocabulaire, les personnages, etc. La rédaction de fables demandait donc des prompts (instructions) très précises.

D'autres problématiques liées au déploiement de l'IA dans les musées existent. Par exemple, il est essentiel de vérifier que les données utilisées par l’IA respectent le droit d’auteur, afin d’éviter d’enfreindre les droits des ayants-droits ou des artistes décédés. Il est également difficile de protéger les créations générées par l’IA, notamment lorsque l’intervention humaine est minimale. Enfin, il est important d’informer les visiteurs·ses que le contenu généré par l’IA peut contenir des erreurs.

A la découverte (ludique) du patrimoine avec la réalité augmentée

La réalité augmentée désigne la superposition de la réalité et d'éléments (sons, images 2D, 3D, vidéos, etc.), en temps réel.

Certains musées utilisent cette technologie pour offrir aux visiteurs·ses une expérience immersive. Par exemple, le château Guillaume le Conquérant propose depuis 2013 la découverte de l’intérieur du château via la réalité augmentée. Des tablettes, appelées « HistoPad », sont mises à disposition pour la visite afin de scanner des QR codes et d’observer à travers l’écran l’aménagement des pièces à l’époque médiévale. Cette solution, utilisée par une dizaine d'autres sites culturels en France, a été développée par la start-up française Histovery. Ce service de visite augmentée sur-mesure permet aux visiteurs·ses de se projeter dans le patrimoine culturel tel qu'il était à l'époque.

Source : Normandy Productions - HistoPad : Plongez dans le passé ! (YouTube)

Pendant la visite, il suffit de pointer la tablette sur un élément physique pour obtenir davantage d’informations. Les visiteurs·ses peuvent interagir avec les œuvres et le patrimoine d’une nouvelle manière, plus engageante et plus dynamique.

La réalité augmentée participe également à rendre les musées plus accessibles aux personnes en situation de handicap, notamment grâce aux sous-titres ou description audio, qui peuvent être superposés aux expositions pour les visiteurs·ses malentendant·es ou malvoyant·es. L’accès aux visiteurs·ses étranger·es est également facilité via la traduction en plusieurs langues. Enfin, la réalité augmentée permet de protéger certaines œuvres fragiles.

Cependant, le développement de projets, de dispositifs et de matériel (tablettes, etc.) de réalité augmentée se révèle souvent coûteux. D'autre part, les personnes peu habituées aux technologies pourraient trouver difficile d’utiliser la réalité augmentée : de quoi créer une fracture numérique au sein du public.

Pour continuer à vous informer sur l'impact du numérique dans la culture, inscrivez-vous à la newsletter mensuelle :

❌ 0% publicité
🫀 100% du contenu écrit par un·e humain·e
✏️ Le dessin du mois réalisé par le dessinateur Théo Schulthess
💡 Le meilleur du numérique responsable

Réalité virtuelle : une immersion dans les lieux et les époques

Certains musées proposent aux visiteurs·ses de rester chez soi et de visiter le patrimoine muni d’une casque de réalité virtuelle. L’expérience de réalité virtuelle « VersaillesVR : le Château est à vous » offre la possibilité « d'explorer les Grands Appartements librement, de profiter de contenus culturels et multimédia inédits et de manipuler de nombreuses œuvres et pièces de mobilier d'art sous tous leurs angles ». L’expérience est disponible en français, en anglais ou en chinois. Les visiteurs·ses doivent se munir de leur propre équipement VR, de type Oculus Rift ou HTC Vive.

Source : Château de Versailles - VersaillesVR : le Château est à vous (YouTube)

La réalité virtuelle permet de plonger les visiteurs·ses dans des époques historiques passées, des sites disparus ou des espaces fermés au public pour éviter leur détérioration. Elle brise les barrières géographiques, en rendant possible la visite de certains lieux à des personnes vivant éloignées des musées ou du patrimoine.

Cependant la création d’expérience en réalité virtuelle, ainsi que les équipements nécessaires, coûtent cher. Certains musées fournissent les équipements aux visiteurs·es, dans ce cas l’expérience se déroule au sein du musée. D'autres musées leur demandent d'utiliser leur propre équipement. Cette dernière solution ne permet pas à tous·tes de participer à l’expérience, et met de côté celles·eux qui ne possèdent pas les appareils adéquats.

De plus, la réalité virtuelle nécessite une familiarité avec la technologie, mettant à l’écart les personnes éloignées du numérique, ou encore celles n'ayant pas les moyens (ou besoin) de s'offrir des casques de réalité virtuelle. Par ailleurs, ces casques peuvent être inconfortables à porter et entraîner des effets secondaires, comme des nausées, chez certaines personnes.

Des expérimentations prometteuses

Le Laboratoire de muséologie expérimentale (eM+) de l'EPFL (École Polytechnique Fédérale de Lausanne) est une initiative transdisciplinaire, se situant à la croisée des technologies de visualisation immersive, de l'analyse visuelle, de l'esthétique et des données culturelles et scientifiques.

Le laboratoire a travaillé sur les grottes de Dunhuang, situées dans le désert de Gobi à l’extrême nord de la Chine. Ce site du patrimoine mondial compte 492 grottes creusées dans la falaise. A l’intérieur se trouvent de nombreuses peintures murales, et plus de 2 500 statues réalisées par des moines bouddhistes sur une période de mille ans.

La plupart de ces grottes sont fermées en permanence au public pour assurer leur conservation. Ainsi, le numérique est le seul moyen de les visiter. Une numérisation de masse a donc été réalisée par 60 photographes, afin de donner naissance aux projets "Pure Land : Inside the Mogao Grottoes at Dunhuang" et "Pure Land : Augmented Reality Edition". Ces derniers permettent à l’utilisateur·rice de se promener dans le modèle numérique.

Source : Site internet - Sarah Kenderline

Ces interfaces sont également intergénérationnelles et non discriminantes, afin de pouvoir être utilisées par tous·tes. Elles participent au tourisme virtuel. Les projets Pure Land sont de véritables fenêtres sur le monde, qui contribuent à de nouvelles stratégies de restitution du contenu culturel et des paysages patrimoniaux.

Sur son site, Sarah Kenderdine, directrice du Laboratoire de muséologie expérimentale (eM+) de l'EPFL, explique le fonctionnement de ces interfaces :

Pure Land se déroule dans AVIE (2006), un grand cinéma panoramique stéréoscopique à 360 degrés qui offre une expérience réaliste de l'intérieur d'un temple troglodyte et de ses magnifiques peintures murales bouddhistes à l'échelle 1:1. En utilisant la photographie haute résolution et les modèles numérisés au laser spécialement fournis par l'Académie de Dunhuang, Pure Land constitue un fac-similé virtuel immersif qui recadre et reconstitue l'extraordinaire richesse des peintures et sculptures trouvées dans les grottes de Dunhuang.
Sarah Kenderdine

La réalité virtuelle, la réalité augmentée et l'intelligence artificielle permettent ainsi de repousser les limites physiques des musées. Ces espaces sont de véritables lieux de rencontre entre la culture et l'innovation, et offrent une expérience enrichissante. Grâce à ces technologies, la culture devient plus vivante et accessible.

On peut tout de même à se questionner sur l'impact environnemental de toutes ces technologies : fabrication des équipements, durée d'utilisation, fin de vie, serveurs... en gardant aussi à l'esprit qu'elles peuvent participer à la protection d'objets et de lieux sensibles, et réduire le tourisme de masse.