Un développeur de Facebook a mis au point une intelligence artificielle (IA) capable de décrire en détail – et via audiodescription – le contenu des photos qui sont postées sur le réseau social par ses membres. Cette extension permet aux malvoyants et aux non-voyants de profiter pleinement de Facebook. Ce sont en fait de petites étiquettes descriptives qui apparaissent sur chaque photo. Hyper détaillée, l’intelligence artificielle indique par exemple le nombre de personnes présentes sur une photo, leur état émotionnel et gestuelle… L’IA détecte également la présence d’animaux ou la météo… La reconnaissance d’images est effectivement un domaine de l’intelligence artificielle qui montre des résultats époustouflants, grâce aux nouvelles techniques du deep learning, soit des algorithmes structurés à la manière de nos réseaux de neurones.

 

Une intelligence artificielle pour les malvoyants qui utilisent Facebook

L’intelligence artificielle de Facebook décrit les photos aux malvoyantsC’est Adam Geitgey, un développeur de Facebook, qui a mis au point une extension fort utile dans le cadre du réseau social pour lequel il travaille. Son application est en effet capable de décrire le contenu des photos qui y sont publiées. De petites étiquettes descriptives apparaissent sur chaque photo pour en dévoiler tous les détails : le nombre de personnes présentes sur la photo, leurs actions, postures (assis, debout, en train de courir…) et caractéristiques physiques (leur sexe, moyenne d’âge, si quelqu’un a une barbe, des lunettes…), leur état émotionnel (souriant, triste…), mais aussi la météo, la présence d’animaux, les différents objets présents sur la photo, leurs couleurs… L’intelligence artificielle qu’il a conçue est époustouflante de précision !

Dans les faits, les malvoyants et les non-voyants peuvent profiter de cette extension à installer sur leur page Facebook. Toutes les photos publiées sur leur fil d’actualité sont alors automatiquement étiquetées et l’audiodescription leur permet d’écouter ce qui y est mentionné.

Deep learning et reconnaissance d’images : les domaines phares de l’intelligence artificielleCette application Facebook a été conçue sur la base d’une intelligence artificielle (IA) en deep learning (apprentissage profond). Ici, les algorithmes de l’IA sont structurés en différentes couches d’unités ; chaque couche réalisant un calcul simple servant de porte d’entrée pour le travail d’analyse de la couche d’unités suivante… Ce type de système s’inspire directement de notre cerveau, dont les réseaux de neurones évoluent de la même manière. Il permet à l’intelligence artificielle une analyse plus profonde et abstraite des éléments qu’on lui soumet ; ici des photos. Le système est ainsi capable de reconnaître des objets, le sexe d’une personne, son état émotionnel… Plus il visualise de photos, plus il se perfectionne dans sa tâche. La reconnaissance d’images est le domaine phare des chercheurs en intelligence artificielle et Facebook n’allait pas passer à côté de ce type de technologie.

Le développeur de Facebook met tout de même en garde les utilisateurs de son extension

Néanmoins, si l’intelligence artificielle conçue par Adam Geitgey est hyper performante et détaillée, celui-ci met en garde sur son blog des conséquences de l’utilisation de ce type de technologie par les géants du Web. « Les utilisateurs d’Internet ne se rendent pas compte du nombre d’informations qui sont désormais systématiquement extraites des photographies, explique-t-il. (…) Facebook (et Google, Apple, Amazon, etc.) peuvent facilement dire si vous avez un chien, si vous avez des appareils photo, si vous pratiquez le golf, si vous avez des enfants ou si vous portez simplement des lunettes de soleil. Rien ne les arrête dans leur volonté de vous proposer des publicités basées sur vos clichés – même si l’un de vos contacts publie une photo de vous sans vous identifier. »

Une belle avancée dans la recherche, pour une exploitation commerciale assurée !

Malgré tout, vous pouvez installer cette intelligence artificielle de reconnaissance d’images sur Google Chrome ou Mozilla Firefox, en vous rendant sur le site des extensions Facebook, mais vous devrez basculer votre profil personnel en version anglaise.