Lorsque nous entendons parler d'intelligence artificielle et d'apprentissage automatique, nous imaginons un ordinateur capable de penser et d'apprendre par lui-même. C'est-à-dire pratiquement en tant qu'être humain.
Nous percevons le monde à travers une combinaison de plusieurs sens, tels que la vue, l'ouïe et la reconnaissance de la parole. Mais les machines interprètent le monde à l'aide de données traitées par des algorithmes. Autrement dit, lorsque la machine voit une photo, elle la traduit en un ensemble de métadonnées qu'elle utilise pour effectuer la tâche. Et si vous compliquez la tâche, c'est-à-dire où il y aura du son en plus de l'image, alors l'IA commence à se perdre.
« Le principal problème ici est de savoir comment une machine peut concilier ces différentes modalités ? C'est facile pour nous. Nous voyons une voiture, puis nous entendons le bruit d'une voiture qui passe, et nous savons que c'est la même chose. Mais pour le machine learning, tout n'est pas si simple", — a déclaré Oleksandr Liu, étudiant diplômé du Laboratoire d'informatique et d'intelligence artificielle (CSAIL) et premier auteur d'un article consacré à ce problème.
Liu et ses collègues ont développé une méthode d'intelligence artificielle qui apprend à représenter les données d'une manière qui capture les concepts communs aux modalités visuelles et audio. Par exemple, leur méthode peut apprendre que l'action d'un enfant qui pleure dans une vidéo est liée au mot "pleurer" dans un clip audio. En utilisant ces connaissances, leur modèle d'apprentissage automatique peut déterminer où une certaine action se produit dans une vidéo et la repérer.
Cette méthode pourrait un jour être utilisée pour aider les robots à apprendre les concepts du monde par la perception, un peu comme le font les humains. Le modèle présente encore certaines limites que les scientifiques espèrent aborder dans des travaux futurs. Jusqu'à présent, leurs recherches se sont concentrées sur les données de deux modalités en même temps, mais dans le monde réel, les gens sont simultanément confrontés à de nombreux flux de données qu'ils traitent sans réfléchir. Les machines n'ont pas encore appris cela.
Vous pouvez aider l'Ukraine à lutter contre les envahisseurs russes. La meilleure façon de le faire est de faire don de fonds aux forces armées ukrainiennes par le biais de Sauver la vie ou via la page officielle NBU.
Lisez aussi: