Modèle d'intelligence artificielle Phi par Microsoft - petit, bon marché et ne souffre pas d'"hallucinations". C’est ce qu’ils disent du nouveau modèle linguistique, qui est promis à un grand avenir.
GPT est absolument génial, mais en même temps, il est terriblement cher et ne peut pas être parfait pour tout le monde. Pour ces raisons et bien d’autres Microsoft expérimente des modèles d’IA beaucoup plus petits. On dit même que Phi-3-mini fait honte au travail des ingénieurs OpenAI.
Intéressant aussi : Transistors du futur : une nouvelle ère de puces nous attend
ChatGPT n'est pas une panacée
ChatGPT est une invention financée, organisée et améliorée Microsoft. En fait, ça n'appartient pas Microsoft, et la société OpenAI, qui Microsoft ne possède pas (elle est le principal investisseur, mais pas le plus important). Le modèle de langage GPT a donné Microsoft un avantage considérable sur le reste des grandes entreprises technologiques qui se précipitent désormais pour rattraper leur retard. Cependant, le GPT pose un grand nombre de problèmes, dont beaucoup ne peuvent pas encore être résolus.
Tout d’abord, il s’agit d’un modèle de langage très gourmand en ressources. Orienté Web Microsoft Le Copilot ou ChatGPT d'OpenAI génèrent des coûts opérationnels très élevés pour Microsoft. Il s'agit d'une fonctionnalité non seulement de GPT, mais également de tous les principaux modèles linguistiques. De plus, GPT, comme ses concurrents, est sujet aux « hallucinations », c'est-à-dire qu'il peut générer des réponses à des requêtes contenant des informations fausses ou trompeuses. Plus un tel modèle absorbe de données, plus il a tendance à générer un contenu similaire. Par conséquent, les hallucinations et les fausses déclarations ne sont pas un mythe sorti d’un doigt numérique. Les utilisateurs remarquent souvent que les grands modèles de langage commettent souvent des erreurs, fournissent des données inexactes et fonctionnent sur des faits inexistants.
Les deux problèmes sont très graves, c'est pourquoi OpenAI, Microsoft, Meta, Google et d'autres travaillent au développement non seulement de la technologie Large Language Model, mais également du Small Language Model, qui, en pratique, peut produire de bien meilleurs résultats.
Un assistant comptable numérique n’a pas besoin de connaître grand-chose en physique quantique. Il peut être beaucoup plus petit et moins complexe (et donc moins cher), et en s'entraînant uniquement sur les données nécessaires à sa finalité, devrait théoriquement moins halluciner. Mais c’est plus facile à dire qu’à faire. La technologie GenAI est encore une aventure informatique sauvage. Et même si les travaux progressent à un rythme sans précédent, il reste difficile de réaliser des avancées concrètes sur des questions fondamentales. Mais la société Microsoft a récemment annoncé une telle avancée. Nous parlons d'un petit modèle de langage Microsoft Voler.
Intéressant aussi : Comment Taïwan, la Chine et les États-Unis se battent pour la domination technologique : la grande guerre des puces
Que sait-on de Microsoft Phi
Tout d’abord, il convient de préciser que l’expérimentation a été menée sans la participation de la société OpenAI. Autrement dit, c'est le développement des ingénieurs Microsoft.
Des modèles Microsoft Phi est une série de petits modèles de langage (SLM) qui obtiennent des résultats exceptionnels dans une variété de tests. Le premier modèle, Phi-1, comportait 1,3 milliard de paramètres et obtenait les meilleurs résultats de codage Python parmi les SLM existants.
Les développeurs se sont ensuite concentrés sur la compréhension et la réflexion du langage, créant le modèle Phi-1.5, qui comportait également 1,3 milliard de paramètres et présentait des performances comparables à celles des modèles comportant cinq fois plus de paramètres.
Phi-2 est un modèle de 2,7 milliards de paramètres qui démontre des capacités exceptionnelles de raisonnement et de compréhension du langage, fonctionnant au niveau des meilleurs modèles de base avec 13 milliards de paramètres. Phi-2 se distingue des autres modèles par ses innovations en matière de mise à l'échelle des modèles et de formation à la conservation des données.
Il est disponible dans le catalogue de modèles Azure AI Studio, qui facilite la recherche et le développement dans le domaine des modèles de langage. Phi-2 a été lancé en décembre 2023. Les développeurs assurent qu'il fonctionne aussi bien que Mistral ou Llama 2 de Meta. Et Phi-3 fonctionne encore mieux que la version précédente.
Cependant, le modèle Phi-3 qui vient d'être annoncé est d'une qualité totalement nouvelle. C'est du moins ce que vous pouvez juger à partir des informations fournies Microsoft. Selon l'entreprise, selon les indicateurs de tous les benchmarks connus, le Phi-3 fonctionne mieux que tout autre modèle de taille similaire, y compris l'analyse du langage, le travail de programmation ou le travail mathématique.
Le Phi-3-mini, la plus petite version de ce modèle, vient d'être accessible à toutes les parties intéressées. Autrement dit, il est disponible depuis le 23 avril. Phi-3-mini possède 3,8 milliards de paramètres et, selon les mesures Microsoft, deux fois plus efficace que tout autre modèle de même taille. On le retrouve dans le catalogue des modèles d'IA du service cloud Microsoft Azure, la plateforme de modèles d'apprentissage automatique Hugging Face, et Ollama, un framework permettant d'exécuter des modèles sur un ordinateur local.
Comme il le prétend Microsoft, Phi-3-mini ne nécessite pas de puces puissantes Nvidia. Le modèle peut fonctionner sur des puces informatiques ordinaires. Ou même sur un téléphone qui n'est pas connecté à Internet.
Moins de puissance signifie également que les modèles ne seront pas aussi précis. Phi-3 ne conviendra pas aux médecins ou aux comptables fiscaux, mais aidera dans des tâches plus simples. Par exemple, pour cibler la publicité ou résumer les avis sur Internet.
Étant donné que les modèles plus petits nécessitent moins de traitement, leur utilisation sera moins coûteuse pour les entreprises privées. C'est dedans Microsoft il y aura davantage de clients qui souhaiteraient impliquer l'IA dans leur travail, mais qui jugeaient cela trop coûteux. Cependant, on ne sait pas encore combien ils coûteront.
On ne sait pas encore quand apparaîtront les petits et moyens modèles. Mais ce dernier sera plus puissant et plus cher. Bien que l'on sache déjà que Phi-3-small aura 7 milliards de paramètres et que Phi-3-medium en aura jusqu'à 14 milliards.
Lisez aussi:
- Les puces en graphène rendront les téléphones plus rapides et plus faciles
- À propos des ordinateurs quantiques en termes simples
Comment utiliser le Phi-3-mini ?
GPT-4 Turbo nécessite des puces IA puissantes, qui restent très coûteuses. Le petit modèle vocal Phi-3 peut fonctionner hors ligne, sans cloud, même avec une puce sur un téléphone mobile.
Phi-3 n'est pas un produit destiné aux utilisateurs finaux, mais une technologie que les développeurs pourront utiliser et implémenter dans leurs applications - à la fois basées sur le cloud, c'est-à-dire situées à distance, et celles qui fonctionnent localement et hors ligne. Il devrait fonctionner de manière transparente avec les appareils et leurs composants, tels que les téléphones mobiles, les voitures et leurs systèmes d'infodivertissement, ou même les capteurs IoT. Dans certains scénarios, cette technologie peut s’avérer inestimable.
Microsoft donne même un exemple concret pour ne pas avoir à forcer notre imagination. Imaginez un agriculteur inspectant ses cultures et voyant des signes de maladie sur les feuilles, les tiges et les branches. Etant éloigné des antennes relais de télécommunications, il lui suffira de sortir son téléphone, de prendre une photo des dégâts, de la mettre dans une application qui utilise la technologie Phi-3 - et le modèle analysera rapidement et hors ligne la photo et donnera des conseils sur comment exactement lutter contre cette maladie.
Comme il l'explique Microsoft, la clé du succès de GPT était de s'appuyer sur des quantités massives de données pour la formation. Avec des ensembles de données aussi volumineux, une qualité élevée des données est hors de question. Pendant ce temps, lors de la formation du modèle Phi, l’approche OpenAI exactement opposée a été utilisée. Au lieu de bourrer le modèle d’informations, l’accent a été mis sur un apprentissage progressif et approfondi.
Au lieu d'utiliser des données brutes d'Internet, les chercheurs Microsoft a créé l'ensemble de données TinyStories, générant des millions d'histoires miniatures de « bébés ». Ces histoires ont été utilisées pour former de très petits modèles de langage. Les chercheurs sont ensuite allés plus loin en créant l’ensemble de données CodeTextbook, qui utilisait des données soigneusement sélectionnées et accessibles au public, filtrées en fonction de leur valeur éducative et de la qualité du contenu. Ces données ont ensuite été filtrées plusieurs fois et réinjectées dans un grand modèle de langage (LLM) pour une synthèse ultérieure.
Tout cela a permis de créer un ensemble de données suffisant pour former un SLM plus performant. De plus, une approche à plusieurs niveaux de gestion et d'atténuation des risques a été utilisée dans le développement du modèle Phi-3, comprenant une évaluation, des tests et des ajustements manuels. En conséquence, comme il le prétend Microsoft, les développeurs utilisant la famille de modèles Phi-3 peuvent profiter de l’ensemble d’outils disponibles dans Azure AI pour créer des applications plus sécurisées et plus fiables.
Lisez aussi: La téléportation d'un point de vue scientifique et son avenir
Microsoft Phi remplacera-t-il les modèles de type ChatGPT ?
Pas du tout. Les petits modèles de langage (SLM), même lorsqu'ils sont formés sur des données de haute qualité, ont leurs limites et ne sont pas conçus pour l'apprentissage en profondeur. Les grands modèles de langage (LLM) surpassent les SLM dans le raisonnement complexe en raison de leur taille et de leur puissance de calcul. Les LLM sont et continueront d'être particulièrement utiles dans des domaines tels que la découverte de médicaments, où il faut parcourir de vastes collections d'articles scientifiques et analyser des modèles complexes. D'un autre côté, SLM peut être utilisé pour des tâches plus simples, telles que résumer les principaux points d'un long document texte, créer du contenu ou alimenter les chatbots du service client.
Microsoft, a-t-elle déclaré, utilise déjà des ensembles de modèles hybrides en interne, où LLM prend les devants, dirigeant certaines requêtes nécessitant moins de puissance de calcul vers SLM tandis qu'il gère lui-même d'autres requêtes plus complexes. Phi est positionné pour l'informatique sur appareils, sans utiliser le cloud. Cependant, il existera toujours un écart entre les petits modèles de langage et le niveau d'intelligence pouvant être obtenu avec de grands modèles dans le cloud. Cet écart, grâce au développement continu du LLM, ne devrait pas disparaître de si tôt.
Phi-3 n'a pas encore été vérifié par des parties externes indépendantes. Microsoft parle parfois d'une efficacité ou d'une efficacité énergétique 25 fois supérieure dans des cas extrêmes, par rapport à ses concurrents, ce qui semble tout à fait fabuleux. Même si, d'un autre côté, il ne faut pas oublier que ces années se sont écoulées Microsoft nous a un peu éloigné du fait qu'il s'agit d'un leader incontesté en matière d'innovations informatiques, et c'est peut-être pour cela que nous n'y croyons pas vraiment. Des programmes basés sur l'IA qui répondent instantanément et s'exécutent hors ligne au lieu de générer ? Ce serait un digne point culminant de la révolution actuelle. Malheureusement, il existe un problème clé.
Lisez aussi: Tout sur la puce Neuralink Telepathy : qu'est-ce que c'est et comment ça marche
Phi-3 de Microsoft ne comprend que l'anglais
Phi-3 n’a pas englouti les pétaoctets qui lui ont été lancés en masse. Une formation minutieuse et scrupuleuse du modèle implique un problème mineur. Phi-3 a été formé avec des informations en anglais et n'a encore aucune idée d'une autre langue. Non seulement ukrainien, mais aussi allemand, espagnol, français ou chinois. Bien entendu, cela réduit considérablement son attrait pour la plupart des utilisateurs du monde entier.
Mais en Microsoft assuré que des travaux visant à son développement et à son amélioration sont en cours. Mais il ne faut pas se tromper sur le fait que le marché ukrainien est une priorité pour aucune des grandes entreprises. Il faudra donc attendre très longtemps pour obtenir le soutien de la langue ukrainienne. Mais cela n’a jamais arrêté les passionnés et ceux qui veulent suivre le progrès.
Lisez aussi: