Découvrez le nouvel épisode du podcast avec Thomas Scialom, Senior Staff Research Scientist chez Meta, qui présente le modèle Llama 3.1 405B.
Cette troisième participation de Thomas au podcast souligne l’activité de Meta dans l’IA générative. Le nouveau modèle Llama 3.1, positionné comme open source, marque un stade de maturité pour l’IA générative chez Meta, appuyé par une lettre de Mark Zuckerberg intitulée « Open Source AI Is the Path Forward ».
Thomas Scialom présente le modèle Llama 3.1 de Meta, sorti récemment, avec les caractéristiques suivantes :
- Un modèle de 405 milliards de paramètres, entraîné sur 15 trillions de tokens, surpassant GPT-4 et se rapprochant de GPT-4o.
- Une fenêtre de contexte étendue à 128 000 tokens.
- Des performances exceptionnelles sur diverses tâches, notamment le code et le raisonnement.
- Une licence open source encore plus permissive.
Thomas explique les avancées majeures par rapport à Llama 2 : « Nous avons augmenté l’échelle du pré-entraînement, le nombre de tokens, la qualité des données, et le post-entraînement avec davantage d’annotations et de domaines couverts. »
Il partage également sa vision du futur des agents IA : « Lorsque le modèle pourra interagir avec le web et exécuter du code de manière autonome, il pourra s’enrichir continuellement, marquant une nouvelle ère dans l’intelligence artificielle. »
La compétition dans le domaine de l’IA s’intensifie avec l’annonce d’Elon Musk concernant l’entraînement d’un nouveau modèle massif utilisant 100 000 GPU en 19 jours. Par ailleurs, il est probable que Meta lève à nouveau des fonds pour l’entraînement des prochaines générations de modèles, étant donné le coût élevé de cette entreprise mais aussi l’importance de l’AGI.
Un fait marquant annoncé par Mark Zuckerberg est que l’assistant Meta AI pourrait devenir le plus utilisé au monde d’ici la fin de l’année, avec un potentiel de 3,2 milliards d’utilisateurs. Nous espérons y avoir accès rapidement en France et en Europe.
À propos de Comptoir IA
Plongez dans l’univers fascinant de l’intelligence artificielle avec « Comptoir IA », le podcast animé par Nicolas Guyon. Chaque épisode vous offre une immersion profonde et éclairante dans les dernières innovations et tendances de l’IA, explorant comment cette technologie révolutionne notre monde.
Nicolas Guyon, expert passionné et visionnaire, décode pour vous les mystères de l’intelligence artificielle. Avec des invités de renom, allant des chercheurs pionniers aux entrepreneurs audacieux, « Comptoir IA » vous transporte au cœur des débats et des découvertes qui façonnent l’avenir de l’IA.
