L’accélérateur d’IA de la Silicon Valley publie sept modèles GPT open source 100% gratuits et transparents.
L’entreprise d’IA de la Silicon Valley, Cerebras, a publié sept modèles open source GPT pour offrir une alternative aux systèmes propriétaires strictement contrôlés disponibles aujourd’hui.
Les modèles GPT open source sans redevance, comprenant les poids et la recette d’entraînement, ont été publiés sous la licence Apache 2.0 hautement permissive par Cerebras, une entreprise d’infrastructure d’IA basée dans la Silicon Valley pour les applications d’IA.
Dans une certaine mesure, les sept modèles GPT sont une preuve de concept pour le superordinateur d’IA Andromeda de Cerebras.
L’infrastructure de Cerebras permet à ses clients, tels que Jasper AI Copywriter, de former rapidement leurs propres modèles de langage personnalisés.
Cerebras GPT Models et Transparence
Cerebras cite la concentration de la propriété de la technologie de l’IA entre les mains de quelques grandes entreprises comme une raison pour laquelle ils ont créé sept modèles GPT open source.
OpenAI, Meta et Deepmind gardent une grande partie des informations sur leurs systèmes privées et étroitement contrôlées, ce qui limite l’innovation à ce que les trois sociétés décident que les autres peuvent faire avec leurs données.
Un système fermé est-il le meilleur pour l’innovation en IA ? Ou l’open source est-il l’avenir ?
Ainsi, ces sept modèles sont mis à disposition sur Hugging Face et GitHub pour encourager davantage de recherches grâce à un accès ouvert à la technologie de l’IA.
Ces modèles ont été entraînés avec le superordinateur Andromeda d’IA de Cerebras, un processus qui n’a pris que quelques semaines pour être réalisé.
Cerebras-GPT est entièrement ouvert et transparent, contrairement aux derniers modèles GPT d’OpenAI (GPT-4), de Deepmind et de Meta OPT.
OpenAI et Deepmind Chinchilla ne proposent pas de licences d’utilisation des modèles. Meta OPT n’offre qu’une licence non commerciale.
Le GPT-4 d’OpenAI n’a absolument aucune transparence sur leurs données d’entraînement. Ont-ils utilisé les données de Common Crawl ? Ont-ils gratté Internet et créé leur propre ensemble de données ?
OpenAI garde ces informations (et d’autres) secrètes, ce qui contraste avec l’approche Cerebras-GPT qui est entièrement transparente.
Ce qui suit est tout ouvert et transparent :
- L’architecture du modèle
- Les données d’entraînement
- Les poids du modèle
- Les points de contrôle
- L’état de l’entraînement optimal pour le calcul (oui)
- La licence d’utilisation : Licence Apache 2.0
Les sept versions sont disponibles en modèles de 111M, 256M, 590M, 1,3B, 2,7B, 6,7B et 13B.
IA open source
La fondation Mozilla, créatrice du logiciel open source Firefox, a lancé une entreprise appelée Mozilla.ai pour développer des systèmes recommandateurs et des GPT open source qui sont fiables et respectent la vie privée.
Databricks a également récemment publié un clone GPT open source appelé Dolly qui vise à démocratiser «la magie de ChatGPT».
En plus de ces sept modèles GPT de Cerebras, une autre entreprise, appelée Nomic AI, a publié GPT4All, un GPT open source pouvant fonctionner sur un ordinateur portable.
Le mouvement de l’IA en open source est à un stade naissant mais il gagne du terrain.
La technologie GPT est à l’origine de changements massifs dans de nombreuses industries et il est possible, voire inévitable, que les contributions en open source changent la donne dans les industries qui impulsent ces changements.
Si le mouvement open source continue d’avancer à ce rythme, nous pourrions être à l’aube d’un changement majeur dans l’innovation en matière d’IA qui éviterait qu’elle ne se concentre entre les mains de quelques grandes entreprises.
Jérémy est un professionnel spécialisé dans l’optimisation des résultats de recherche d’un site internet. Grâce à ses connaissances et à l’utilisation d’outils efficaces, il élabore des stratégies de mots-clés, de liens, de contenu et de référencement local et vidéo afin d’améliorer la visibilité du site sur les moteurs de recherche. En tant que consultant SEO, il utilise également son expertise pour suivre les tendances et mettre en place des stratégies pour faire remonter un site internet dans les résultats de recherche
