Variante: pourquoi une meilleure AIS a besoin de crypto

Auteur: Daniel Barabander, avocat général et partenaire du fonds de variantes;

Points clés de cet article

À l’heure actuelle, le développement de l’IA de base est dirigé par quelques sociétés technologiques et est dans un état fermé et anticoncurrentiel.
Le développement de logiciels open source est une autre option, mais l’IA de base ne peut pas être développé en tant que projet logiciel open source traditionnel (comme Linux) en raison de ses « problèmes de ressources », et les contributeurs open source sont également invités à faire un don de coûts informatiques et de données au-delà de leur personnel Capacités.
Le chiffrement résout les problèmes de ressources en contribuant à un projet de base d’IA open source par le biais des fournisseurs de ressources incitatifs de propriété.
L’IA open source combinée à un chiffrement peut prendre en charge des modèles plus importants et conduire plus d’innovation, conduisant à une meilleure IA.

introduction

Un sondage du Centre de recherche Pew 2024 a montré que 64% des Américains pensent que les médias sociaux ont un impact négatif plutôt que positif sur les États-Unis, et 78% disent que les sociétés de médias sociaux ont trop de pouvoir dans la politique et l’influence d’aujourd’hui, 83% ont déclaré ces Les plateformes sont susceptibles ou susceptibles de censurer intentionnellement les opinions politiques avec lesquelles ils sont en désaccord.Le dégoût pour les plateformes de médias sociaux est l’un des rares problèmes qui unissent les Américains.

En regardant les progrès des expériences de médias sociaux au cours des 20 dernières années, il semble inévitable que nous nous retrouvons dans cette situation.Vous connaissez tous cette histoire.Quelques grandes entreprises technologiques ont initialement attiré l’attention et, surtout, ont obtenu des données utilisateur.Alors que les gens espéraient initialement que les données seraient rendues publiques, les entreprises ont rapidement modifié la direction et ont désactivé l’accès après l’avoir utilisé pour créer un effet de réseau incassable.Cela conduit essentiellement à la situation actuelle, où moins de dix sociétés de médias sociaux de grandes technologies existent comme de petits territoires féodaux sous oligopole et n’ont aucune motivation à changer parce que la situation actuelle est extrêmement rentable.Il est fermé, anticoncurrentiel.

En regardant les progrès actuels de l’expérience de l’IA, j’ai l’impression de répéter le même film, mais cette fois, cela implique plus.Une poignée de grandes entreprises technologiques ont accumulé des GPU et des données pour créer des modèles d’IA de base et bloquer l’accès à ces modèles.Pour les nouveaux entrants (sans collecter des milliards de dollars), il n’est plus possible de construire une version concurrentielle car la barrière à l’entrée est trop élevée – la dépense en capital de calcul d’un modèle de base est aussi élevé que des milliards de dollars, et à partir de Les sociétés de médias sociaux qui ont bénéficié du dernier boom technologique tirent parti de leur contrôle sur les données des utilisateurs propriétaires pour créer des modèles que les concurrents ne peuvent pas faire.Nous sommes tous dans l’espace d’IA pour reproduire ce que nous faisons sur les réseaux sociaux: fermé et anticoncurrentiel.Si nous continuons sur cette voie d’IA fermée, une poignée d’entreprises technologiques auront un contrôle illimité sur l’accès à l’information et aux opportunités.

IA open source et « Problèmes de ressources »

Si nous ne voulons pas d’un monde d’IA fermé, quelle est notre alternative?La réponse est évidente, c’est-à-dire pour construire le modèle de base dans un projet logiciel open source.Nous avons d’innombrables exemples de projets open source qui construisent le logiciel sous-jacent sur lequel nous comptons chaque jour.Si Linux montre que quelque chose d’aussi basique qu’un système d’exploitation peut également être construit open source, alors quelle est la différence avec LLM?

Malheureusement, il existe certaines limites dans les modèles d’IA sous-jacents qui les rendent différents des logiciels traditionnels, qui entrave sérieusement leur faisabilité en tant que projets logiciels open source traditionnels.Plus précisément, basiqueIALe modèle lui-même nécessite l’informatique et les ressources de données au-delà des capacités de toute personne.Le résultat est que, contrairement aux projets logiciels open source traditionnels qui reposent sur des personnes pour donner du temps (ce qui est déjà un problème difficile), l’IA open source exige également que les gens donnent des ressources sous forme de calcul et de données.Il s’agit du «problème de ressources» de l’IA open source.

Pour mieux comprendre les problèmes de ressources, jetons un coup d’œil au modèle Llama de Meta.Meta diffère de ses concurrents (Openai, Google, etc.) en ce qu’il ne cache pas le modèle derrière les API payants, mais fournit au lieu publiquement le poids de lama gratuitement pour quiconque peut utiliser (avec certaines restrictions).Ces poids représentent ce que le modèle apprend du processus de formation de la méta et est nécessaire pour exécuter le modèle.Avec des poids, n’importe qui peut affiner le modèle ou utiliser la sortie du modèle comme entrée dans le nouveau modèle.

Alors que Meta a annoncé le poids de LLAMA pour être loué, ce n’est pas un projet logiciel vraiment open source.Meta forme le modèle en privé en utilisant ses propres calculs, données et décisions et décide unilatéralement quand l’ouvrir au monde.Meta n’invite pas les chercheurs / développeurs indépendants à la communauté, car les membres de la communauté individuels ne peuvent pas se permettre les ressources de calcul ou de données nécessaires pour former ou recycler les modèles – dix mille GPU à haute mémoire, centres de données qui les abritent, une grande installation de base de refroidissement, et Des milliards de jetons de données de formation.Comme l’indique le rapport de l’indice de l’IA de l’Université de Stanford, «la hausse des coûts de formation a en fait exclu les universités (traditionnellement le centre de la recherche sur l’IA) de développer leurs propres modèles de base de pointe.» est de 100 millions de dollars, et il peut ne pas inclure les dépenses en capital; .Par conséquent, bien que les contributeurs communautaires de LLAMA puissent avoir la capacité technique de contribuer et d’idéter l’architecture de modèle de base, ils n’ont toujours pas les moyens de le faire.

En résumé, contrairement aux projets logiciels open source traditionnels, les projets logiciels open source ne nécessitent que des contributeurs pour contribuer du temps, tandis que les contributeurs à des projets d’IA open source sont nécessaires pour contribuer du temps et des coûts substantiels sous forme de calcul et de données.Il n’est pas réaliste de s’appuyer sur la bonne volonté et les services de bénévolat pour inspirer suffisamment de parties pour fournir ces ressources.Ils ont besoin d’une motivation supplémentaire.176B Paramètre Open Source LLM Le succès de Bloom peut être le meilleur contre-exemple de bonne volonté et de services de bénévolat pour le développement d’une IA open source, qui implique 1 000 chercheurs bénévoles de plus de 70 pays et de plus de 250 institutions.Bien que ce soit sans aucun doute une réalisation impressionnante (je le soutiens pleinement), il a fallu un an pour coordonner une formation et a reçu un financement de 3 millions d’euros des institutions de recherche françaises (et ces frais ne sont pas inclus dans l’utilisation des dépenses en capital de la Le supercalculateur forme le modèle, l’une des institutions françaises peut déjà l’utiliser).Le processus de coordination et de s’appuyer sur de nouvelles subventions pour itérer la floraison est trop lourd et bureaucratique pour rivaliser avec le rythme des grands laboratoires technologiques.Alors que Bloom est en fuite depuis plus de deux ans, je ne sais pas si ce groupe a fait des modèles de suivi.

Pour rendre la possible IA open source, nous devons inciter les fournisseurs de ressources à contribuer leur information et leurs données sans les dépenses des contributeurs open source.

Pourquoi la cryptographie peut-elle résoudre le problème des ressources de l’IA open source

La percée de Crypto est d’utiliser la propriété pour réaliser des projets logiciels open source avec des coûts de ressources élevés possibles.La crypto résout les problèmes de ressources inhérents à l’IA open source en incitant les fournisseurs de ressources spéculatifs avec un avantage potentiel à la hausse plutôt que d’obliger les contributeurs open source à fournir ces ressources à l’avance.

Pour prouver cela, regardez simplement le projet de crypto d’origine Bitcoin.Bitcoin est un projet logiciel open source;Mais le code lui-même n’est pas une arme secrète; le téléchargement et l’exécution du logiciel de nœud Bitcoin pour créer une blockchain qui n’existe que sur l’ordinateur local n’est pas très utile.Le logiciel n’est utile que si le nombre de blocs d’extraction de calcul est suffisant pour dépasser la puissance de calcul de tout contributeur unique.Ce n’est que de cette manière que le logiciel à valeur ajoutée peut être réalisé: maintenir un grand livre incontrôlé.Comme l’IA de la Fondation Open Source, Bitcoin représente également un projet logiciel open source qui nécessite des ressources au-delà des capacités de tout contributeur unique.Ils peuvent avoir besoin de ce calcul pour différentes raisons – BitCoin est de rendre le réseau inviolable, tandis que la fondation est d’itérer le modèle, mais plus largement, ils nécessitent tous des ressources au-delà des besoins de tout contributeur. Travaillez comme un projet logiciel open source viable.

Le Bitcoin, ou n’importe quel réseau cryptographique, est une astuce magique pour motiver les participants à fournir des ressources pour les projets logiciels open source pour fournir la propriété du réseau sous la forme de jetons.Comme Jesse l’a écrit dans son document fondateur pour Variant en 2020, les fournisseurs de ressources incitatifs de propriété contribuent des ressources aux projets en échange d’un espace à la hausse potentiel pour le réseau.Ceci est similaire à la façon d’utiliser les capitaux propres pour créer une entreprise naissante – en payant les premiers employés (tels que les fondateurs) principalement grâce à la propriété de l’entreprise, les startups peuvent surmonter les problèmes de démarrage en obtenant une main-d’œuvre qu’ils ne pourraient autrement pas se permettre.Crypto étend le concept d’équité de transpiration aux fournisseurs de ressources, pas seulement ceux qui consacrent leur temps.Par conséquent, Variant se concentre sur l’investissement dans des projets qui utilisent la propriété pour créer des effets de réseau, tels que UniSwap, Morpho et World.

Si nous voulons rendre possible l’IA open source, la réalisation de la propriété via la crypto est la solution aux problèmes de ressources auxquels il est confronté.Les chercheurs sont libres de contribuer leurs idées de conception de modèles aux projets open source, car les ressources nécessaires pour mettre en œuvre leurs idées seront fournies par les fournisseurs informatiques et de données en échange de leur propriété du projet, plutôt que de demander à ces chercheurs de payer un coût initial élevé.La propriété peut prendre de nombreuses formes différentes dans l’IA open source, mais ce qui est le plus excité, c’est la propriété du modèle lui-même, comme l’approche proposée par Pluralis.

Pluralis appelle cette approche un modèle de protocole, où les fournisseurs informatiques peuvent apporter des ressources informatiques pour former un modèle open source spécifique et obtenir la propriété des revenus d’inférence future pour ce modèle.Étant donné que la propriété appartient à un modèle spécifique et que la valeur de la propriété est basée sur les revenus d’inférence, les fournisseurs informatiques sont motivés à choisir le meilleur modèle plutôt que sur la formation de triche (car la fourniture de formation inutile réduit la valeur attendue des revenus inférieurs futurs).La question devient alors: comment appliquer la propriété sur Pluralis si vous avez besoin d’envoyer des poids au fournisseur de calcul pour la formation?La réponse est que le parallélisme du modèle est utilisé pour allouer des fragments de modèle entre les travailleurs, permettant l’exploitation d’une propriété clé du réseau neuronal: il peut contribuer à la formation de modèles plus grands tout en ne voyant qu’une petite partie du poids total, cela garantit que le complet L’ensemble de poids reste inextrait.Et en raison des nombreux modèles différents formés sur le pluralis, l’entraîneur aura de nombreux ensembles de poids différents, ce qui rend la recréation du modèle extrêmement difficile.Il s’agit du concept de base des modèles de protocole: ils sont formables, peuvent être utilisés, mais ne peuvent pas être extraits du protocole (plus de puissance de calcul n’est nécessaire pour former le modèle à partir de zéro).Cela répond à une préoccupation souvent soulevée par les critiques de l’IA open source qui ont fermé ses concurrents en matière d’IA prendront les résultats du travail des projets ouverts.

Pourquoi crypto + open source = meilleure AI

J’ai commencé ce post avec un problème de contrôle des grandes entreprises technologiques pour illustrer dans une perspective normative pourquoi l’IA fermée est mauvaise.Mais dans un monde où nos expériences en ligne sont fatalistes, je crains que cela n’ait aucun sens pour la plupart des lecteurs.Donc, à la fin, je veux donner deux raisons, cette IA open source propulsée par le chiffrement mènera en fait à une meilleure intelligence artificielle.

Premièrement, la combinaison de la crypto et de l’IA open source nous permettra d’atteindre le prochain modèle de base, car il coordonnera plus de ressources que l’IA fermée.Nos recherches actuelles montrent que davantage de ressources existent sous la forme de calculs et des données signifient de meilleurs modèles, c’est pourquoi les modèles sous-jacents deviennent souvent de plus en plus grands.Bitcoin nous montre quels logiciels open source plus le cryptage se déverrouille en termes de puissance de calcul.Il s’agit du réseau informatique le plus grand et le plus puissant du monde, des ordres de grandeur plus grands que le nuage de grandes entreprises technologiques.Le chiffrement transforme la concurrence isolée en concurrence coopérative.Les fournisseurs de ressources sont motivés à contribuer leurs ressources pour résoudre des problèmes collectifs plutôt que de la thésaurisation de leurs ressources pour résoudre le problème individuellement (et de manière redondante).L’IA open source à l’aide du cryptage sera en mesure de tirer parti de l’informatique collective et des données du monde pour créer des tailles de modèle qui sont bien au-delà du potentiel possible de l’IA fermée.Des entreprises comme Hyperbolic ont démontré la puissance de tirer parti des ressources informatiques collectives que n’importe qui peut louer des GPU sur ses marchés ouverts à un prix inférieur.

Deuxièmement, la combinaison de la crypto et de l’IA open source entraînera plus d’innovation.En effet, si nous pouvons surmonter le problème des ressources, nous pouvons revenir à la nature open source hautement itérative et innovante de la recherche sur l’apprentissage automatique.Avant le récent lancement de la LLM de base, les chercheurs de l’apprentissage automatique publient publiquement des plans pour leurs modèles et répliquent des modèles depuis des décennies.Ces modèles utilisent souvent des ensembles de données ouverts plus limités et ont des exigences de calcul gérables, ce qui signifie que n’importe qui peut les itérer.C’est grâce à cette itération que nous avons fait des progrès dans la modélisation de séquences, tels que RNN, LSTM et les mécanismes d’attention, ce qui permet de construire l’architecture du modèle «Transformateur» dont dépend le LLM sous-jacent sous-jacent.Mais tout cela a changé avec l’introduction de GPT-3 (qui a inversé la tendance de l’open source GPT-2) et le énorme succès de Chatgpt.En effet, OpenAI prouve que si vous investissez suffisamment de calcul et de données sur des modèles massifs, vous pouvez créer des LLM qui semblent comprendre le langage humain.Cela a créé des problèmes de ressources, ce qui rend impossible pour le monde universitaire d’offrir des prix élevés et a amené le laboratoire des grandes entreprises à arrêter de publier publiquement leurs architectures de modèle pour maintenir un avantage concurrentiel.L’état actuel de s’appuyer principalement sur les laboratoires individuels limitera notre capacité à percer les limites de la technologie de pointe.L’IA open source mise en œuvre par le cryptage signifiera que les chercheurs pourront à nouveau continuer ce processus itératif sur des modèles de pointe pour découvrir le «prochain transformateur».