jakiro
Source: style AI
Huit employés de Google se sont rencontrés par hasard et ont co-écrit le document de « convertisseur » révolutionnaire, une percée technologique qui a révolutionné le domaine de l’intelligence artificielle, en particulier dans la compréhension et la génération de textes humains.
Au printemps 2017, un article scientifique intitulé « L’attention est tout ce dont vous avez besoin ».L’auteur principal Noam Shazeer a trouvé de façon inattendue son nom au sommet lorsqu’il a vu le premier projet, ce qui semblait signifier que sa contribution était la plus importante.En réponse, il a déclaré: « Je n’ai pas pensé à ce problème délibérément. »
Dans le monde universitaire, comment organiser le nom de l’auteur a toujours été une question d’équilibre délicate – dont le nom est placé en premier et qui est placé dernier.Surtout dans ce genre de situation où tout le monde a une marque unique dans un vrai travail d’équipe.Dans le processus de compléter à la hâte le document, l’équipe de recherche a finalement décidé de enfreindre les règles et d’arrêter les contributeurs de classement.Ils ont ajouté un astérisque et une note de bas de page à côté de chaque nom: « contributeur égal » et ont déclaré que « l’ordre du classement est aléatoire ».Le journal a ensuite été présenté à une prestigieuse conférence sur l’IA, où elle a déclenché une révolution.
Nom: Noam Shazeer / Carrière: co-fondateur et PDG de Role AI
Maintenant, avec le septième anniversaire du document « d’attention », il a atteint le statut légendaire.Les auteurs de ce document l’ont porté à un nouveau niveau à partir d’une technologie d’intelligence artificielle florissante, de réseaux de neurones: ils ont créé un système numérique suffisamment puissant pour avoir une intelligence extraterrestre.Cette architecture, connue sous le nom de « Transformers », est devenue la force mystérieuse derrière tous les produits AI incroyables, y compris les générateurs de chatte et graphiques Dall-E et MidJourney.
Shazeer a plaisanté en disant que s’il avait su que le journal serait devenu si célèbre, il « était peut-être plus inquiet du tri de la liste des auteurs ».Aujourd’hui, les huit auteurs sont devenus des célébrités miniatures. »Quelqu’un m’a demandé un selfie parce que j’avais travaillé sur un journal une fois », a déclaré Llion Jones (arrêt cinquième).
Nom: Llion Jones / Occupation: co-fondateur de Sakana AI
« Sans transformateur, je ne pense pas que nous sommes ici aujourd’hui », a déclaré le scientifique de l’IA de renommée mondiale, Geoffrey Hinton, bien qu’il ne soit pas l’auteur du journal.Il fait référence à l’ère du changement dans lequel nous nous trouvons, où des entreprises telles que OpenAI construisent des systèmes qui dépassent même la production humaine à certains égards.
Les huit auteurs ont ensuite quitté Google.Maintenant, comme des millions de personnes, ils utilisent la technologie qu’ils ont créée en 2017 d’une manière ou d’une autre.J’ai interviewé ces huit auteurs « Transformer » pour essayer de reconstituer l’image complète de cette réalisation de percée – une collection d’intelligence humaine, créant une machine qui pourrait éventuellement mettre fin à l’autodestruction.
L’histoire du transformateur commence par le quatrième nom de la liste: Jakob Uszkoreit.Son père, Hans Uszkoreit, était un linguiste informatique bien connu.Hans a été emprisonné en Allemagne de l’Est pendant 15 mois à la fin des années 1960 pour avoir protesté contre l’invasion soviétique de la Tchécoslovaquie.Après avoir été libéré de prison, il s’est enfui en Allemagne de l’Ouest et a étudié l’ordinateur et la linguistique à Berlin.Plus tard, il est venu aux États-Unis et a travaillé à l’Institut SRI de Menlo Park, en Californie, lorsque Jakob est né.Finalement, la famille est retournée en Allemagne, où Jakob est allé à l’université.
Nom: Jakob Uszkoreit / Occupation: co-fondateur et PDG d’Ineceptive
Bien qu’il n’ait pas l’intention de se concentrer sur les langues, lorsqu’il a commencé ses études supérieures, il a effectué un stage au bureau de la montagne de Google et a rejoint l’équipe de traduction de l’entreprise.Il a abandonné son programme de doctorat et a décidé en 2012 de rejoindre une équipe de Google qui a travaillé sur le développement d’un système qui pourrait répondre directement aux questions des utilisateurs sur les pages de recherche sans rediriger les utilisateurs vers d’autres sites Web.À l’époque, Apple venait de publier Siri, un assistant virtuel qui a promis de fournir des réponses ponctuelles dans des conversations occasionnelles, et les dirigeants de Google pensaient que Siri pouvait menacer leur trafic de recherche.Ils ont commencé à se concentrer davantage sur la nouvelle équipe d’Uszkoreit.
« C’est une fausse panique », a déclaré Uszkoreit.Siri ne menace pas vraiment Google.Mais il accueille l’opportunité de se plonger dans les systèmes où les ordinateurs et les humains parlent.À cette époque, les réseaux de neurones récurrents – une fois au bord du monde universitaire – ont commencé à transcender d’autres méthodes d’ingénierie de l’IA.Ces réseaux sont composés de plusieurs couches dans lesquelles les informations sont transmises à plusieurs reprises pour identifier la meilleure réponse.
Les réseaux de neurones ont connu un grand succès dans des domaines tels que la reconnaissance d’image, et le mouvement de renaissance de l’IA a soudainement émergé.Google peaufine frénétiquement sa structure de main-d’œuvre pour adopter ces technologies.Les entreprises souhaitent créer des systèmes qui peuvent produire des réponses de type humain, telles que des phrases automatiquement complètes dans les e-mails, ou créer des chatbots de service client relativement simples.
Cependant, cette zone a atteint des limites.Les réseaux de neurones récurrents ont du mal à gérer des blocs de texte plus longs.Par exemple, pour comprendre les «deux coups sûrs» dans la phrase «Joe est un joueur de baseball, et après un bon petit déjeuner, il est allé au parc et a obtenu deux coups sûrs», le modèle de langue doit se souvenir des informations sur le baseball.En termes humains, il doit être attentif.
La solution à l’époque était une technologie appelée «mémoire à court terme» (LSTM), qui permettait aux modèles de langage de traiter des séquences de texte plus grandes et plus complexes.Mais l’ordinateur traite toujours ces séquences strictement dans l’ordre – mot par mot – et ignore des indices contextuels qui peuvent apparaître derrière le texte. »L’approche que nous appliquons est essentiellement une mesure de stopgap », a déclaré Uszkoreit. »Nous ne pouvons pas vraiment obtenir les bonnes choses pour fonctionner à l’échelle. »
Vers 2014, il a commencé à concevoir une approche différente, qu’il a appelée auto-attention.Ce réseau peut traduire un mot en citant toute autre partie du texte.Ces autres parties peuvent aider à clarifier l’intention d’un mot et aider le système à produire une bonne traduction. »Cela prend en considération tout et vous donne un moyen efficace de regarder beaucoup d’entrées en même temps, puis de retirer quelque chose de manière plutôt sélective », a-t-il déclaré.Bien que les scientifiques de l’IA prennent soin de ne pas confondre la métaphore des réseaux de neurones avec le fonctionnement du cerveau biologique, Uszkoreit semble croire que l’auto-focalisation est quelque peu similaire à la façon dont les humains traitent le langage.
Uszkoreit estime que les modèles d’auto-focalisation peuvent être plus rapides et plus efficaces que les réseaux de neurones récurrents.Il gère également les informations d’une manière bien adaptée aux puces de traitement parallèles produites en masse qui prennent en charge le boom d’apprentissage automatique.Au lieu d’adopter une approche linéaire (voir chaque mot dans l’ordre), il adopte une approche plus parallèle (en voyant plusieurs mots simultanément).Si cela est fait correctement, Uszkoreit doute que vous puissiez utiliser l’auto-focale spécifiquement pour de meilleurs résultats.
Tout le monde ne pense pas que l’idée changera le monde, y compris le père d’Uszkoreit, qui a remporté deux prix de recherche sur les professeurs Google pendant que son fils travaillait pour l’entreprise. »Les gens sont sceptiques à ce sujet car il abandonne toutes les architectures neuronales existantes », a déclaré Jakob Uszkoreit.Dites adieu aux réseaux de neurones récurrents?C’est une hérésie! »Nous n’étions pas exactement les mêmes dans la conversation entre mon père et moi à la table. »
Uszkoreit a convaincu certains collègues d’expérimenter avec l’attention de soi.Leur travail a montré une promesse et a publié un article à ce sujet en 2016.Uszkoreit espère pousser leurs recherches davantage – les expériences de l’équipe n’ont utilisé que de minuscules parties du texte – mais aucun de ses collaborateurs n’était intéressé.Au lieu de cela, ils ont laissé le casino avec une modeste victoire, appliquant les leçons qu’ils ont apprises à Google dans divers domaines, y compris la recherche et finalement de la publicité.À bien des égards, c’est un succès incroyable, mais Uszkoreit ne veut pas s’arrêter là.
Uszkoreit pense que l’auto-focalisation peut effectuer des tâches plus importantes.Il articulerait sa vision à quiconque écouterait, ou même à certains qui ne le feraient pas, et décrivent sa vision avec des tableaux blancs dans le bâtiment de Charleston Road 1945, le bord nord de Google Campus.
Un jour en 2016, Uszkoreit déjeunait avec un scientifique nommé Illia Polosukhin au Google Café.Né en Ukraine, Polosukhin a travaillé chez Google pendant près de trois ans.Il a été affecté à l’équipe qui répond aux questions directement soulevées dans le champ de recherche.Les choses ne se sont pas très bien passées. »Pour répondre à quelque chose sur Google.com, vous avez besoin de quelque chose de très bon marché et de performance haute », a déclaré Polosukhin. »Parce que vous n’avez que des millisecondes à répondre. » Lorsque Polosukhin a exprimé sa plainte, Uszkoreit a proposé une solution sans hésitation. »Il conseille, pourquoi ne pas utiliser l’auto-astroitement? »
Nom: Illia Polosukhin / Profession: co-fondateur de près
Polosukhin travaille parfois avec le collègue Ashish Vaswani.Né en Inde et a grandi au Moyen-Orient, Vaswani est allé à l’Université de Californie du Sud pour obtenir son doctorat de l’équipe d’élite de la traduction automatique.Il a ensuite déménagé à Mountain View pour rejoindre Google – en particulier une nouvelle organisation appelée Google Brain.Il a décrit le cerveau comme « une équipe radicale » et a cru que « les réseaux de neurones feront progresser la compréhension humaine ».Mais il cherche toujours un grand projet sur lequel travailler.Son équipe a travaillé à côté de la construction en 1945, en construisant 1965, et il a entendu parler de l’idée de l’adaptation de soi.Est-ce que ce sera un projet?Il a accepté de procéder.
Les trois chercheurs ont rédigé conjointement un document de conception intitulé « Transformateur: auto-focalisation itérative et manipulation de diverses tâches ».Ils ont choisi le nom « Transformer » du « premier jour », a déclaré Uszkoreit.L’idée est que ce mécanisme transformera les informations qu’il reçoit, permettant au système d’extraire autant de compréhension que possible – ou du moins donner l’impression.De plus, Uszkoreit a de merveilleux souvenirs de jouer avec les jouets de personnages d’action Hasbro dans l’enfance. »J’avais deux petits jouets Transformers quand j’étais enfant », a-t-il déclaré.Le fichier se termine par une image de dessin animé de six transformateurs émettant des lasers les uns aux autres sur un terrain montagneux.
Nom: Ashish Vaswani / profession: co-fondateur et PDG d’Esential AI
La phrase au début du journal est également un peu arrogante: « Nous sommes super. »
Début 2017, Polosukhin a quitté Google pour démarrer sa propre entreprise.D’ici là, de nouveaux collaborateurs se sont joints à.Un ingénieur indien du nom de Niki Parmar a travaillé pour une société de logiciels américains en Inde et a ensuite déménagé aux États-Unis.Elle a obtenu sa maîtrise de l’Université de Californie du Sud en 2015 et a été recrutée par toutes les grandes sociétés technologiques.Elle a choisi Google.Quand elle a commencé à travailler, elle a rejoint Uszkoreit et a travaillé sur l’amélioration des variantes du modèle de Google Search.
Un autre nouveau membre est Llion Jones.Il est né et a grandi au Pays de Galles et il aimait les ordinateurs « parce que ce n’était pas normal ».À l’Université de Birmingham, il a suivi un cours d’IA et a développé une curiosité concernant les réseaux de neurones comme introduction aux sites historiques.Il a obtenu sa maîtrise en juillet 2009 et a vécu des fonds de secours pendant plusieurs mois parce qu’il n’a pas pu trouver d’emploi pendant la récession.Il a trouvé un emploi dans une entreprise locale, puis a demandé Google comme une « décision désespérée ».Il a obtenu le poste et a finalement entré Google Research, où son manager était Polosukhin.
Un jour, Jones a entendu parler du concept d’attention de soi d’un collègue nommé Mat Kelcey et a ensuite rejoint l’équipe Transformer.(Plus tard, Jones a rencontré Kelcey et l’a informé du projet Transformer. Kelcey ne l’a pas acheté. « Je lui ai dit: » Je ne suis pas sûr que cela fonctionnerait « , ce qui était essentiellement la plus grande fausse prédiction de ma vie », a-t-il dit .
Nom: Niki Parmar / carrière: co-fondateur d’essentiel AI
Le travail du transformateur a attiré d’autres chercheurs de Google Brain qui essaient également d’améliorer les modèles de langues importants.La troisième vague comprend l’informatique théorique d’origine polonaise łukasz Kaiser et son stagiaire Aidan Gomez.Gomez a grandi dans un petit village de ferme en Ontario, au Canada, et sa famille a pilonné des érables chaque printemps pour le sirop d’érable.
En tant que junior à l’Université de Toronto, il est tombé amoureux de l’IA à première vue et a rejoint le laboratoire de Geoffrey Hinton, un groupe d’apprentissage automatique.Il a commencé à contacter des personnes qui avaient écrit des articles intéressants sur Google et ont proposé des idées pour étendre leur travail.Kaiser a pris l’appât et l’a invité à faire un stage.Ce n’est que quelques mois plus tard que Gomez a appris que ces stages étaient pour les doctorants, pas les étudiants de premier cycle comme lui.
Kaiser et Gomez ont rapidement réalisé que l’auto-focalisation semble être une solution prometteuse et plus radicale au problème qu’ils résolvent. »Nous avons consciemment discuté si nous voulions fusionner les deux projets », a déclaré Gomez.La réponse est oui.
L’équipe Transformer a commencé à construire un modèle d’auto-focale qui traduit le texte d’une langue à une autre.Ils mesurent ses performances en utilisant une référence appelée Bleu, qui compare la sortie de la machine au travail d’un traducteur humain.Dès le début, leur nouveau modèle a fait un excellent travail. »Nous sommes passés de ne pas avoir de preuve de concept à avoir quelque chose qui était au moins comparable à la meilleure alternative à LSTM à l’époque », a déclaré Uszkoreit.Mais par rapport à une mémoire à court et à court terme, « ce n’est pas mieux. »
Ils ont atteint une plate-forme – jusqu’à un jour en 2017, lorsque Noam Shazeer a trébuché sur son projet.Shazeer est un employé principal de Google qui a rejoint l’entreprise en 2000 et est une légende interne, à commencer par son travail sur le système publicitaire précoce de l’entreprise.Shazeer travaille dans l’apprentissage en profondeur depuis cinq ans et a récemment développé un intérêt pour les modèles de langue importants.Mais ces modèles sont loin de produire la conversation en douceur qu’il pensait être.
Selon Shazeer’s Recollection, il marchait dans la zone de travail de Kaiser dans le couloir de la construction en 1965.Il s’est retrouvé à écouter une discussion animée. »Je me souviens qu’Ashish parlait de l’idée d’utiliser l’auto-focale, et Niki était tellement excité à ce sujet. Je pensais, wow, cela semblait être une bonne idée. Cela ressemblait à une équipe amusante et intelligente faisant quelque chose de prometteur. » Shazeer a trouvé les réseaux de neurones récurrents existants « ennuyeux » et pensé: « Remplacement-les! »
Shazeer rejoint l’équipe est la clé. »Ces théories ou mécanismes intuitifs, tels que l’auto-focale, nécessitent toujours une mise en œuvre très minutieuse, souvent avec une poignée de« magies »expérimentées pour montrer tout signe de vie», a déclaré Uszkoreit.Shazeer a immédiatement commencé à lancer sa magie.Il a décidé d’écrire sa propre version du code pour l’équipe Transformer.«J’ai pris l’idée de base et je l’ai fait moi-même», a-t-il déclaré.
Parfois, il posait des questions à Kaiser, mais la plupart du temps, a-t-il dit, il «l’a fait pendant un certain temps et est revenu et a dit:« Regardez, cela a fonctionné ». »Et ce que les mots« cloche et sifflet »décrivent, il a porté le système à un nouveau niveau.
« Cela a déclenché un sprint », a déclaré Gomez.Ils ont de la motivation, et ils veulent rattraper la date limite à venir – peut-être 19, un article publié à la conférence des systèmes de traitement des neurones, le plus grand événement de l’IA de l’année, qui s’est tenu en décembre.Alors que l’hiver dans la Silicon Valley se transforme en printemps, le rythme des expériences s’est accéléré.Ils ont testé deux modèles Transformer: l’un produit avec une formation 12 heures et l’autre est une version plus puissante appelée Big, qui a été formée après trois jours et demi.Ils leur ont demandé de commencer à traduire l’anglais en allemand.
Le modèle de base dépasse tous les concurrents – et Big obtient un score BLEU, battant de manière décisive les enregistrements précédents tout en étant plus efficaces sur le calcul. »Nous l’avons fait, plus vite que quiconque », a déclaré Parmar. »Et ce n’est que le début, parce que les chiffres continuent de monter. » Lorsque Uszkoreit a entendu la nouvelle, il a sorti une vieille bouteille de champagne qu’il avait dans son camion d’aventure en montagne pour célébrer.
Le rythme de travail de l’équipe est devenu fou au cours des deux dernières semaines avant la date limite.Bien que certains membres de l’équipe aient toujours des bureaux dans la construction de 1945, ils travaillent principalement dans la construction de 1965 car il y a une meilleure machine à expresso dans la cuisine miniature là-bas.«Les gens dorment à peine», se souvient Gomez, qui était en train de déboguer en tant que stagiaire tout en travaillant sur des visualisations et en cartographiant les papiers.Dans de tels projets, des expériences d’ablation sont généralement effectuées – certaines pièces sont supprimées pour vérifier que les pièces restantes sont suffisantes pour terminer la tâche.
« Nous avons essayé toutes les combinaisons possibles de techniques et de modules – qui sont utiles et qui sont inutiles. Nous avons continué à essayer et à remplacer », a déclaré Gomez. »Pourquoi le modèle fonctionne-t-il de cette manière contre-intuitive? Oh, parce que nous avons oublié de faire l’occlusion correctement. Maintenant, ça marche? Ok, passons à la suivante. Tous ces composants de ce que nous appelons maintenant le transformateur, ils sont tous Les produits de ce processus d’essai et d’erreur itératif à grande vitesse. »Noam est un sorcier. »
Vaswani se souvient d’avoir passé la nuit sur le canapé de bureau une fois, tandis que l’équipe écrivait le journal.Il regarda les rideaux qui séparaient le canapé du reste de la pièce, attiré par le motif ci-dessus, qui ressemblait à des synapses et aux neurones.Gomez était également présent à l’époque, et Vaswani lui a dit que le travail qu’ils faisaient irait au-delà de la traduction automatique. »En fin de compte, comme le cerveau humain, vous devez unifier toutes ces modalités – voice, audio, vision – dans une seule architecture », a-t-il déclaré.«J’ai le fort sentiment que nous découvrions quelque chose de plus courant.»
Cependant, dans le premier leadership de Google, le travail est considéré comme un autre projet d’IA intéressant.On a demandé aux auteurs si leurs patrons les ont souvent appelés pour mettre à jour les progrès du projet, et il n’y avait pas beaucoup de réponses.Mais « nous savons que c’est probablement une chose assez importante », a déclaré Uszkoreit.«Cela nous amène à être fascinés par une phrase à la fin du journal.»
Cette phrase préfigure ce qui pourrait arriver ensuite – le modèle de transformateur s’applique à essentiellement toutes les formes d’expression humaine. »Nous sommes ravis de l’avenir des modèles basés sur l’attention », ont-ils écrit.«Nous prévoyons d’étendre le transformateur à des problèmes impliquant des modalités d’entrée et de sortie autres que le texte» et de regarder «l’image, l’audio et la vidéo».
Une nuit quelques jours avant la date limite, Uszkoreit s’est rendu compte qu’ils avaient besoin d’un titre.Jones a noté que l’équipe avait fait un rejet fondamental d’une technologie: l’attention.Les Beatles ont autrefois nommé une chanson « All You Need Is Love ».Pourquoi ne pas nommer le papier « L’attention est-ce que vous avez besoin »?
« Je suis britannique », a déclaré Jones. »Il n’a vraiment fallu que cinq secondes pour réfléchir. Je ne m’attendais pas à ce qu’ils l’utilisent. »
Ils ont continué à collecter des résultats expérimentaux jusqu’à la date limite. »Les numéros anglaises sont sortis cinq minutes avant de soumettre le papier. » Le papier a été écrit.
Comme presque toutes les autres sociétés technologiques, Google a rapidement demandé un brevet temporaire pour le travail.La raison n’est pas d’empêcher les autres d’utiliser ces idées, mais de construire leur portefeuille de brevets à des fins défensives.(La philosophie de l’entreprise est « si la technologie progresse, Google en bénéficiera. »)
Lorsque l’équipe du convertisseur entend les commentaires des pairs examinateurs de la réunion, les réactions sont mitigées. »L’un est positif, l’un est extrêmement positif, et l’autre est: » C’est OK « », a déclaré Parmar.Le journal a été accepté pour l’affichage lors de la séance d’affiches la nuit.
En décembre, le journal a commencé à provoquer une sensation.Leur réunion de quatre heures le 6 décembre était remplie de scientifiques qui voulaient en savoir plus.Les auteurs étaient rauques lorsqu’ils ont parlé de leur voix.À 22h30, à la fin de la réunion, il y avait encore un groupe de personnes. »Le gardien de sécurité a dû nous dire de partir », a déclaré Uszkoreit.Le moment le plus satisfaisant pour lui a probablement été l’informaticien SEPP Hochreiter s’est avancé pour louer l’œuvre – un compliment considérable étant donné que Hochreiter était le co-inventeur de la mémoire longue et à court terme, et le transformateur vient de le remplacer comme l’outil préféré Dans la boîte à outils AI.
Le convertisseur n’a pas repris le monde immédiatement, ni même Google.Kaiser se souvient qu’avant et après la publication du document, Shazeer a proposé aux dirigeants de Google que les entreprises devraient abandonner l’indice de recherche entier et former un énorme réseau avec un transformateur – en utilisant essentiellement Transformers pour modifier la façon dont Google organise les informations.À cette époque, même Kaiser pensait que l’idée était ridicule.Maintenant, la sagesse traditionnelle pense que ce n’est qu’une question de temps.
Une startup appelée Openai a saisi l’occasion plus rapidement.Peu de temps après la publication du document, le chercheur principal d’Openai, Ilya Sutskever – qui connaissait l’équipe de Transformer à l’époque de Google – a suggéré que son scientifique Alex Radford étudie l’idée.Le résultat est le premier lot de produits GPT.Comme le PDG d’Openai, Sam Altman, m’a dit l’année dernière, « Lorsque le papier du transformateur est sorti, je ne pense pas que quiconque de Google ait réalisé ce que cela signifie. »
La situation interne est plus compliquée. »Nous savons très bien que les Transformers peuvent faire quelque chose de vraiment magique », a déclaré Uszkoreit. »Maintenant, vous pourriez demander pourquoi Google n’a pas lancé Chatgpt en 2018? En fait, nous aurions pu avoir GPT-3 ou même 3.5 en 2020. Le vrai problème n’est-ce pas, l’ont-ils vu? La question est, pourquoi Nous ne faisons rien avec les faits que nous avons vus? «
De nombreux critiques technologiques soulignent la transition de Google d’un terrain de jeu centré sur l’innovation à une bureaucratie centrée sur le bas.Comme Gomez l’a dit au Financial Times, « ils ne modernisent pas. Ils n’adoptent pas cette technologie », mais cela prend beaucoup de courage pour une entreprise géante qui dirige l’industrie depuis des décennies et a réalisé d’énormes bénéfices.Google commence à intégrer les convertisseurs en produits en 2018, d’abord avec ses outils de traduction.La même année, il a introduit un nouveau modèle de langue basé sur un transformateur, Bert, et a commencé à être appliqué pour rechercher l’année suivante.
Nom: Aidan Gomez / Occupation: co-fondateur et PDG de Cohere
Mais ces changements en coulisses semblent timides par rapport au LEAP d’Openai et l’intégration audacieuse des systèmes basés sur les convertisseurs par Microsoft en sa gamme de produits.Lorsque j’ai demandé au PDG Sundar Pichai pourquoi son entreprise n’avait pas lancé un modèle de langue large comme l’a fait Chatgpt l’année dernière, il pensait que dans ce cas, Google avait trouvé bénéfique de laisser les autres diriger. »Je ne sais pas trop si cela sera aussi réussi que cela. La vérité est qu’après que les gens ont vu comment cela fonctionne, nous pouvons faire plus », a-t-il déclaré.
Il est indéniable que les huit auteurs de l’article aient quitté Google.La société de Polosukhin près a construit une blockchain avec une capitalisation boursière d’environ 4 milliards de dollars.Parmar et Vaswani sont devenus des partenaires commerciaux en 2021, co-fondant Adept (d’une valeur de 1 milliard de dollars) et exploitent désormais leur deuxième entreprise appelée IA Essential (ont reçu 8 millions de dollars d’investissement).
Sakana AI dans Llion Jones, basée à Tokyo, est évaluée à 200 millions de dollars.Après que Shazeer est parti en octobre 2021, il a cofondé le caractère AI (d’une valeur de 5 milliards de dollars).Le stagiaire Aidan Gomez a cofondé Cohere, basé à Toronto (d’une valeur de 2,2 milliards de dollars) en 2019.La société biotechnologique de Jakob Uszkoreit, Ineceptive, est évaluée à 300 millions de dollars.Toutes ces sociétés (sauf proches) sont basées sur la technologie des convertisseurs.
Nom: Lukasz Kaiser / Occupation: Openai Fellow
Kaiser est le seul à n’avoir pas lancé de compagnie.Il a rejoint Openai et est devenu l’inventeur d’une nouvelle technologie appelée Q *, qui, selon Altman, « poussait le voile de l’ignorance et pousse la frontière de la découverte en avant ». Au cours de l’entretien, le personnel des relations publiques d’Openai a presque sauté par-dessus la table pour l’arrêter.)
Google manque-t-il ces déserteurs?Bien sûr, à l’exception des autres qui passent de l’entreprise à la nouvelle startup AI.(Pichai m’a rappelé que lorsque je lui ai posé des questions sur le départ du traducteur, l’industrie Darling Openai a également vu la défection: « Le champ d’IA est très, très dynamique », a-t-il dit.) Mais ce que Google peut se vanter, c’est qu’il crée un support A environnement qui poursuit des idées non traditionnelles. »À bien des égards, Google a été en avance – ils investissent dans le bon sens et créent un environnement où nous pouvons explorer et repousser les limites », a déclaré Parmar. »Il a fallu du temps pour être adopté. Google a plus de participations. »
S’il n’y a pas d’environnement: il n’y a pas de convertisseur.Non seulement les auteurs sont tous les employés de Google, mais ils travaillent dans le même bureau.Rencontres Rencontres dans le couloir et discuter au déjeuner a conduit à des moments majeurs.L’équipe est également culturellement diversifiée.Six des huit auteurs sont nés en dehors des États-Unis;
Uszkoreit de son bureau à Berlin a déclaré que l’innovation concernait les bonnes conditions. »Cela fait que des gens qui sont très enthousiasmés par quelque chose ensemble au bon moment de leur vie », a-t-il déclaré. »Si vous avez cela et que vous vous amusez à faire des choses, vous avez affaire aux bons problèmes – et vous avez de la chance – la magie arrive. »
Quelque chose de magie s’est produit entre Uszkoreit et son célèbre père.Après tous ces débats de table, Hans Uszkoreit, son fils a rapporté qu’il avait maintenant cofondé une entreprise qui construit un modèle de langue large.Bien sûr, le convertisseur est utilisé.
