jakiro
Quelle: KI -Stil
Acht Google-Mitarbeiter trafen sich zufällig und schrieben das bahnbrechende „Konverter“ -Papier, ein technologischer Durchbruch, der das Gebiet der künstlichen Intelligenz revolutionierte, insbesondere beim Verständnis und Generieren von menschlichen Texten.
Im Frühjahr 2017 wurde ein wissenschaftliches Papier mit dem Titel „Aufmerksamkeit ist alles, was Sie brauchen“ geboren.Senior -Autor Noam SHAZEERER fand seinen Namen unerwartet an der Spitze, als er den ersten Entwurf sah, was zu bedeuten schien, dass sein Beitrag der wichtigste war.Als Antwort sagte er: „Ich habe nicht absichtlich über dieses Problem nachgedacht.“
In der Akademie war die Anordnung des Namens des Autors schon immer eine heikle Balance -Frage – deren Name zuerst angegeben ist und wer zuletzt platziert ist.Besonders in dieser Art von Situation, in der jeder eine einzigartige Marke in einer echten Teamarbeit hat.Während des Abschlusses des Papiers beschloss das Forschungsteam schließlich, die Regeln zu verstoßen und die Rangleitenden zu beenden.Sie fügten neben jedem Namen eine Sternchen und Fußnote hinzu: „Gleicher Mitwirkender“ und erklärten, dass „die Reihenfolge des Rankings zufällig ist“.Das Papier wurde dann einer prestigeträchtigen KI -Konferenz präsentiert, auf der sie eine Revolution auslöste.
Name: Noam Sholeer / Karriere: Mitbegründer und CEO von Rollen AI
Jetzt, mit dem siebten Jahrestag des „Aufmerksamkeits“ -Papiers, hat es den legendären Status erreicht.Die Autoren dieses Papiers brachten es auf ein neues Niveau aus einer florierenden künstlichen Intelligenztechnologie, neuronalen Netzwerken: Sie schufen ein digitales System, das leistungsstark genug war, um außerirdische Intelligenz zu haben.Diese Architektur, bekannt als „Transformers“, ist zur mysteriösen Kraft hinter allen erstaunlichen KI-Produkten geworden, einschließlich Chatgpt- und Grafikgeneratoren Dall-E und Midjourney.
SHAZEER scherzte, dass er „möglicherweise mehr besorgt über die Sortierung der Autorenliste gewusst hätte, wenn er gewusst hätte, dass die Zeitung so berühmt geworden wäre.“Heute sind alle acht Autoren zu Miniatur -Prominenten geworden.“Jemand hat mich um ein Selfie gefragt, weil ich einmal auf einer Zeitung gearbeitet hatte“, sagte Llion Jones (Stop Fifth).
Name: Llion Jones/Beruf: Mitbegründer von Sakana AI
„Ohne einen Transformator glaube ich nicht, dass wir heute hier sind“, sagte Geoffrey Hinton, weltbekannter KI-Wissenschaftler Geoffrey Hinton, obwohl er nicht der Autor der Zeitung ist.Er bezieht sich auf die Ära der Veränderung, in der wir uns befinden, in der die Systemunternehmen wie OpenAI aufbauen, die die menschliche Produktion in gewisser Weise sogar übertroffen haben.
Alle acht Autoren verließen später Google.Jetzt, wie Millionen von Menschen, verwenden sie die Technologie, die sie 2017 in irgendeiner Weise geschaffen haben.Ich habe diese acht „Transformer“ -Arautoren interviewt, um zu versuchen, das vollständige Bild dieser Durchbruch Leistung zusammenzusetzen – eine Sammlung menschlicher Intelligenz und eine Maschine, die möglicherweise die Selbstzerstörung beendet.
Die Geschichte des Transformators beginnt mit dem vierten Namen auf der Liste: Jakob Uszkoreit.Sein Vater, Hans Uszkoreit, war ein bekannter Computer-Linguist.Hans war in den späten 1960er Jahren in Ostdeutschland 15 Monate lang wegen Proteste gegen die sowjetische Invasion in der Tschechoslowakei inhaftiert.Nachdem er aus dem Gefängnis entlassen worden war, floh er nach Westdeutschland und studierte Computer und Linguistik in Berlin.Später kam er in die USA und arbeitete am SRI -Institut in Menlo Park, Kalifornien, als Jakob geboren wurde.Schließlich kehrte die Familie nach Deutschland zurück, wo Jakob aufs College ging.
Name: Jakob Uszkoreit / Beruf: Mitbegründer und CEO von Inceptive
Obwohl er nicht die Absicht hatte, sich auf Sprachen zu konzentrieren, als er sein Graduiertenstudium begann, war er im Google -Büro von Mountain View interniert und trat dem Übersetzungsteam des Unternehmens bei.Er gab sein Doktorandenprogramm auf und entschied sich 2012, sich einem Team aus Google anzuschließen, das an der Entwicklung eines Systems arbeitete, das Benutzer Fragen auf Suchseiten direkt beantworten konnte, ohne Benutzer auf andere Websites umzuleiten.Zu dieser Zeit hatte Apple gerade Siri veröffentlicht, einen virtuellen Assistenten, der versprach, einmalige Antworten in ungezwungenen Gesprächen zu liefern, und Google-Führungskräfte glaubten, Siri könne ihren Suchverkehr bedrohen.Sie konzentrierten sich mehr auf das neue Team von Uszkoreit.
„Es ist eine falsche Panik“, sagte Uszkoreit.Siri bedroht Google nicht wirklich.Aber er begrüßt die Gelegenheit, sich mit Systemen zu befassen, in denen Computer und Menschen sprechen.Zu dieser Zeit begannen wiederkehrende neuronale Netze – gleich am Rande der Wissenschaft -, andere KI -Ingenieurmethoden zu überwinden.Diese Netzwerke bestehen aus mehreren Schichten, in denen Informationen wiederholt übergeben werden, um die beste Antwort zu ermitteln.
Neuronale Netze haben in Bereichen wie Bilderkennung großer Erfolg erzielt, und die KI -Wiederbelebungsbewegung entstand plötzlich.Google ist verzweifelt seine Belegschaftsstruktur an die Einführung dieser Technologien optimiert.Unternehmen möchten Systeme erstellen, die menschliche Antworten produzieren können-wie bei automatischen Vervollständigung von Sätzen in E-Mails oder relativ einfache Kundendienst-Chatbots.
Dieser Bereich hat jedoch Einschränkungen gestoßen.Wiederkehrende neuronale Netze haben Schwierigkeiten, längere Textblöcke zu behandeln.Um beispielsweise die „zwei Hits“ im Satz „Joe ist ein Baseballspieler zu verstehen, und nach einem guten Frühstück in den Park ging und zwei Treffer erhielt“, muss sich das Sprachmodell an Informationen über Baseball erinnern.In menschlicher Hinsicht muss es aufmerksam gehalten werden.
Die zu dieser Zeit Lösung war eine Technologie namens „langes Kurzzeitgedächtnis“ (LSTM), die es Sprachmodellen ermöglichte, größere und komplexere Textsequenzen zu verarbeiten.Der Computer verarbeitet diese Sequenzen jedoch streng in der Reihenfolge – Wort nach Wort – und ignoriert kontextbezogene Hinweise, die hinter dem Text erscheinen können.“Der Ansatz, den wir anwenden, ist im Grunde eine Stopgap -Maßnahme“, sagte USZKoreit.“Wir können nicht wirklich das richtige Sachen bekommen, um im Maßstab zu arbeiten.“
Um 2014 begann er, einen anderen Ansatz zu konzipieren, den er Selbstbeziehung nannte.Dieses Netzwerk kann ein Wort übersetzen, indem sie einen anderen Teil des Textes zitiert.Diese anderen Teile können dazu beitragen, die Absicht eines Wortes zu klären und dem System eine gute Übersetzung zu erstellen.“Es berücksichtigt tatsächlich alles und gibt Ihnen eine effektive Möglichkeit, viele Eingaben gleichzeitig zu betrachten und dann etwas auf eine ziemlich selektive Weise herauszunehmen“, sagte er.Obwohl KI-Wissenschaftler darauf achten, die Metapher von neuronalen Netzwerken nicht mit der Art und Weise zu verwechseln, wie biologische Gehirne tatsächlich funktionieren, scheint Uszkoreit zu glauben, dass Selbstfokussion etwas ähnlich ist, wie Menschen Sprache verarbeiten.
Uszkoreit ist der Ansicht, dass selbstfokussierende Modelle schneller und effizienter sein können als wiederkehrende neuronale Netze.Es behandelt auch Informationen auf eine Weise, die gut für massenproduzierte Parallelverarbeitungschips geeignet ist, die den Boom des maschinellen Lernens unterstützen.Anstatt einen linearen Ansatz zu verfolgen (das jedes Wort in der Reihenfolge sieht), wird ein parallele Ansatz angewendet (das gleichzeitig mehrere Wörter sieht).Wenn USZKoreit richtig gemacht wird, bezweifelt Sie, dass Sie Self-Focus speziell für bessere Ergebnisse verwenden können.
Nicht jeder glaubt, dass die Idee die Welt verändern wird, einschließlich der Vater von Uszkoreit, der zwei Google Fakulty Research Awards gewann, während sein Sohn für das Unternehmen arbeitete.“Die Menschen sind skeptisch darüber, weil es alle bestehenden neuronalen Architekturen aufgibt“, sagte Jakob Uszkoreit.Verabschieden Sie sich von wiederkehrenden neuronalen Netzwerken?Das ist Häresie!“Wir waren im Gespräch zwischen meinem Vater und mir am Tisch nicht gleich.“
Uszkoreit überzeugte einige Kollegen, mit Selbstbeziehung zu experimentieren.Ihre Arbeiten zeigten vielversprechend und veröffentlichten 2016 ein Papier darüber.Uszkoreit hofft, ihre Forschung weiterzuentwickeln – die Experimente des Teams verwendeten nur winzige Teile des Textes -, aber keiner seiner Mitarbeiter war interessiert.Stattdessen verließen sie das Casino mit einem bescheidenen Sieg und wandten die Lektionen an, die sie in verschiedenen Bereichen gelernt haben, einschließlich der Suche und letztendlich Werbung.In vielerlei Hinsicht ist dies ein erstaunlicher Erfolg, aber Uszkoreit will dort nicht aufhören.
Uszkoreit glaubt, dass Selbstfokussierung größere Aufgaben übernehmen kann.Er würde seine Vision jedem, der zuhören würde, oder sogar einem, der dies nicht zuhören würde, artikulieren und seine Vision mit Whiteboards im Gebäude von 1945 Charleston Road, dem Nordvorteil des Google Campus, umrunden.
Eines Tages im Jahr 2016 aß USZKoreit mit einem Wissenschaftler namens Illia Polosukhin im Google Café zu Mittag.Polosukhin wurde in der Ukraine geboren und arbeitete fast drei Jahre bei Google.Er wurde dem Team zugewiesen, das Fragen beantwortet, die direkt im Suchfeld gestellt wurden.Die Dinge lief nicht sehr reibungslos.“Um auf Google.com etwas zu beantworten, brauchen Sie etwas sehr billiges und hohe Leistungsfähigkeit“, sagte Polosukhin.“Weil Sie nur Millisekunden haben, um zu antworten.““Er rät, warum nicht Selbstbekämpfung?“, Sagte Polosukhin.
Name: Illia Polosukhin/Beruf: Mitbegründer von in der Nähe
Polosukhin arbeitet manchmal mit Kollege Ashish Vaswani zusammen.Vaswani wurde in Indien geboren und wuchs im Nahen Osten auf. Er ging an die University of Southern California, um sich vor dem Elite -Team der maschinellen Übersetzung zu promovieren.Später zog er nach Mountain View, um Google beizutreten – insbesondere einer neuen Organisation namens Google Brain.Er beschrieb das Gehirn als „ein radikales Team“ und glaubte, dass „neuronale Netze das menschliche Verständnis vorantreiben“.Aber er sucht immer noch nach einem großen Projekt, an dem er arbeiten kann.Sein Team arbeitete neben dem Bau von 1945 und baute 1965 von der Idee der Selbstbekämpfung.Wird das ein Projekt sein?Er stimmte zu, fortzufahren.
Die drei Forscher haben gemeinsam ein Entwurfsdokument namens „Transformator: Iterative Selbstfokussierung und Umgang mit verschiedenen Aufgaben“ entworfen.Sie wählten den Namen „Transformator“ von „Day One“, sagte USZKoreit.Die Idee ist, dass dieser Mechanismus die von ihm empfangenen Informationen verändert und dem System es ermöglicht, so viel Verständnis wie möglich zu extrahieren – oder zumindest den Eindruck erwecken.Darüber hinaus hat Uszkoreit wundervolle Erinnerungen daran, mit Hasbro -Action -Charakteren in der Kindheit Spielzeug zu spielen.“Ich hatte zwei kleine Transformers -Spielzeuge, als ich ein Kind war“, sagte er.Die Datei endet mit einem Cartoon -Bild von sechs Transformatoren, die Laser in Berggelände miteinander aussagen.
Name: Ashish Vaswani/Beruf: Mitbegründer und CEO von Esal AI
Der Satz am Anfang des Papiers ist auch ein bisschen arrogant: „Wir sind großartig.“
Anfang 2017 verließ Polosukhin Google, um ein eigenes Unternehmen zu gründen.Bis dahin nahmen neue Mitarbeiter mit.Ein indischer Ingenieur namens Niki Parmar arbeitete für ein amerikanisches Softwareunternehmen in Indien und zog später in die USA.Sie erhielt 2015 ihren Master -Abschluss an der University of Southern California und wurde von allen großen Technologieunternehmen rekrutiert.Sie entschied sich für Google.Als sie anfing zu arbeiten, kam sie zu Uszkoreit und arbeitete an der Verbesserung der Modellvarianten der Google -Suche.
Ein weiteres neues Mitglied ist Llion Jones.Er wurde in Wales geboren und aufgewachsen und mochte Computer „weil es nicht normal war“.An der Universität von Birmingham belegte er einen KI -Kurs und entwickelte neugierig auf neuronale Netzwerke als Einführung in historische Stätten.Er erhielt seinen Master -Abschluss im Juli 2009 und lebte mehrere Monate in Hilfsmitteln, weil er während der Rezession keinen Job finden konnte.Er fand einen Job bei einem lokalen Unternehmen und beantragte dann Google als „verzweifelter Schritt“.Er bekam den Job und trat schließlich in Google Research ein, wo sein Manager Polosukhin war.
Eines Tages hörte Jones von einem Kollegen namens Mat Kelcey von dem Konzept der Selbstbekämpfung und trat später dem Transformer-Team bei.(Später traf Jones Kelcey und informierte ihn über das Transformator -Projekt. Kelcey kaufte es nicht. „Ich sagte ihm:“ Ich bin mir nicht sicher, ob das funktionieren würde „, was im Grunde die größte Fehlverpauung meines Lebens war“, sagte er, er sagte, er sagte „, sagte er“, sagte er „, sagte er“, sagte er „, sagte er“ Kelcey jetzt.
Name: Niki Parmar / Karriere: Mitbegründer von Essential AI
Die Arbeit des Transformators zog andere Google Brain -Forscher an, die auch versuchen, große Sprachmodelle zu verbessern.Die dritte Welle umfasst den polnisch geborenen theoretischen Informatiker łukasz Kaiser und seinen Praktikum Aidan Gomez.Gomez wuchs in einem kleinen Bauerndorf in Ontario, Kanada, auf, und seine Familie schlug jeden Frühling auf Ahornsirup Ahornbäume.
Als Junior an der Universität von Toronto verliebte er sich auf den ersten Blick in die KI und trat dem Labor von Geoffrey Hinton, einer maschinellen Lerngruppe, bei.Er kontaktierte Leute, die bei Google interessante Papiere geschrieben hatten, und entwickelte Ideen für die Erweiterung ihrer Arbeit.Kaiser nahm den Köder und lud ihn ein, ein Praktikum zu machen.Erst einige Monate später erfuhr Gomez, dass diese Praktika für Doktoranden und nicht für Studenten wie ihn waren.
Kaiser und Gomez erkannten schnell, dass die Selbstfokussierung eine vielversprechende und radikalere Lösung für das Problem, das sie lösen, zu sein scheint.“Wir haben bewusst besprochen, ob wir die beiden Projekte zusammenführen wollten“, sagte Gomez.Die Antwort lautet ja.
Das Transformator-Team begann mit dem Aufbau eines Selbstfokusmodells, das Text von einer Sprache in eine andere übersetzt.Sie messen seine Leistung anhand eines Benchmarks namens Bleu, der die Ausgabe der Maschine mit der Arbeit eines menschlichen Übersetzers vergleicht.Ihr neues Modell hat von Anfang an großartige Arbeit geleistet.“Wir haben von keinem Beweis für das Konzept zu etwas gewechselt, das zumindest mit der besten Alternative zu LSTM zu dieser Zeit vergleichbar war“, sagte USZKoreit.Aber im Vergleich zum Long- und Kurzzeitgedächtnis ist es „nicht besser“.
Sie erreichten eine Plattform-bis ein Tag im Jahr 2017, als Noam Sholeer auf ihr Projekt stolperte.SHAZEER ist ein leitender Google -Mitarbeiter, der im Jahr 2000 in das Unternehmen eintrat und eine interne Legende ist, beginnend mit seiner Arbeit am frühen Werbesystem des Unternehmens.SHAZEER arbeitet seit fünf Jahren im Deep Learning und hat kürzlich ein Interesse an großartigen Modellen entwickelt.Diese Modelle sind jedoch weit davon entfernt, das reibungslose Gespräch zu führen, von dem er dachte, er könnte sein.
Nach der Erinnerung von SHAZEER ging er im Korridor of Building 1965 durch Kaisers Arbeitsbereich.Er hörte auf eine hitzige Diskussion.“Ich erinnere mich, dass Ashish über die Idee gesprochen hat, Selbstfokus zu verwenden, und Niki war so aufgeregt darüber. Ich dachte, wow, das klang nach einer guten Idee. Es sah nach einem lustigen, klugen Team aus, das etwas vielversprechendes tat.“ SHAZEER fand die vorhandenen wiederkehrenden neuronalen Netzwerke „nervig“ und dachte: „Lass sie sie ersetzen!“
SHAZEERS BESCHLEIBEN DES TEAMS IST SCHLAG.“Diese Theorien oder intuitiven Mechanismen wie Selbstfokus erfordern immer eine sehr sorgfältige Umsetzung, oft mit einer Handvoll erfahrener“ Magie „, um Lebenszeichen zu zeigen“, sagte USZKoreit.SHAZEER fing sofort an, seine Magie zu werfen.Er beschloss, seine eigene Version des Codes für das Transformator -Team zu schreiben.“Ich habe die Grundidee genommen und es selbst gemacht“, sagte er.
Gelegentlich stellte er Kaiser Fragen, aber die meiste Zeit, sagte er, „habe er es einfach für eine Weile gemacht und dann zurückgekommen und sagte:“ Schau, es hat funktioniert „. Mit Teammitgliedern später mit„ Magie “,„ Alchemie , „Und was die Worte“ Bell and Whistle „beschreiben, er brachte das System auf ein neues Niveau.
„Das löste einen Sprint aus“, sagte Gomez.Sie haben Motivation und möchten die bevorstehende Frist einholen – ein Papier, das auf der Konferenz für Neural Information Processing Systems, der größten KI -Veranstaltung des Jahres, im Dezember veröffentlicht wurde.Da der Winter im Silicon Valley in den Frühling wird, hat sich das Experimententempo beschleunigt.Sie haben zwei Transformatormodelle getestet: eines mit 12-Stunden-Trainings und die andere ist eine leistungsstärkere Version namens Big, die nach dreieinhalb Tagen trainiert wurde.Sie baten sie, Englisch auf Deutsch zu übersetzen.
Das Basismodell übertrifft alle Konkurrenten – und Big erhält einen BLEU -Wert, wodurch frühere Rekorde entschieden werden und gleichzeitig rechnerisch effizienter sind.“Wir haben es schneller als jeder andere getan“, sagte Parmar.“Und das ist nur der Anfang, denn die Zahlen steigen weiter.
Das Arbeitstempo des Teams wurde in den letzten zwei Wochen vor Ablauf der Frist verrückt.Obwohl einige Teammitglieder im Bau von 1945 immer noch Schreibtische haben, arbeiten sie hauptsächlich im Bau von 1965, da es in der Miniaturküche eine bessere Espressomaschine gibt.“Die Menschen schlafen kaum“, erinnert sich Gomez, der als Praktikant debugging und gleichzeitig an Visualisierungen und Diagrammpapieren arbeitete.In solchen Projekten werden normalerweise Ablationsexperimente durchgeführt – einige Teile werden entfernt, um zu überprüfen, ob die verbleibenden Teile ausreichen, um die Aufgabe zu erledigen.
„Wir haben alle möglichen Kombinationen von Techniken und Modulen ausprobiert – die nützlich und die nutzlos sind. Wir haben immer wieder versucht und ersetzt“, sagte Gomez.“Warum funktioniert das Modell auf diese kontraintuitive Weise? Oh, weil wir vergessen haben, die Okklusion richtig zu machen. Jetzt funktioniert es? Die Produkte dieses Hochgeschwindigkeits-iterativen Versuchs- und Fehlerprozesses.“Noam ist ein Zauberer.“
Vaswani erinnert sich einmal daran, dass die Nacht einmal auf dem Bürosofa verbracht hat, während das Team die Zeitung schrieb.Er starrte die Vorhänge an, die das Sofa vom Rest des Raumes trennten, das vom Muster oben angezogen wurde und wie Synapsen und Neuronen aussah.Gomez war damals auch anwesend, und Vaswani sagte ihm, dass die Arbeit, die sie machten, über die maschinelle Übersetzung hinausgehen würde.“Letztendlich müssen Sie wie das menschliche Gehirn all diese Modalitäten – Voice, Audio, Vision – in einer einzigen Architektur vereinen“, sagte er.“Ich habe ein starkes Gefühl, dass wir etwas Häufigeres entdecken.“
Bei Googles Top -Führung wird die Arbeit jedoch nur als ein weiteres interessantes KI -Projekt angesehen.Die Autoren wurden gefragt, ob ihre Chefs sie oft anriefen, um den Projektfortschritt zu aktualisieren, und es gab nicht viele Antworten.Aber „Wir wissen, dass das wahrscheinlich eine ziemlich große Sache ist“, sagte USZKoreit.“Dies führt uns dazu, tatsächlich von einem Satz am Ende des Papiers fasziniert zu sein.“
Dieser Satz sieht vor, was als nächstes passieren könnte – das Transformatormodell gilt im Grunde genommen für alle Formen des menschlichen Ausdrucks.“Wir freuen uns über die Zukunft der aufmerksamkeitsbasierten Modelle“, schrieben sie.“Wir planen, den Transformator auf Probleme mit anderen Eingaben und Ausgangsmodalitäten als Text zu erweitern“ und „Bild, Audio und Video“ zu betrachten.
Ein paar Tage vor Ablauf der Frist stellte USZKoreit fest, dass sie einen Titel brauchten.Jones bemerkte, dass das Team eine grundlegende Ablehnung einer Technologie gemacht hat: Aufmerksamkeit.Die Beatles nannten einst einen Song „All du brauchst Liebe“.Warum nennen Sie das Papier nicht „Aufmerksamkeit ist alles, was Sie brauchen“?
„Ich bin Briten“, sagte Jones.“Es hat wirklich nur fünf Sekunden gedauert, bis ich überlegte. Ich hatte nicht erwartet, dass sie es benutzen.“
Sie sammelten weiterhin experimentelle Ergebnisse bis zur Frist.“Die englisch-französischen Zahlen kamen fünf Minuten vor dem Einreichen der Zeitung.“ Papier wurde geschrieben.
Wie fast jedes andere Technologieunternehmen beantragte Google schnell ein temporäres Patent für die Arbeit.Der Grund ist nicht, andere davon abzuhalten, diese Ideen zu verwenden, sondern ihr Patentportfolio für defensive Zwecke aufzubauen.(Die Philosophie des Unternehmens lautet: „Wenn die Technologie voranschreitet, wird Google davon profitieren.“)
Wenn das Konverter -Team Feedback von den Peer -Rezensenten des Meetings hört, sind die Reaktionen gemischt.“Einer ist positiv, einer ist äußerst positiv und der andere ist“ das ist in Ordnung „“, sagte Parmar.Das Papier wurde in der Postersitzung nachts zur Anzeige angenommen.
Bis Dezember begann das Papier eine Sensation zu verursachen.Ihr vierstündiges Treffen am 6. Dezember war voller Wissenschaftler, die mehr erfahren wollten.Die Autoren waren heiser, als sie über ihre Stimmen sprachen.Am Ende des Treffens um 22:30 Uhr gab es immer noch eine Gruppe von Menschen.“Der Wachmann musste uns sagen, dass wir gehen sollen“, sagte USZKoreit.Der befriedigendste Moment für ihn war wahrscheinlich der Informatiker Sepp Hochreiter in der KI -Toolbox.
Der Konverter übernahm weder die Welt sofort noch Google.Kaiser erinnert sich, dass vor und nach der Veröffentlichung des Papiers den Führungskräften von Google vorgeschlagen hat, dass Unternehmen den gesamten Suchindex aufgeben und ein riesiges Netzwerk mit einem Transformator schulen sollten – im Grunde genommen mit Transformatoren, um die Art und Weise zu ändern, wie Google Informationen organisiert.Zu dieser Zeit fand sogar Kaiser die Idee lächerlich.Jetzt glaubt traditionelle Weisheit, dass es nur eine Frage der Zeit ist.
Ein Startup namens Openai nutzte die Gelegenheit schneller.Kurz nach der Veröffentlichung der Zeitung schlug OpenAs Hauptforscher Ilya Sutskever, der das Transformator -Team während der Zeit von Google kannte, vor, dass sein Wissenschaftler Alex Radford die Idee untersucht.Das Ergebnis ist die erste Charge von GPT -Produkten.Sam Altman, CEO von OpenAI, sagte mir letztes Jahr: „Als das Transformatorpapier herauskam, glaube ich nicht, dass jemand von Google gemerkt hat, was es bedeutet.“
Die interne Situation ist komplizierter.“Wir wissen sehr gut, dass die Transformers etwas wirklich Magisches tun können“, sagte Uszkoreit.“Nun, vielleicht fragen Sie, warum Google Chatgpt im Jahr 2018 nicht gestartet hat? Tatsächlich hätten wir GPT-3 oder sogar 3.5 im Jahr 2020 hätten haben können. Das eigentliche Problem ist nicht, haben sie es gesehen? Die Frage ist, warum, warum Tun wir nichts mit den Fakten, die wir gesehen haben?
Viele Tech-Kritiker verweisen auf den Übergang von Google von einem innovationsorientierten Spielplatz zu einer bodenzentrierten Bürokratie.Wie Gomez der Financial Times sagte: „Sie modernisieren nicht. Sie übernehmen diese Technologie nicht.“Google beginnt 2018, Konverter in Produkte zu integrieren, zunächst mit seinen Übersetzungstools.Im selben Jahr führte es ein neues transformatorbasiertes Sprachmodell Bert ein und begann, im nächsten Jahr zu suchen.
Name: Aidan Gomez/Beruf: Mitbegründer und CEO von Cohere
Aber diese Änderungen hinter den Kulissen scheinen schüchtern im Vergleich zu Openais Sprung und Microsoft durch die kühne Integration von konverterbasierten Systemen in seine Produktaufstellung.Als ich CEO Sundar Pichai fragte, warum sein Unternehmen kein großes Sprachmodell wie Chatgpt letztes Jahr gestartet hat, dachte er, dass Google es in diesem Fall von Vorteil fand, andere zu führen.“Ich bin mir nicht ganz sicher, ob es so erfolgreich sein wird wie es ist. Die Wahrheit ist, nachdem die Leute gesehen haben, wie es funktioniert, können wir mehr tun“, sagte er.
Es ist unbestreitbar, dass alle acht Autoren des Papiers Google verlassen haben.Das Unternehmen von Polosukhin in der Nähe hat eine Blockchain mit einer Marktkapitalisierung von rund 4 Milliarden US -Dollar aufgebaut.Parmar und Vaswani wurden 2021 Geschäftspartner, Mitbegründer von ADEPP (im Wert von 1 Milliarde US-Dollar) und nun ihre zweite Firma namens Essential AI (erhalten 8 Millionen US-Dollar an Investitionen erhalten).
Llion Jones in Tokio in Tokio hat einen Wert von 200 Millionen US-Dollar.Nachdem SHAZEER im Oktober 2021 gegangen war, war er Mitbegründer von Charakter AI (im Wert von 5 Milliarden US-Dollar).Der Praktikant Aidan Gomez war 2019 Mitbegründer von Cohere in Toronto (im Wert von 2,2 Milliarden US-Dollar).Das Biotech Company Inceptive von Jakob Uszkoreit hat einen Wert von 300 Millionen US -Dollar.Alle diese Unternehmen (außer in der Nähe) basieren auf der Konverter -Technologie.
Name: Lukasz Kaiser / Beruf: OpenAI Fellow
Kaiser ist der einzige, der kein Unternehmen gegründet hat.Er schloss sich Openai an und wurde der Erfinder einer neuen Technologie namens Q*, die Altman letztes Jahr „den Schleier der Unwissenheit vorantreiben und die Grenze der Entdeckung vorantreiben würde“ (als ich versuchte, auf uns zu gehen, als ich Kaiser nach dieser Frage gefragt habe, Während des Interviews sprang Openais PR -Mitarbeiter fast über den Tisch, um ihn aufzuhalten.)
Vermisst Google diese Deserteure?Natürlich, mit Ausnahme von anderen, die vom Unternehmen zum neuen KI -Startup wechseln.(Pichai erinnerte mich daran, dass der Industrie -Darling Openai, als ich ihn nach dem Übersetzerabgang fragte, auch einen Defekt sah: „Das KI -Feld ist sehr, sehr dynamisch“ Umgebung, die nicht traditionelle Ideen verfolgt.“In vielerlei Hinsicht war Google voraus – sie investieren in den richtigen Verstand und schaffen eine Umgebung, in der wir die Grenzen erforschen und überschreiten können“, sagte Parmar.“Es hat Zeit gebraucht, um adoptiert zu werden. Google hat mehr Einsätze.“
Wenn es keine Umgebung gibt: Es gibt keinen Konverter.Die Autoren sind nicht nur alle Google -Mitarbeiter, sondern auch im selben Büro.Begegnungen im Korridor und das Chatten beim Mittagessen führten zu großen Momenten.Das Team ist auch kulturell vielfältig.Sechs der acht Autoren wurden außerhalb der Vereinigten Staaten geboren.
Uszkoreit von seinem Büro in Berlin sagte, dass Innovation alles um die richtigen Bedingungen geht.“Es macht Menschen, die zum richtigen Zeitpunkt in ihrem Leben sehr aufgeregt sind, sehr aufgeregt“, sagte er.“Wenn Sie dies haben und Spaß haben, Dinge zu tun, haben Sie es mit den richtigen Problemen zu tun – und Sie haben Glück – Magie passiert.“
Zwischen Uszkoreit und seinem berühmten Vater passierte etwas Magie.Nach all diesen Tischdebatten, Hans Uszkoreit, berichtete sein Sohn, dass er nun ein Unternehmen mitbegründet hat, das ein großes Sprachmodell aufbaut.Natürlich wird der Konverter verwendet.
