jakiro
出典：AIスタイル
8人のGoogleの従業員が偶然出会い、画期的な「コンバーター」ペーパーを共同執筆しました。これは、特に人間のようなテキストの理解と生成において、人工知能の分野に革命をもたらした技術的なブレークスルーです。
2017年の春、「注意が必要です」というタイトルの科学論文は、Googleから契約しましたが、1人のメンバーがすでに会社を去っていました。上級著者のノーム・シャザイヤーは、彼が最初のドラフトを見たとき、彼の名前を予想外に見つけました。それに応じて、彼は言った：「私はこの問題について意図的に考えていませんでした。」
アカデミアでは、著者の名前を配置する方法は常に繊細なバランスの質問でした。その名前が最初に配置され、最後に配置されます。特に、誰もが本当のチームワークにユニークなマークを持っているこの種の状況では。急いで論文を完成させる過程で、研究チームは最終的にルールを破り、ランキングの貢献者を停止することを決定しました。彼らは各名前の横にアスタリスクと脚注を追加し、「等しい貢献者」と「ランキングの順序はランダムだ」と述べた。その後、この論文は名誉あるAI会議に提出され、そこで革命を引き起こしました。
名前：Noam Shazeer /キャリア：役割AIの共同設立者兼CEO
現在、「注意」紙の7周年を迎えて、伝説的なステータスを達成しました。このペーパーの著者は、繁栄している人工知能技術であるニューラルネットワークから新しいレベルにそれを採用しました。彼らは、エイリアンインテリジェンスを持つのに十分強力なデジタルシステムを作成しました。「トランスフォーマー」として知られるこのアーキテクチャは、ChatGptやグラフィックスジェネレーターのDall-EやMidjourneyなど、すべての驚くべきAI製品の背後にある神秘的な力になりました。
シャザイヤーは、もし彼が論文がとても有名になることを知っていたら、「著者のリストの並べ替えについてもっと心配していたかもしれない」と冗談を言った。今日、8人の著者全員がミニチュアの有名人になっています。「誰かが私が一度紙に取り組んだので、私にセルフィーを求めました」とLlion Jones（5番目を止める）は言いました。
名前：Llion Jones/職業：Sakana AIの共同設立者
「変圧器がなければ、私たちは今日ここにいるとは思わない」と、世界的に有名なAIの科学者であるジェフリー・ヒントンは語ったが、彼は論文の著者ではない。彼は、私たちがいる変化の時代に言及しています。そこでは、Openaiのようなシステム会社がいくつかの点で人間の生産量を超えていることさえ構築しています。
8人の著者全員が後にGoogleを去りました。現在、何百万人もの人々と同様に、彼らは2017年に何らかの形で作成したテクノロジーを使用しています。私はこれらの8つの「トランス」の著者にインタビューして、この画期的な成果の全体像をつなぎ合わせようとします。これは、人間の知性のコレクションであり、最終的に自己破壊を終わらせる機械を作成します。
トランスのストーリーは、リストの4番目の名前であるJakob uszkoreitから始まります。彼の父親であるハンス・ウスコレイトは、有名なコンピューティング言語学者でした。ハンスは、1960年代後半にチェコスロバキアのソビエト侵攻に抗議したため、1960年代後半に15か月間投獄されました。刑務所から釈放された後、彼は西ドイツに逃げ、ベルリンのコンピューターと言語学を学びました。彼は後に米国に来て、ヤコブが生まれたときにカリフォルニア州メンロパークのSRI研究所で働いていました。最終的に、家族はドイツに戻り、そこでヤコブは大学に行きました。
名前：Jakob Uszkoreit /職業：Inceptiveの共同設立者兼CEO
彼は言語に集中するつもりはありませんでしたが、彼は大学院勉強を始めたとき、GoogleのMountain View Officeでインターンし、会社の翻訳チームに加わりました。彼は博士課程プログラムを放棄し、2012年にGoogleのチームに参加することを決定しました。これは、ユーザーを他のWebサイトにリダイレクトせずに検索ページのユーザーの質問に直接答えることができるシステムの開発に取り組みました。当時、Appleはカジュアルな会話で1回限りの回答を提供することを約束した仮想アシスタントであるSiriをリリースしました。Googleの幹部はSiriが検索トラフィックを脅かす可能性があると信じていました。彼らはUszkoreitの新しいチームにもっと集中し始めました。
「それは誤ったパニックです」とUszkoreitは言いました。SiriはGoogleを本当に脅かしていません。しかし、彼はコンピューターと人間が話しているシステムを掘り下げる機会を歓迎します。当時、学界の端にある再発性ニューラルネットワークは、他のAIエンジニアリング方法を超越し始めました。これらのネットワークは、最良の応答を識別するために情報が繰り返し渡される複数のレイヤーで構成されています。
ニューラルネットワークは、画像認識などの分野で大きな成功を収めており、AIリバイバルの動きが突然現れました。Googleは、これらのテクノロジーを採用するために、従業員構造を必死に微調整しています。企業は、電子メールで自動コンプリート文など、人間のような反応を生み出すことができるシステムを構築したり、比較的シンプルなカスタマーサービスチャットボットを作成したりしたいと考えています。
ただし、この領域は制限に遭遇しました。再発性ニューラルネットワークには、より長いテキストブロックを処理するのが困難です。たとえば、「ジョーは野球選手であり、おいしい朝食の後、公園に行って2ヒットを獲得しました」という文の「2ヒット」を理解するには、言語モデルは野球に関する情報を覚えておく必要があります。人間の言葉で言えば、それは注意深く保つ必要があります。
当時のソリューションは、「Long Short-Term Memory」（LSTM）と呼ばれるテクノロジーであり、言語モデルがより大きくより複雑なテキストシーケンスを処理できるようにしました。しかし、コンピューターは、これらのシーケンスを単語ごとに厳密に順番に処理し、テキストの背後に表示される可能性のある文脈的な手がかりを無視します。「当社が適用しているアプローチは、基本的には停止尺度です」とUszkoreit氏は述べています。「私たちは本当に適切なものを規模で動作させることはできません。」
2014年頃、彼は別のアプローチを考え始めました。このネットワークは、テキストの他の部分を引用することにより、単語を翻訳できます。これらの他の部分は、単語の意図を明確にし、システムが良い翻訳を生み出すのに役立ちます。「実際にはすべてを考慮し、多くの入力を同時に見て、かなり選択的な方法で何かを取り出す効果的な方法を提供します」と彼は言いました。AIの科学者は、ニューラルネットワークの比phorを生物学的脳の実際の仕組みと混同しないように注意していますが、Uszkoreitは、自己焦点が人間を処理する方法と多少似ていると信じているようです。
Uszkoreitは、自己焦点を絞るモデルは、再発性ニューラルネットワークよりも高速で効率的である可能性があると考えています。また、機械学習ブームをサポートする大量生産された並列処理チップに適した方法で情報を処理します。線形アプローチをとる代わりに（各単語を順番に表示する）、より並行するアプローチを採用します（複数の単語を同時に表示します）。正しく行われた場合、uszkoreitは、より良い結果を得るために特別にセルフフォーカスを使用できることを疑います。
息子が会社で働いている間に2つのGoogle Faculty Research Awardsを獲得したUszkoreitの父親を含む、このアイデアが世界を変えると考えているわけではありません。「既存のすべてのニューラルアーキテクチャを放棄するため、人々はこれについて懐疑的です」とヤコブ・ウスコレイトは言いました。再発性ニューラルネットワークに別れを告げますか？これは異端です！「私たちは、父と私との会話でテーブルでまったく同じではありませんでした。」
Uszkoreitは、一部の同僚に自己告発を実験するよう説得しました。彼らの作品は約束を示し、2016年にそれに関する論文を発表しました。Uszkoreitは、チームの実験ではテキストの小さな部分のみを使用していることをさらに推進したいと考えていますが、彼の協力者は誰も興味がありませんでした。代わりに、彼らはカジノを控えめな勝利で去り、検索や最終的に広告を含むさまざまな分野でGoogleに学んだ教訓を適用しました。多くの点で、これは驚くべき成功ですが、uszkoreitはそこで止めたくありません。
uszkoreitは、自己焦点がより大きなタスクを引き受ける可能性があると考えています。彼は、Googleキャンパスの北端である1945 Charleston Roadの建物のホワイトボードで彼のビジョンを聴く人にさえ、彼のビジョンを明確にし、彼のビジョンを概説します。
2016年のある日、UszkoreitはGoogleCaféでIllia Polosukhinという科学者と昼食をとっていました。ウクライナで生まれたPolosukhinは、Googleで3年近く働いていました。彼は、検索フィールドで直接提起された質問に答えるチームに割り当てられました。物事はあまりスムーズに進んでいませんでした。「Google.comで何かに答えるには、非常に安価で高性能なものが必要です」とポロスキンは言いました。「ポロスキンが彼の苦情を表明したとき、あなたはミリ秒のみを持っているので、Uszkoreitはためらうことなく解決策を提案しました。「彼は、なぜ自己attentionを使ってみませんか？」
名前：Illia Polosukhin/Profession：近くの共同設立者
Polosukhinは、同僚のAshish Vaswaniと一緒に働くことがあります。インドで生まれ、中東で育ち、ヴァスワニは南カリフォルニア大学に行き、機械翻訳のエリートチームから博士号を取得しました。彼は後にマウンテンビューに移動してGoogleに参加しました。特にGoogle Brainと呼ばれる新しい組織です。彼は脳を「急進的なチーム」と表現し、「ニューラルネットワークが人間の理解を促進する」と信じていました。しかし、彼はまだ取り組むべき大きなプロジェクトを探しています。彼のチームは1945年の建物の隣で1965年の建物の構築で働き、彼は自己尊敬のアイデアについて聞いた。それはプロジェクトでしょうか？彼は続行することに同意した。
3人の研究者は、「Transformer：Iterative Self-Focusing and Handlingのさまざまなタスク」と呼ばれる設計文書を共同で作成しました。彼らは「Transformer」という名前を「1日目」から選んだ、とUszkoreitは言った。アイデアは、このメカニズムが受け取る情報を変換し、システムができるだけ多くの理解を抽出できるようにするか、少なくとも印象を与えるということです。さらに、uszkoreitには、子供の頃にハスブロアクションキャラクターのおもちゃで遊ぶという素晴らしい思い出があります。「私は子供の頃に2つの小さな変圧器のおもちゃを持っていました」と彼は言いました。ファイルは、山の地形でレーザーを互いに発している6つの変圧器の漫画画像で終わります。
名前：Ashish Vaswani/Profession：Esential AIの共同設立者兼CEO
論文の冒頭の文は、「私たちは素晴らしいです」と少しrog慢です。
2017年初頭、PolosukhinはGoogleを離れて自分の会社を設立しました。それまでに、新しい協力者が参加しました。Niki Parmarという名前のインドのエンジニアは、インドのアメリカのソフトウェア会社で働き、後に米国に移りました。彼女は2015年に南カリフォルニア大学で修士号を取得し、すべての主要なハイテク企業によって採用されました。彼女はグーグルを選びました。彼女が仕事を始めたとき、彼女はUszkoreitに参加し、Google検索のモデルバリアントの改善に取り組みました。
別の新しいメンバーはLlion Jonesです。彼はウェールズで生まれ育ち、「普通ではなかったので」コンピューターが好きでした。バーミンガム大学で、彼はAIコースを受講し、歴史的なサイトの紹介としてニューラルネットワークについての好奇心を育てました。彼は2009年7月に修士号を取得し、不況時に仕事を見つけることができなかったため、数ヶ月間救援基金に住んでいました。彼は地元の会社で仕事を見つけ、その後Googleに「絶望的な動き」として申請しました。彼は仕事を得て、最終的に彼のマネージャーがポロスキンだったGoogleの研究に参加しました。
ある日、ジョーンズは、マット・ケルシーという同僚からの自己副次の概念について聞き、後にトランスフォーマーチームに加わりました。（後で、ジョーンズはケルシーに会い、トランスフォーマープロジェクトについて彼に説明しました。ケルシーはそれを買わなかった。ケルシーは今言う。
名前：Niki Parmar / Career：Essential AIの共同設立者
トランスの仕事は、大規模な言語モデルを改善しようとしている他のGoogleの脳研究者を引き付けました。3番目の波には、ポーランド生まれの理論的なコンピューター科学者であるウカス・カイザーと彼のインターン・エイダン・ゴメスが含まれます。ゴメスはカナダのオンタリオ州の小さな農場で育ち、彼の家族は毎年春にメープルシロップのためにメープルの木を叩きました。
トロント大学のジュニアとして、彼は一目ぼれしてAIに恋をし、機械学習グループのジェフリー・ヒントンの研究室に参加しました。彼はGoogleで興味深い論文を書いた人々に連絡し始め、彼らの作品を拡大するためのアイデアを思いつきました。カイザーは餌を取り、インターンシップをするように彼を招待しました。数か月後、ゴメスがこれらのインターンシップが彼のような学部生ではなく博士課程の学生のためであることを知りました。
KaiserとGomezは、自己焦点が彼らが解決している問題に対する有望でより根本的な解決策のように見えることにすぐに気付きました。「2つのプロジェクトを融合したいかどうかを意識的に議論しました」とGomez氏は言います。答えはイエスです。
トランスチームは、テキストをある言語から別の言語に変換するセルフフォーカスモデルの構築を開始しました。彼らは、マシンの出力を人間の翻訳者の作業と比較するBLUと呼ばれるベンチマークを使用してそのパフォーマンスを測定します。最初から、彼らの新しいモデルは素晴らしい仕事をしました。「私たちは、概念の証明を持たないことから、少なくとも当時のLSTMの最良の代替品に匹敵するものを持つことになりました」とUszkoreit氏は言いました。しかし、長期的な記憶と短期的な記憶と比較して、「それは良くありません」。
彼らはプラットフォームに到達しました – 2017年のある日、ノーム・シャザイヤーが彼らのプロジェクトにつまずいたとき。Shazeerは、2000年に会社に参加した上級Googleの従業員であり、会社の初期広告システムに関する彼の仕事から始めて、内部の伝説です。Shazeerは5年間深い学習に取り組んでおり、最近、大規模な言語モデルに関心を寄せてきました。しかし、これらのモデルは、彼が考えられると思っていたスムーズな会話を生み出すにはほど遠いです。
Shazeerの回想によると、彼は1965年の建物の廊下にあるKaiserの作業エリアを歩いていました。彼は、激しい議論を聞いていることに気づきました。「アシュッシュはセルフフォーカスを使用するというアイデアについて話していたことを覚えています。ニキはとても興奮していました。すごい、それは良いアイデアのように聞こえたと思いました。 Shazeerは、既存の再発性ニューラルネットワークが「迷惑」になっていることを発見し、「それらを置き換えましょう！」と考えました。
Shazeerがチームに参加することが重要です。「これらの理論や自己焦点などの直感的なメカニズムは、常に非常に慎重な実装を必要とします。多くの場合、生命の兆候を示すために経験豊富な「魔法」がいくつかあります」とUszkoreit氏は言います。シャザイヤーはすぐに彼の魔法を投げ始めました。彼は、トランスチームのために独自のバージョンのコードを書くことにしました。「私は基本的なアイデアを取り、自分でそれを作りました」と彼は言いました。
時折、彼はカイザーの質問をするだろうが、ほとんどの場合、彼は言った、彼は言った、「ちょうどそれをしただけで、「見て、それはうまくいった」と言った。」 「ベルとホイッスル」という言葉が説明していること、彼はシステムを新しいレベルに引き上げました。
「それはスプリントを引き起こした」とゴメスは言った。彼らは動機を持ち、12月に開催された最大のAIイベントであるNeural Information Systems Conferenceで発表された論文である、今後の締め切りに追いつきたいと思っています。シリコンバレーの冬が春になると、実験のペースが加速しています。彼らは2つの変圧器モデルをテストしました。1つは12時間のトレーニングで生成され、もう1つはビッグと呼ばれるより強力なバージョンで、3日半後に訓練されました。彼らは彼らに英語をドイツ語に翻訳し始めるように頼みました。
基本モデルはすべての競合他社を上回り、BigはBLEUスコアを獲得し、より計算上効率的である一方で、以前の記録を決定的に破ります。「私たちは他の誰よりも速く、それをしました」とパルマーは言いました。「そして、それはほんの始まりに過ぎません。なぜなら、Uszkoreitがニュースを聞いたとき、彼は彼が祝うために彼が彼の山の冒険トラックで持っていた古いシャンパンを取り出したからです。
チームの仕事のペースは、締め切りの前の2週間前に夢中になりました。一部のチームメンバーはまだ1945年の建物に机を持っていますが、そこにはミニチュアキッチンに優れたエスプレッソマシンがあるため、主に1965年の建設に取り組んでいます。「人々はほとんど眠れません」とゴメスは回想します。ゴメスは、インターンとしてデバッグするのに忙しかったと思います。このようなプロジェクトでは、通常、アブレーション実験が実行されます。一部の部分は、残りの部分がタスクを完了するのに十分であることを確認するために削除されます。
「私たちは、有用で役に立たないテクニックとモジュールのすべての可能な組み合わせを試しました。試行と交換を続けました」とGomez氏は言います。「なぜモデルはこのカウンターに反する方法で機能するのですか？ああ、私たちは閉塞を正しく行うのを忘れていたからです。今それは機能しますか？わかりました、次のものに進みましょう。この高速で反復的な試行錯誤プロセスの製品。「ノームは魔法使いです。」
Vaswaniは、チームが論文を書いている間に、1回、オフィスソファで夜を過ごしたことを覚えています。彼は、ソファを部屋の残りの部分から分離したカーテンを見つめ、上のパターンに惹かれ、シナプスやニューロンのように見えました。ゴメスも当時出席していたので、ヴァスワニは彼がしていた仕事は機械翻訳を超えていると彼に言った。「最終的に、人間の脳と同様に、これらのモダリティ（声、音声、ビジョン）を単一のアーキテクチャで統一する必要があります」と彼は言いました。「私たちはもっと一般的なものを発見しているという強い感覚を持っています。」
ただし、Googleのトップリーダーシップでは、この作業は単なる別の興味深いAIプロジェクトと見なされています。著者は、上司がプロジェクトの進捗状況を更新するためにしばしば彼らに電話したかどうかを尋ねられましたが、多くの答えはありませんでした。しかし、「それはおそらくかなり大きなことだと知っています」とウスコレイトは言いました。「これにより、私たちは実際に論文の終わりにある文に魅了されます。」
その文は、次に何が起こるかを予見します。トランスモデルは、基本的にあらゆる形態の人間の表現に適用されます。「私たちは注意ベースのモデルの未来に興奮しています」と彼らは書いています。「トランスをテキスト以外の入力および出力モダリティを含む問題に拡張する予定です」と「画像、オーディオ、ビデオ」を調べる予定です。
締め切りの数日前のある夜、Uszkoreitはタイトルが必要だと気づきました。ジョーンズは、チームが1つのテクノロジー、つまり注意を根本的に拒否したと指摘しました。ビートルズはかつて「あなたが必要としているのは愛です」という曲と名付けられました。「注意が必要なのは注意」という紙に名前を付けてみませんか？
「私はイギリス人です」とジョーンズは言った。「考えるのにたった5秒しかかかりませんでした。私は彼らがそれを使うとは思っていませんでした。」
彼らは締め切りまで実験結果を収集し続けました。「英国とフランスの数は、私たちが紙を提出する5分前に出てきました。紙が書かれました。
他のほぼすべてのハイテク企業と同様に、Googleは作業のために一時的な特許をすぐに申請しました。その理由は、他の人がこれらのアイデアを使用するのを止めるのではなく、防御目的で特許ポートフォリオを構築するためです。（会社の哲学は「テクノロジーが進むと、Googleが利益を得る」です。）
コンバーターチームが会議のピアレビュアーからフィードバックを聞くと、反応は混合されます。「1つは前向きで、1つは非常に前向きで、もう1つは「これは大丈夫」です」とParmarは言いました。この論文は、夜のポスターセッションで展示されることを受け入れました。
12月までに、紙は感覚を引き起こし始めました。12月6日の4時間の会議は、もっと学びたいと思っていた科学者に満ちていました。著者は、彼らが彼らの声について話したとき、かすかでした。午後10時30分、会議の終わりには、まだ人々のグループがいました。「警備員は私たちに去るように言わなければならなかった」とuszkoreitは言った。彼にとって最も満足のいく瞬間は、おそらくコンピューターの科学者であるセップ・ホッホレイターが作品を賞賛するために前進したことでした。ホッホライターが長期的な記憶と短期記憶の共同発明者であり、変圧器が優先ツールとして置き換えられたことを考えると、かなりの賛辞でした。 AIツールボックスで。
コンバーターはすぐに世界を引き継ぎませんでした。Kaiserは、論文が公開された後、ShazeerはGoogleの幹部に、企業が検索インデックス全体を放棄し、トランスで巨大なネットワークを訓練する必要があることをGoogleの幹部に提案したことを思い出します。当時、カイザーでさえ、このアイデアはばかげていると思っていました。今、伝統的な知恵はそれが時間の問題だと考えています。
Openaiと呼ばれるスタートアップは、機会をより速く押収しました。論文が発表されて間もなく、Googleの時代にトランスチームを知っていたOpenaiの主任研究者であるIlya Sutskeverは、科学者のAlex Radfordがそのアイデアを研究していることを示唆しました。結果は、GPT製品の最初のバッチです。Openai CEOのSam Altmanが昨年私に言ったように、「変圧器の紙が出てきたとき、Googleの誰もそれが何を意味するのか気づいたとは思わない」
内部の状況はより複雑です。「私たちは、変圧器が本当に魔法のようなことをすることができることを非常によく知っています」とUszkoreit氏は言います。「今、あなたは尋ねるかもしれません、なぜGoogleは2018年にChatGptを起動しなかったのですか？実際、私たちは2020年にGPT-3または3.5を持っていたかもしれません。本当の問題はそうではありませんか？私たちは、私たちが見たことがある事実で何もしていませんか？
多くの技術批評家は、イノベーション中心の遊び場からボトムライン中心の官僚主義へのGoogleの移行を指摘しています。GomezがFinancial Timesに語ったように、「彼らは近代化していません。彼らはこのテクノロジーを採用していませんが、何十年もの間、業界をリードし、大きな利益を上げてきた巨大な企業には多くの勇気が必要です。Googleは、2018年にコンバーターの統合を製品に統合し、最初に翻訳ツールを使用しています。同じ年に、新しい変圧器ベースの言語モデルであるBertを導入し、翌年の検索に適用され始めました。
名前：Aidan Gomez/職業：Cohereの共同設立者兼CEO
しかし、これらの舞台裏の変化は、OpenaiのLeapやMicrosoftのコンバーターベースのシステムの大胆な統合と比較して、その製品のラインナップに比べてti病になっています。CEOのSundar Pichaiに、なぜ彼の会社がChatGptが昨年行ったような大規模な言語モデルを最初に発売しなかった理由を尋ねたとき、彼はこの場合、Googleは他の人をリードさせることが有益だと思ったと考えました。「それがそうであるように成功するかどうかはよくわかりません。真実は、人々がそれがどのように機能するかを見た後、私たちはもっとできることです」と彼は言いました。
紙の8人の著者全員がGoogleを去ったことは否定できません。Polosukhinの近くの会社は、時価総額で約40億ドルのブロックチェーンを建設しました。ParmarとVaswaniは2021年にビジネスパートナーになり、Adeptを共同設立し（10億ドル相当）、現在はEssential AI（800万ドルの投資を受け取った）と呼ばれる2番目の会社を運営しています。
東京に本拠を置くLlion JonesのSakana AIは2億ドルと評価されています。2021年10月にShazeerが去った後、彼はキャラクターAIを共同設立しました（50億ドルの価値があります）。インターン・エイダン・ゴメスは、2019年にトロントに本拠を置くCohere（22億ドルの価値）を共同設立しました。Jakob UszkoreitのBiotech Company Inceptiveは3億ドルと評価されています。これらのすべての企業（近くを除く）は、コンバーターテクノロジーに基づいています。
名前：Lukasz Kaiser /職業：Openai Fellow
カイザーは、会社を始めていない唯一の人です。彼はOpenaiに加わり、Q*と呼ばれる新しいテクノロジーの発明者になりました。これは昨年、「無知のベールを押して、ディスカバリーのフロンティアを前進させようとしたとき」と述べました。インタビュー中、OpenaiのPRスタッフはテーブルをほぼ飛び越えて彼を止めました。）
グーグルはこれらの脱走兵を見逃していますか？もちろん、会社から新しいAIスタートアップに移動する他の人を除いて。（ピチャイは、翻訳者の出発について彼に尋ねたとき、業界のダーリン・オープンも「AIフィールドは非常にダイナミックである」と亡命したことを思い出させました。非伝統的なアイデアを追求する環境。「多くの点で、Googleは先に進んでいます。彼らは正しい心に投資し、限界を探求して推進できる環境を作り出します」とParmar氏は言います。「採用するのに時間がかかりました。Googleにはより多くの利害関係があります。」
環境がない場合：コンバーターはありません。著者はすべてのGoogle従業員であるだけでなく、同じオフィスで働いています。廊下での出会いと昼食時のチャットは、大きな瞬間につながりました。チームも文化的に多様です。8人の著者のうち6人は、米国外で生まれました。
ベルリンの彼のオフィスのUszkoreitは、イノベーションはすべて適切な条件に関するものだと言いました。「人生の適切なタイミングで何かに非常に興奮している人々を獲得しています」と彼は言いました。「これがあり、物事を楽しんでいるなら、あなたは正しい問題を扱っています – そしてあなたは幸運です – 魔法が起こります。」
ウスコレイトと彼の有名な父親の間に何か魔法が起こりました。これらのすべてのテーブルの議論の後、彼の息子であるハンス・ウスコレイトは、彼が現在、大規模な言語モデルを構築している会社を共同設立したと報告しました。もちろん、コンバーターが使用されます。
