jakiro
المصدر: نمط الذكاء الاصطناعي
التقى ثمانية موظفين من Google عن طريق Chance وشاركوا في كتابة ورقة “Converter” الرائدة ، وهو اختراق تكنولوجي أحدث ثورة في مجال الذكاء الاصطناعي ، وخاصة في فهم النصوص التي تشبه الإنسان وتوليدها.
في ربيع عام 2017 ، ولدت ورقة علمية بعنوان “الاهتمام كل ما تحتاجه”.وجد مؤلف كبير نوم شازير اسمه بشكل غير متوقع في القمة عندما رأى المسودة الأولى ، والتي بدا أنها تعني أن مساهمته كانت الأهم.رداً على ذلك ، قال: “لم أفكر في هذه القضية عمدا”.
في الأوساط الأكاديمية ، كانت كيفية ترتيب اسم المؤلف دائمًا سؤالًا دقيقًا توازنًا – يتم وضع اسمه أولاً ومن يتم وضعه أخيرًا.خاصة في هذا النوع من المواقف حيث يكون لكل شخص علامة فريدة من نوعها في العمل الجماعي الحقيقي.في عملية إكمال الورقة على عجل ، قرر فريق البحث أخيرًا كسر القواعد ووقف المساهمين في الترتيب.أضافوا علامة النجمة والحاشية بجانب كل اسم: “مساهم متساوٍ” وذكروا أن “ترتيب الترتيب عشوائي”.ثم تم تقديم الورقة إلى مؤتمر منظمة العفو الدولية المرموقة ، حيث أثارت ثورة.
الاسم: Noam Shazeer / Career: المؤسس المشارك والرئيس التنفيذي للدور الذكاء الاصطناعي
الآن ، مع الذكرى السابعة لورقة “الانتباه” ، حققت الوضع الأسطوري.أخذ مؤلفو هذه الورقة مستوى جديدًا من تقنية الذكاء الاصطناعي المزدهر ، والشبكات العصبية: لقد أنشأوا نظامًا رقميًا كان قويًا بما يكفي للحصول على ذكاء أجنبي.أصبحت هذه الهندسة المعمارية ، المعروفة باسم “Transformers” ، القوة الغامضة وراء جميع منتجات الذكاء الاصطناعى المذهلة ، بما في ذلك ChatGpt و Graphics Genarators Dall-E و Midjourney.
مازح شازير أنه لو كان يعرف أن الورقة ستصبح مشهورة للغاية ، فقد “ربما كان أكثر قلقًا بشأن فرز قائمة المؤلفين”.اليوم ، أصبح جميع المؤلفين الثمانية مشاهير مصغرة.وقال Llion Jones (توقف في المركز الخامس): “سألني أحدهم عن صورة شخصية لأنني عملت على ورقة مرة واحدة”.
الاسم: Llion Jones/المهنة: المؤسس المشارك لـ Sakana AI
وقال جيفري هينتون ، عالم الذكاء الاصطناعي المشهور عالمياً “بدون محول ، لا أعتقد أننا هنا اليوم” ، على الرغم من أنه ليس مؤلف الصحيفة.ويشير إلى عصر التغيير الذي نحن فيه ، حيث تقوم شركات الأنظمة مثل Openai ببناء حتى الإنتاج البشري في بعض النواحي.
غادر جميع المؤلفين الثمانية في وقت لاحق Google.الآن ، مثل ملايين الأشخاص ، يستخدمون التكنولوجيا التي أنشأوها في عام 2017 بطريقة ما.قابلت هؤلاء المؤلفين “المحول” الثمانية لمحاولة تجميع الصورة الكاملة لهذا الإنجاز الذي حقق ذلك – مجموعة من الذكاء البشري ، مما يخلق آلة قد تنهي في النهاية التدمير الذاتي.
تبدأ قصة المحول بالاسم الرابع في القائمة: Jakob Uszkoreit.كان والده ، هانز أوسكوريت ، لغويًا معروفًا الحوسبة.تم سجن هانز في ألمانيا الشرقية لمدة 15 شهرًا في أواخر الستينيات بسبب الاحتجاج ضد الغزو السوفيتي لتشيكوسلوفاكيا.بعد إطلاق سراحه من السجن ، هرب إلى ألمانيا الغربية ودرس الكمبيوتر واللغويات في برلين.جاء في وقت لاحق إلى الولايات المتحدة وعمل في معهد سري في مينلو بارك ، كاليفورنيا ، عندما ولد جاكوب.في النهاية ، عادت العائلة إلى ألمانيا ، حيث ذهب جاكوب إلى الكلية.
الاسم: Jakob Uszkoreit / المهنة: المؤسس المشارك والرئيس التنفيذي لشركة Inceptive
على الرغم من أنه لم يكن لديه أي نية للتركيز على اللغات ، عندما بدأ دراسته العليا ، إلا أنه تدرب في مكتب Google Mountain View وانضم إلى فريق الترجمة التابع للشركة.لقد تخلى عن برنامج الدكتوراه الخاص به وقرر في عام 2012 الانضمام إلى فريق من Google عمل على تطوير نظام يمكنه الإجابة مباشرة على أسئلة المستخدم على صفحات البحث دون إعادة توجيه المستخدمين إلى مواقع الويب الأخرى.في ذلك الوقت ، أصدرت شركة Apple للتو Siri ، مساعد افتراضي وعد بتقديم إجابات لمرة واحدة في المحادثات غير الرسمية ، ويعتقد المسؤولون التنفيذيون في Google أن Siri يمكن أن يهدد حركة البحث الخاصة بهم.بدأوا في التركيز أكثر على فريق Uszkoreit الجديد.
قال أوسكوريت: “إنه ذعر كاذب”.سيري لا يهدد Google حقًا.لكنه يرحب بفرصة الخوض في الأنظمة التي تتحدث فيها أجهزة الكمبيوتر والبشر.في ذلك الوقت ، بدأت الشبكات العصبية المتكررة – على حافة الأوساط الأكاديمية – في تجاوز أساليب هندسة الذكاء الاصطناعي الأخرى.تتكون هذه الشبكات من طبقات متعددة يتم فيها تمرير المعلومات مرارًا وتكرارًا لتحديد أفضل استجابة.
حققت الشبكات العصبية نجاحًا كبيرًا في مجالات مثل التعرف على الصور ، وظهرت حركة إحياء الذكاء الاصطناعي فجأة.تقوم Google بتبديل بنية القوى العاملة بشكل محموم لتبني هذه التقنيات.ترغب الشركات في إنشاء أنظمة يمكن أن تنتج استجابات تشبه الإنسان-مثل جمل الإكمال التلقائي في رسائل البريد الإلكتروني ، أو إنشاء chatbots خدمة العملاء البسيطة نسبيًا.
ومع ذلك ، واجه هذا المجال قيودًا.تواجه الشبكات العصبية المتكررة صعوبة في التعامل مع كتل أطول من النص.على سبيل المثال ، لفهم “اثنين من الزيارات” في الجملة “Joe هو لاعب بيسبول ، وبعد وجبة فطور جيدة ذهب إلى الحديقة وحصل على ضربتين” ، يحتاج نموذج اللغة إلى تذكر معلومات حول لعبة البيسبول.من الناحية البشرية ، يجب أن تبقى منتبه.
كان الحل في ذلك الوقت هو تقنية تسمى “الذاكرة قصيرة المدى طويلة” (LSTM) ، والتي سمحت نماذج اللغة بمعالجة تسلسل نص أكبر وأكثر تعقيدًا.لكن الكمبيوتر لا يزال يعالج هذه التسلسلات بدقة بالترتيب – Word by Word – ويتجاهل أدلة السياق التي قد تظهر وراء النص.”النهج الذي نطبقه هو في الأساس مقياس stopGAP” ، قال أوسكوريت.”لا يمكننا حقًا الحصول على الأشياء الصحيحة للعمل على نطاق واسع.”
حوالي عام 2014 ، بدأ في تصور نهجًا مختلفًا ، أطلق عليه التصرف الذاتي.يمكن لهذه الشبكة ترجمة كلمة عن طريق الاستشهاد بأي جزء آخر من النص.يمكن أن تساعد هذه الأجزاء الأخرى في توضيح نية كلمة ما ومساعدة النظام على إنتاج ترجمة جيدة.وقال: “إن الأمر يتطلب كل شيء في الاعتبار ويمنحك طريقة فعالة للنظر في الكثير من المدخلات في نفس الوقت ثم أخرج شيئًا ما بطريقة انتقائية إلى حد ما”.على الرغم من أن علماء الذكاء الاصطناعى يحرصون على عدم الخلط بين استعارة الشبكات العصبية والطريقة التي تعمل بها العقول البيولوجية فعليًا ، يبدو أن أوسكوريت يعتقد أن التركيز الذاتي يشبه إلى حد ما كيف يعالج البشر لغة.
يعتقد Uszkoreit أن نماذج التركيز الذاتي قد تكون أسرع وأكثر كفاءة من الشبكات العصبية المتكررة.كما أنه يتعامل مع المعلومات بطريقة مناسبة تمامًا لرقائق المعالجة الموازية المنتجة بالجملة التي تدعم طفرة التعلم الآلي.بدلاً من اتباع نهج خطي (رؤية كل كلمة بالترتيب) ، فإنه يتبنى نهجًا أكثر موازية (رؤية كلمات متعددة في وقت واحد).إذا تم ذلك بشكل صحيح ، فإن UszKoreit يشك في أنه يمكنك استخدام التركيز الذاتي على وجه التحديد لتحسين نتائج.
لا يعتقد الجميع أن الفكرة ستغير العالم ، بما في ذلك والد Uszkoreit ، الذي فاز بجائزة أبحاث أعضاء هيئة التدريس في Google بينما كان ابنه يعمل لدى الشركة.وقال جاكوب أوسكوريت: “الناس متشككون في هذا الأمر لأنه يتخلى عن جميع البنى العصبية الحالية”.قل وداعا للشبكات العصبية المتكررة؟هذا هو بدعة!”لم نكن متماثلين بالضبط في المحادثة بين والدي وأنا على الطاولة.”
أقنع أوزيكوريت بعض الزملاء بتجربة الاهتمام الذاتي.أظهر عملهم وعدًا ونشرت ورقة عليها في عام 2016.يأمل Uszkoreit في دفع أبحاثهم بشكل أكبر – لم تستخدم تجارب الفريق أجزاء صغيرة فقط من النص – ولكن لم يكن أي من متعاوناته مهتمًا.بدلاً من ذلك ، غادروا الكازينو بفوز متواضع ، بتطبيق الدروس التي تعلموها على Google في مجالات مختلفة ، بما في ذلك البحث والإعلان في النهاية.من نواح كثيرة ، هذا نجاح مدهش ، لكن Uszkoreit لا يريد التوقف عند هذا الحد.
يعتقد Uszkoreit أن التركيز الذاتي يمكن أن يأخذ مهام أكبر.كان سيوضح رؤيته لأي شخص يستمع ، أو حتى البعض الذي لم يفعل ، ويوضع رؤيته بالألواح البيضاء في مبنى Charleston Road 1945 ، The North Edge of Google Campus.
في يوم من الأيام في عام 2016 ، كان Uszkoreit يتناول الغداء مع عالم يدعى Illia Polosukhin في Google Café.ولد بولوسوخين في أوكرانيا ، وعمل في Google منذ ما يقرب من ثلاث سنوات.تم تعيينه للفريق الذي يجيب على الأسئلة التي أثيرت مباشرة في مجال البحث.لم تسير الأمور بسلاسة شديدة.قال بولسوخين: “للإجابة على شيء ما على google.com ، تحتاج إلى شيء رخيص للغاية وعالي الأداء”.”لأن لديك مللي ثانية فقط للرد.””ينصح ، لماذا لا تستخدم الاهتمام الذاتي؟”
الاسم: illia polosukhin/المهنة: المؤسس المشارك لـ Near
يعمل Polosukhin أحيانًا مع زميله آشيش فاسواني.ولد فاسواني في الهند ونشأ في الشرق الأوسط ، إلى جامعة جنوب كاليفورنيا لكسب درجة الدكتوراه من فريق النخبة للترجمة الآلية.انتقل لاحقًا إلى Mountain View للانضمام إلى Google – وتحديداً مؤسسة جديدة تسمى Google Brain.ووصف الدماغ بأنه “فريق جذري” ويعتقد أن “الشبكات العصبية ستقدم الفهم البشري”.لكنه لا يزال يبحث عن مشروع كبير للعمل عليه.عمل فريقه بجوار المبنى لعام 1945 ، وبناء عام 1965 ، وسمع عن فكرة الاهتمام الذاتي.هل سيكون هذا مشروعًا؟وافق على المضي قدما.
قام الباحثون الثلاثة بصياغة وثيقة تصميم تسمى “Transformer: Tertative Telf-Telf-Techly-Tech Self-Techned Telping Telectly Thanks.”وقال أوزيكوريت إنه اختاروا اسم “Transformer” من “Day One”.والفكرة هي أن هذه الآلية ستحول المعلومات التي تتلقاها ، مما يسمح للنظام باستخراج أكبر قدر ممكن من التفاهم – أو على الأقل إعطاء الانطباع.بالإضافة إلى ذلك ، لدى Uszkoreit ذكريات رائعة عن اللعب باستخدام ألعاب Hasbro Action Toys في مرحلة الطفولة.قال: “كان لدي لعبتان صغيرتان من المحولات عندما كنت طفلاً”.ينتهي الملف بصورة كرتونية ستة محولات تنبعث من الليزر لبعضها البعض في التضاريس الجبلية.
الاسم: آشيش فاسواني/المهنة: المؤسس المشارك والرئيس التنفيذي لـ Esential AI
الجملة في بداية الورقة هي أيضًا متعجرفة بعض الشيء: “نحن رائعون”.
في أوائل عام 2017 ، غادر Polosukhin Google لبدء شركته الخاصة.بحلول ذلك الوقت ، انضم متعاونون جدد.عمل مهندس هندي يدعى نيكي بارمار في شركة برمجيات أمريكية في الهند وانتقل لاحقًا إلى الولايات المتحدة.حصلت على درجة الماجستير من جامعة جنوب كاليفورنيا في عام 2015 وتم تجنيدها من قبل جميع شركات التكنولوجيا الكبرى.اختارت جوجل.عندما بدأت العمل ، انضمت إلى UszKoreit وعملت على تحسين المتغيرات النموذجية في بحث Google.
عضو جديد آخر هو Llion Jones.ولد ونشأ في ويلز وأحب أجهزة الكمبيوتر “لأنه لم يكن طبيعيًا”.في جامعة برمنغهام ، أخذ دورة منظمة العفو الدولية وطور فضولًا حول الشبكات العصبية كمقدمة للمواقع التاريخية.حصل على درجة الماجستير في يوليو 2009 وعاش في صناديق الإغاثة لعدة أشهر لأنه لم يتمكن من العثور على وظيفة أثناء الركود.وجد وظيفة في شركة محلية ثم تقدم بطلب للحصول على Google باعتبارها “خطوة يائسة”.حصل على الوظيفة ودخل في النهاية Google Research ، حيث كان مديره Polosukhin.
有一天，Jones从名叫Mat Kelcey的同事那里听说了自我关注的概念，并后来加入了变换器团队。(في وقت لاحق ، قابل جونز كيلسي وأطلعه على مشروع Transformer. لم يشتريه Kelcey. . Kelcey says now. )
姓名：NIKI PARMAR / 职业：ESSENTIAL AI的联合创始人
变换器的工作吸引了其他也在试图改进大型语言模型的谷歌大脑研究人员。这第三波包括出生于波兰的理论计算机科学家Łukasz Kaiser和他的实习生Aidan Gomez。Gomez在加拿大安大略省的一个小农场村庄长大，他的家人每年春天都会为枫糖浆敲击枫树。
بصفته مبتدئًا في جامعة تورنتو ، وقع في حب الذكاء الاصطناعى من النظرة الأولى وانضم إلى مختبر جيفري هينتون ، وهي مجموعة تعلم آلي.他开始联系在谷歌写过有趣论文的人，提出扩展他们工作的想法。Kaiser上钩了，并邀请他实习。直到几个月后，Gomez才知道这些实习是为博士生准备的，而不是像他这样的本科生。
Kaiser和Gomez很快意识到，自我关注看起来是解决他们正在解决的问题的一个有前途的、更激进的方案。“我们有意识地讨论了是否想要合并这两个项目，”Gomez说。答案是是的。
变换器团队开始构建一个自我关注模型，将文本从一种语言翻译成另一种语言。يقيسون أدائها باستخدام معيار يسمى Bleu ، والذي يقارن إخراج الجهاز بعمل مترجم بشري.منذ البداية ، قام نموذجهم الجديد بعمل رائع.وقال أوسكوريت: “لقد انتقلنا من عدم وجود دليل على مفهوم إلى وجود شيء ما على الأقل مماثلة لأفضل بديل لـ LSTM في ذلك الوقت”.ولكن بالمقارنة مع الذاكرة الطويلة والقصيرة الأجل ، “إنها ليست أفضل”.
وصلوا إلى منصة-حتى يوم واحد في عام 2017 ، عندما تعثر نام شازير في مشروعهم.Shazeer هو موظف كبير في Google انضم إلى الشركة في عام 2000 وهو أسطورة داخلية ، بدءًا من عمله في نظام الإعلان المبكر للشركة.يعمل Shazeer في التعلم العميق لمدة خمس سنوات وقد طورت مؤخرًا اهتمامًا بنماذج اللغة الكبيرة.لكن هذه النماذج بعيدة عن إنتاج المحادثة السلسة التي اعتقد أنها يمكن أن تكون.
وفقًا لتذكر Shazeer ، كان يسير في منطقة عمل Kaiser في ممر المبنى 1965.وجد نفسه يستمع إلى مناقشة ساخنة.”أتذكر أن آشيش كان يتحدث عن فكرة استخدام التركيز الذاتي ، وكان نيكي متحمسًا جدًا لذلك. فكرت ، واو ، بدا الأمر وكأنه فكرة جيدة. بدا الأمر وكأنه فريق ذكي ممتع وذكي.” وجد Shazeer الشبكات العصبية المتكررة الحالية “مزعجة” وفكر: “دعنا نستبدلها!”
انضمام شازير إلى الفريق هو المفتاح.”هذه النظريات أو الآليات البديهية ، مثل التركيز الذاتي ، تتطلب دائمًا تنفيذًا دقيقًا للغاية ، وغالبًا ما يكون ذلك مع حفنة من” السحر “ذوي الخبرة لإظهار أي علامات للحياة” ، قال أوسكوريت.بدأ شازير على الفور في إلقاء سحره.قرر كتابة نسخته الخاصة من الكود لفريق Transformer.قال: “أخذت الفكرة الأساسية وجعلتها بنفسي”.
في بعض الأحيان كان يسأل أسئلة قيصر ، لكن في معظم الوقت ، قال إنه “فعل ذلك لفترة من الوقت ثم عاد وقال:” انظر ، لقد نجحت “.” باستخدام أعضاء الفريق في وقت لاحق مع “السحر” ، “وماذا تصف الكلمات” الجرس والصافرة “، أخذ النظام إلى مستوى جديد.
وقال غوميز “هذا أدى إلى سباق العدو”.لديهم الدافع ، وهم يريدون اللحاق بالموعد النهائي القادم – أي يوم ، وهي ورقة نشرت في مؤتمر معالجة المعلومات العصبية ، وهو أكبر حدث من الذكاء الاصطناعي في ديسمبر.مع تحول الشتاء في وادي السيليكون إلى الربيع ، تسارعت وتيرة التجارب.اختبروا نموذجين للمحولات: أحدهما تم إنتاجه بتدريب لمدة 12 ساعة والآخر هو نسخة أكثر قوة تسمى Big ، والتي تم تدريبها بعد ثلاثة أيام ونصف.طلبوا منهم البدء في ترجمة اللغة الإنجليزية إلى الألمانية.
يتفوق النموذج الأساسي على جميع المنافسين – ويحصل Big على درجة Bleu ، مما يؤدي إلى كسر السجلات السابقة بشكل حاسم بينما يكون أكثر فعالية من الناحية الحسابية.”لقد فعلنا ذلك ، أسرع من أي شخص آخر” ، قال بارمار.”وهذه مجرد بداية ، لأن الأرقام تستمر في الارتفاع.”
أصبحت وتيرة عمل الفريق مجنونة في الأسبوعين الماضيين قبل الموعد النهائي.على الرغم من أن بعض أعضاء الفريق لا يزال لديهم مكاتب في المبنى عام 1945 ، إلا أنهم يعملون في الغالب في بناء عام 1965 لأن هناك آلة إسبرسو أفضل في المطبخ المصغر هناك.يتذكر غوميز ، الذي كان مشغولاً بالتصحيح كمتدرب: “الناس بالكاد ينامون” ، الذي كان مشغولاً بالتصحيح كمتدرب أثناء العمل أيضًا على التصورات وأوراق الرسم.في مثل هذه المشاريع ، يتم إجراء تجارب الاجتثاث عادة – تتم إزالة بعض الأجزاء للتحقق من أن الأجزاء المتبقية كافية لإكمال المهمة.
وقال غوميز: “لقد جربنا جميع المجموعات الممكنة من التقنيات والوحدات النمطية – والتي هي مفيدة والتي لا طائل منها. واصلنا المحاولة والاستبدال”.”لماذا يعمل النموذج بهذه الطريقة غير بديهية؟ أوه ، لأننا نسينا القيام بالانسداد بشكل صحيح. وعلق جونز أن منتجات هذه العملية عالية السرعة والخطأ تكرارا عالي السرعة.”نعوم معالج.”
يتذكر Vaswani قضاء الليل على أريكة المكتب مرة واحدة ، بينما كان الفريق يكتب الورقة.كان يحدق في الستائر التي فصلت الأريكة عن بقية الغرفة ، التي تجذبها النمط أعلاه ، والتي تشبه المشابك والخلايا العصبية.كان غوميز حاضرًا أيضًا في ذلك الوقت ، وأخبره فاسواني أن العمل الذي كانوا يقومون به سيتجاوز الترجمة الآلية.وقال “في النهاية ، مثل الدماغ البشري ، تحتاج إلى توحيد كل هذه الطرائق – الصناديق والصوت والرؤية – في بنية واحدة”.”لدي شعور قوي بأننا نكتشف شيئًا أكثر شيوعًا.”
ومع ذلك ، في قيادة Google الأعلى ، يُنظر إلى العمل على أنه مجرد مشروع AI آخر مثير للاهتمام.سئل المؤلفون عما إذا كان رؤساءهم في كثير من الأحيان اتصلوا بهم لتحديث تقدم المشروع ، ولم تكن هناك إجابات كثيرة.لكن “نعلم أن هذا ربما يكون شيئًا كبيرًا”.”هذا يقودنا إلى أن نكون مفتونين بالفعل بالجملة في نهاية الورقة.”
تنبئ هذه الجملة بما قد يحدث بعد ذلك – ينطبق نموذج المحول على جميع أشكال التعبير البشري بشكل أساسي.”نحن متحمسون لمستقبل النماذج القائمة على الاهتمام” ، كتبوا.”نخطط لتوسيع المحول إلى المشكلات التي تنطوي على طرائق الإدخال والإخراج بخلاف النص” والنظر في “الصورة والصوت والفيديو”.
في إحدى الليالي قبل أيام قليلة من الموعد النهائي ، أدرك Uszkoreit أنهم يحتاجون إلى لقب.أشار جونز إلى أن الفريق قدم رفضًا أساسيًا لتكنولوجيا واحدة: الاهتمام.سميت البيتلز ذات مرة أغنية “كل ما تحتاجه هو الحب.”لماذا لا تسمي الورقة “الانتباه هو كل ما تحتاجه”؟
“أنا بريطاني” ، قال جونز.”لقد استغرق الأمر بالفعل خمس ثوانٍ فقط للتفكير. لم أتوقع منهم استخدامه.”
واصلوا جمع النتائج التجريبية حتى الموعد النهائي.”لقد خرجت الأرقام الإنجليزية قبل خمس دقائق من تقديم الورقة”. تمت كتابة الورق.
مثل كل شركة تقنية أخرى تقريبًا ، تقدمت Google بسرعة بطلب للحصول على براءة اختراع مؤقت للعمل.والسبب هو عدم منع الآخرين من استخدام هذه الأفكار ، ولكن لبناء محفظة براءات الاختراع الخاصة بهم لأغراض دفاعية.(فلسفة الشركة هي “إذا تقدم التكنولوجيا ، فستستفيد Google.”)
عندما يسمع فريق المحول ملاحظات من مراجعي الأقران في الاجتماع ، يتم خلط ردود الفعل.وقال بارمار: “أحدهما إيجابي ، أحدهما إيجابي للغاية ، والآخر هو ،” هذا جيد “.تم قبول الورقة للعرض في جلسة الملصقات في الليل.
بحلول ديسمبر ، بدأت الورقة تسبب إحساسًا.كان اجتماعهم لمدة أربع ساعات في 6 ديسمبر مليئًا بالعلماء الذين أرادوا معرفة المزيد.كان المؤلفون أجش عندما تحدثوا عن أصواتهم.في الساعة 10:30 مساءً ، في نهاية الاجتماع ، لا تزال هناك مجموعة من الناس.وقال أوسكوريت “كان على حارس الأمن أن يخبرنا أن نغادر”.ربما كانت أكثر اللحظات إرضاءًا بالنسبة له هي أن عالم الكمبيوتر سيب هوشريتر تقدم إلى الأمام لامتحان العمل-وهو مجاملة كبيرة بالنظر إلى أن Hochreiter كان المشاركة في المخطط المشارك للذاكرة الطويلة والقصيرة الأجل ، ووضع المحول فقط استبداله كأداة مفضلة في صندوق أدوات الذكاء الاصطناعي.
لم يتولى المحول العالم على الفور ، أو حتى Google.يتذكر Kaiser أنه قبل وبعد نشر الورقة ، اقترح Shazeer على المديرين التنفيذيين من Google أن الشركات يجب أن تتخلى عن مؤشر البحث بالكامل وتدريب شبكة ضخمة مع محول – يستخدم المحولات بشكل أساسي لتغيير طريقة تنظيم Google.في ذلك الوقت ، اعتقد كايزر أن الفكرة كانت سخيفة.الآن ، تعتقد الحكمة التقليدية أنها مسألة وقت فقط.
استولت شركة ناشئة تسمى Openai الفرصة بشكل أسرع.بعد فترة وجيزة من نشر الورقة ، اقترح المحقق الرئيسي في Openai Ilya Sutskever – الذي كان يعرف فريق Transformer خلال فترة Google – أن عالمها Alex Radford يدرس الفكرة.والنتيجة هي الدفعة الأولى من منتجات GPT.كما أخبرني الرئيس التنفيذي لشركة Openai Sam Altman العام الماضي ، “عندما ظهرت ورقة المحولات ، لا أعتقد أن أي شخص من Google أدرك ما يعنيه ذلك”.
الوضع الداخلي أكثر تعقيدًا.قال أوسكوريت: “نحن نعلم جيدًا أن المحولات يمكن أن تفعل شيئًا سحريًا حقًا”.”الآن ، قد تسأل ، لماذا لم تطلق Google ChatGpt في عام 2018؟ في الواقع ، كان من الممكن أن يكون لدينا GPT-3 أو حتى 3.5 في عام 2020. المشكلة الحقيقية ليست ، هل رأوا ذلك؟ السؤال هو ، لماذا نحن لا نفعل أي شيء مع الحقائق التي رأيناها؟
يشير العديد من منتقدي التكنولوجيا إلى انتقال Google من ملعب يركز على الابتكار إلى البيروقراطية التي تركز على القاع.كما قال غوميز لصحيفة فاينانشال تايمز ، “إنهم لا يقومون بالتحديث. إنهم لا يتبنون هذه التكنولوجيا”.تبدأ Google في دمج المحولات في منتجات في عام 2018 ، أولاً مع أدوات الترجمة الخاصة بها.في نفس العام ، قدمت نموذج لغة جديد قائم على المحولات ، Bert ، وبدأ تطبيقه للبحث في العام المقبل.
الاسم: Aidan Gomez/المهنة: المؤسس المشارك والرئيس التنفيذي لشركة Cohere
لكن هذه التغييرات من وراء الكواليس تبدو خجولة مقارنةً بقفزة Openai وتكامل Microsoft الجريء للأنظمة المستندة إلى المحول إلى تشكيلة منتجاتها.عندما سألت الرئيس التنفيذي لشركة Sundar Pichai لماذا لم تطلق شركته أولاً نموذجًا لغويًا كبيرًا مثل ChatGPT العام الماضي ، اعتقد أنه في هذه الحالة ، وجد Google أنه من المفيد السماح للآخرين بالقيادة.وقال “لست متأكدًا تمامًا مما إذا كان ذلك سيكون ناجحًا كما هو. الحقيقة هي ، بعد أن يرى الناس كيف يعمل ، يمكننا فعل المزيد”.
لا يمكن إنكار أن جميع مؤلفي الورقة الثمانية غادروا جوجل.قامت شركة Polosukhin بالقرب من blockchain مع رسملة سوق تبلغ حوالي 4 مليارات دولار.أصبح بارمار وفاسواني شركاء تجاريين في عام 2021 ، حيث شارك في تأسيس Adept (بقيمة مليار دولار) ويقومون الآن بتشغيل شركتهما الثانية التي تسمى شركة AIS الأساسية (تلقى 8 ملايين دولار في الاستثمار).
تبلغ قيمة Sakana AI في Llion Jones ومقرها طوكيو 200 مليون دولار.بعد مغادرة شازير في أكتوبر 2021 ، شارك في تأسيس الشخصية AI (بقيمة 5 مليارات دولار).شارك المتدرب Aidan Gomez في تأسيس تورنتو (بقيمة 2.2 مليار دولار) في عام 2019.تبلغ قيمة شركة Jakob Uszkoreit للتكنولوجيا الحيوية 300 مليون دولار.كل هذه الشركات (باستثناء القريبة) تستند إلى تقنية المحول.
الاسم: Lukasz Kaiser / المهنة: زميل Openai
كايزر هو الشخص الوحيد الذي لم يبدأ شركة.انضم إلى Openai وأصبح مخترعًا لتكنولوجيا جديدة تسمى Q*، والتي قال Altman في العام الماضي “ستدفع حجاب الجهل ويدفع حدود الاكتشاف إلى الأمام.” خلال المقابلة ، قفز موظفو العلاقات العامة في Openai على الطاولة تقريبًا لمنعه.)
هل تفوت جوجل هؤلاء الهاربين؟بالطبع ، باستثناء الآخرين الذين ينتقلون من الشركة إلى بدء تشغيل الذكاء الاصطناعى الجديد.(ذكرني بيتشاي أنه عندما سألته عن مغادرة المترجم ، شهدت الصناعة حبيبي Openai انشقاقًا أيضًا: “إن حقل الذكاء الاصطناع البيئة التي تتابع الأفكار غير التقليدية.وقال بارمار: “من نواح كثيرة ، كانت Google في المقدمة – إنها تستثمر في العقل الصحيح ويخلقون بيئة يمكننا فيها استكشاف الحدود ودفعها”.”لقد استغرق الأمر وقتًا للاعتماد. Google لديها المزيد من المخاطر.”
إذا لم تكن هناك بيئة: لا يوجد محول.ليس فقط المؤلفين جميع موظفي Google ، بل يعملون في نفس المكتب.أدت لقاءات المواجهة في الممر والدردشة في الغداء إلى لحظات كبيرة.الفريق متنوع ثقافيًا أيضًا.وُلد ستة من المؤلفين الثمانية خارج الولايات المتحدة.
قال أوسكوريت من مكتبه في برلين إن الابتكار هو كل شيء عن الظروف المناسبة.وقال “إنه يجعل الناس متحمسين للغاية لشيء ما معًا في الوقت المناسب في حياتهم”.”إذا كان لديك هذا وكان لديك متعة في فعل الأشياء ، فأنت تتعامل مع المشكلات الصحيحة – وأنت محظوظ – يحدث السحر.”
حدث شيء سحر بين أوسكوريت ووالده الشهير.بعد كل مناقشات الجدول ، أبلغ هانز أوسكوريت ، أنه شارك الآن في تأسيس شركة تقوم ببناء نموذج لغة كبير.بالطبع ، يتم استخدام المحول.
<-style-type>
