البديل: لماذا أفضل AIS تحتاج إلى التشفير

المؤلف: دانييل باراباندر ، المستشار العام وشريكه في الصندوق ؛

النقاط الرئيسية لهذه المقالة

• في الوقت الحاضر ، يقود تطوير AI الأساسي عدد قليل من شركات التكنولوجيا وهو في حالة مغلقة ومضادة للمنافسة.

• يعد تطوير البرمجيات المفتوحة المصدر خيارًا آخر ، ولكن لا يمكن تطوير AI الأساسية كمشروع برمجيات مفتوح المصدر تقليدي (مثل Linux) بسبب “مشكلات الموارد” والمساهمين مفتوح المصادر يطلب من المصادر التبرع بالحوسبة وتكاليف البيانات التي تتجاوز قدراتهم الشخصية .

• يحل التشفير مشكلات الموارد من خلال المساهمة في مشروع AI مفتوح المصدر الأساسي من خلال مزودي موارد حوافز الملكية.

• يمكن أن يدعم AI Open Source AI مع التشفير نماذج أكبر ودفع المزيد من الابتكار ، مما يؤدي إلى أفضل من الذكاء الاصطناعي.

مقدمة

أظهر استطلاع استطلاع عام 2024 Pew Research Center أن 64 ٪ من الأميركيين يعتقدون أن وسائل التواصل الاجتماعي لها تأثير سلبي وليس إيجابيًا على الولايات المتحدة ، و 78 ٪ يقولون إن شركات وسائل التواصل الاجتماعي لديها الكثير من القوة في سياسة اليوم وتأثيرها من المحتمل أن تقوم المنصات أو من المحتمل أن تختلف عن وجهات النظر السياسية عن قصد.يعد الاشمئزاز لمنصات التواصل الاجتماعي أحد القضايا القليلة التي توحد الأميركيين.

إذا نظرنا إلى الوراء إلى تقدم تجارب وسائل التواصل الاجتماعي على مدار العشرين عامًا الماضية ، يبدو من المحتم أن ننتهي في هذا الموقف.أنتم جميعا تعرف هذه القصة.اجتذبت بعض شركات التكنولوجيا الكبيرة في البداية الانتباه ، والأهم من ذلك ، حصلت على بيانات المستخدم.بينما كان الناس يأملون في البداية في أن يتم الإعلان عن البيانات ، إلا أن الشركات قد غيرت الاتجاه بسرعة وإيقاف تشغيل الوصول بعد استخدامها لإنشاء تأثير شبكة غير قابل للكسر.هذا يؤدي بشكل أساسي إلى الوضع الحالي ، حيث توجد أقل من عشر شركات وسائل الإعلام الاجتماعية الكبيرة مثل المناطق الإقطاعية الصغيرة تحت القلة وليس لديها أي دافع للتغيير لأن الوضع الحالي مربح للغاية.إنه مغلق ، مضاد للمنافسة.

بالنظر إلى التقدم الحالي لتجربة الذكاء الاصطناعي ، أشعر أنني أكرر نفس الفيلم ، لكن هذه المرة يتضمن المزيد.لقد جمعت حفنة من شركات التكنولوجيا الكبيرة وحدات معالجة الرسومات والبيانات لبناء نماذج منظمة العفو الدولية الأساسية ومنع الوصول إلى هذه النماذج.بالنسبة للوافدين الجدد (لا يجمعون مليارات الدولارات) ، لم يعد من الممكن بناء نسخة تنافسية لأن حاجز الدخول مرتفع للغاية – إن الإنفاق الرأسمالي الحسابي لتدريب ما قبل التدريب على نموذج أساسي يصل إلى مليارات الدولارات ، ومن من تقوم شركات وسائل التواصل الاجتماعي التي استفادت من الطفرة التكنولوجية الأخيرة بالاستفادة من سيطرتها على بيانات مستخدم الملكية لبناء نماذج لا يمكن للمنافسين القيام بها.نحن جميعًا في مساحة الذكاء الاصطناعي لإعادة إنتاج ما نقوم به على وسائل التواصل الاجتماعي: مغلق ومضاد للمنافسة.إذا واصلنا على طول هذا المسار من الذكاء الاصطناعى المغلق ، فسيتحكم عدد قليل من شركات التكنولوجيا في الوصول إلى المعلومات والفرص.

مفتوح المصدر الذكاء الاصطناعي و “قضايا الموارد”

إذا كنا لا نريد عالم منظمة العفو الدولية مغلقة ، فما هو بديلنا؟الجواب واضح ، أي بناء النموذج الأساسي في مشروع برنامج مفتوح المصدر.لدينا أمثلة لا حصر لها من المشاريع المفتوحة المصدر التي تبني البرنامج الأساسي الذي نعتمد عليه كل يوم.إذا أظهر Linux أنه يمكن أيضًا بناء شيء أساسي مثل نظام التشغيل مفتوح المصدر ، فما الفرق مع LLM؟

لسوء الحظ ، هناك بعض القيود في نماذج الذكاء الاصطناعي الأساسي التي تجعلها مختلفة عن البرامج التقليدية ، مما يعيق جدوىها بشكل خطير كمشاريع برمجيات مفتوحة المصدر التقليدية.على وجه التحديد ، أساسيمنظمة العفو الدوليةيتطلب النموذج نفسه موارد الحوسبة والبيانات تتجاوز قدرات أي فرد.والنتيجة هي أنه على عكس مشاريع البرمجيات المفتوحة المصدر التقليدية التي تعتمد على الأشخاص للتبرع بالوقت (والتي تمثل بالفعل مشكلة صعبة) ، فإن Open Source AI يتطلب أيضًا من الأشخاص التبرع بالموارد في شكل الحوسبة والبيانات.هذه هي “مشكلة الموارد” من AI المصدر المفتوح.

لفهم مشكلات الموارد بشكل أفضل ، دعونا نلقي نظرة على نموذج LLAMA من Meta.تختلف Meta عن منافسيها (Openai ، Google ، إلخ) من حيث أنه لا يخفي النموذج وراء واجهات برمجة التطبيقات المدفوعة ، ولكن بدلاً من ذلك يوفر وزن Llama مجانًا لأي شخص لاستخدامه (مع بعض القيود).تمثل هذه الأوزان ما يتعلمه النموذج من عملية تدريب Meta وضرورية لتشغيل النموذج.مع الأوزان ، يمكن لأي شخص ضبط النموذج أو استخدام إخراج النموذج كمدخل للنموذج الجديد.

في حين أعلنت Meta عن وزن Llama ليتم الإشادة بها ، إلا أنه ليس مشروعًا مفتوح المصدر حقًا.يقوم Meta بتدريب النموذج بشكل خاص باستخدام حساباته وبياناتها وقراراتها ويقرر من جانب واحد عند فتحه على العالم.لا تدعو META باحثين/مطورين مستقلين إلى المجتمع ، لأن أفراد المجتمع الأفراد لا يمكنهم تحمل تكاليف موارد الحساب أو البيانات اللازمة لتدريب النماذج أو إعادة تدريبها-عشرة آلاف من وحدات معالجة الرسومات ذات الذاكرة العالية ، ومراكز البيانات التي تضمهم ، ومرافق قاعدة تبريد كبيرة ، ومرافق كبيرة في قاعدة التبريد ، و تريليونات من رموز بيانات التدريب.كما ذكر تقرير مؤشر منظمة العفو الدولية بجامعة ستانفورد ، “تكاليف التدريب المتزايدة قد استبعدت بالفعل الجامعات (تقليديا مركز أبحاث الذكاء الاصطناعي) من تطوير النماذج الأساسية المتطورة.” هو 100 مليون دولار ، وقد لا تشمل الإنفاق الرأسمالي ؛ .لذلك ، على الرغم من أن المساهمين في مجتمع Llama قد يكون لديهم القدرة التقنية على المساهمة والتكرار في بنية النموذج الأساسية ، إلا أنهم ما زالوا يفتقرون إلى الوسائل للقيام بذلك.

باختصار ، على عكس مشاريع البرمجيات المفتوحة المصدر التقليدية ، لا تتطلب مشاريع البرمجيات مفتوحة المصدر المساهمين فقط للمساهمة في الوقت ، في حين أن المساهمين في مشاريع AI مفتوحة المصدر مطلوبة للمساهمة بوقت وتكاليف كبيرة في شكل الحوسبة والبيانات.من غير الواقعي الاعتماد على خدمات النوايا الحسنة والمتطوع لإلهام ما يكفي من الحفلات لتوفير هذه الموارد.انهم بحاجة إلى مزيد من الدافع.176B المعلمة مفتوحة المصدر LLM قد يكون نجاح Bloom أفضل مثال مضاد للخدمات الشهرة والمتطوعين لتطوير AI مفتوح المصدر ، والذي يتضمن 1000 باحث متطوع من أكثر من 70 دولة وأكثر من 250 مؤسسة.في حين أن هذا هو بلا شك إنجاز مثير للإعجاب (أنا أؤيده تمامًا) ، فقد استغرق الأمر عامًا لتنسيق جولة تدريبية وتلقى تمويلًا بقيمة 3 ملايين يورو من مؤسسات الأبحاث الفرنسية (ولا يتم تضمين هذه الرسوم في استخدام النفقات الرأسمالية لـ يعمل الحاسوب الخارق على تدريب النموذج ، يمكن لأحد المؤسسات الفرنسية استخدامه بالفعل).إن عملية التنسيق والاعتماد على منح جديدة لتكرار الإزهار هي مرهقة للغاية وبيروقراطية منافسة لسرعة مختبرات التكنولوجيا الكبيرة.بينما كان بلوم هارب لأكثر من عامين ، لا أعرف ما إذا كانت هذه المجموعة قد قدمت أي نماذج متابعة.

لجعل AI مفتوح المصدر ممكنًا ، نحتاج إلى تحفيز مقدمي الموارد للمساهمة في الحوسبة والبيانات دون نفقات المساهمين مفتوح المصدر.

لماذا يمكن Crypto حل مشكلة موارد AI المصدر المفتوح

تهدف اختراق Crypto إلى استخدام الملكية لجعل مشاريع البرمجيات مفتوحة المصدر مع ارتفاع تكاليف الموارد.يحل Crypto مشاكل الموارد المتأصلة في AI مفتوح المصدر من خلال تحفيز مقدمي الموارد المضاربة مع احتمالية الاتجاه الصعودي بدلاً من مطالبة المساهمين مفتوح المصدر لتوفير هذه الموارد مقدمًا.

لإثبات هذا ، فقط انظر إلى مشروع Crypto Project الأصلي Bitcoin.Bitcoin هو مشروع برمجي مفتوح المصدر ؛لكن الكود نفسه ليس سلاحًا سريًا ؛يعد البرنامج مفيدًا فقط إذا كان عدد كتل التعدين الحسابية يكفي لتجاوز قوة الحوسبة لأي مساهم واحد.بهذه الطريقة فقط ، يمكن تحقيق البرنامج ذي القيمة المضافة: الحفاظ على دفتر الأستاذ غير المنضبط.مثل Foundation Open Source AI ، تمثل Bitcoin أيضًا مشروع برنامج مفتوح المصدر يتطلب موارد تتجاوز إمكانيات أي مساهم واحد.قد يحتاجون إلى هذا الحساب لأسباب مختلفة-هو جعل الشبكة مقاومة للعبث ، في حين أن الأساس منظمة العفو الدولية هو تكرار النموذج-ولكنهم جميعهم يتطلبون موارد تتجاوز احتياجات أي مساهم واحد فقط. العمل كمشروع برنامج مفتوح المصدر قابل للتطبيق.

تعد Bitcoin ، أو أي شبكة تشفير ، خدعة سحرية لتحفيز المشاركين على توفير موارد لمشاريع البرمجيات مفتوحة المصدر لتوفير ملكية الشبكة في شكل الرموز.كما كتب جيسي في ورقة التأسيس الخاصة به للبديل مرة أخرى في عام 2020 ، يساهم مقدمو موارد الحوافز الملكية الموارد في المشاريع في مقابل المساحة الصعودية المحتملة للشبكة.هذا مشابه لكيفية استخدام حقوق الملكية العرق لبدء شركة ناشئة – من خلال دفع الموظفين الأوائل (مثل المؤسسين) في المقام الأول من خلال ملكية الأعمال ، يمكن للشركات الناشئة التغلب على مشاكل بدء التشغيل من خلال الحصول على قوة عاملة لن يتمكنوا من تحملها.يمتد Crypto مفهوم حقوق العرق إلى مقدمي الموارد ، وليس فقط أولئك الذين يكرسون وقتهم.لذلك ، يركز Variant على الاستثمار في المشاريع التي تستخدم الملكية لبناء تأثيرات الشبكة ، مثل Uniswap و Morpho و World.

إذا أردنا جعل AI مفتوح المصدر ممكنًا ، فإن إدراك الملكية من خلال Crypto هو الحل لمشاكل الموارد التي تواجهها.الباحثون أحرار في المساهمة بأفكار تصميم النماذج الخاصة بهم في مشاريع المصادر المفتوحة ، لأن الموارد اللازمة لتنفيذ أفكارهم سيتم توفيرها من خلال حوسبة مقدمي البيانات وبيانات في مقابل ملكيتهم للمشروع ، بدلاً من مطالبة هؤلاء الباحثين بدفع تكلفة مقدمة.يمكن للملكية أن تأخذ العديد من الأشكال المختلفة في AI Open Source ، لكن أكثر ما يثير حماسته هو ملكية النموذج نفسه ، مثل النهج الذي اقترحه Pluralis.

يطلق Pluralis هذا النهج على نموذج بروتوكول ، حيث يمكن لمقدمي الخدمات الحوسبة المساهمة في موارد الحوسبة لتدريب نموذج محدد مفتوح المصدر واكتساب ملكية إيرادات الاستدلال في المستقبل لهذا النموذج.نظرًا لأن الملكية تنتمي إلى نموذج محدد وتستند قيمة الملكية إلى دخل الاستدلال ، فإن مقدمي خدمات الحوسبة متحمسون لاختيار أفضل نموذج بدلاً من التدريب على الغش (لأن توفير تدريب غير مجدي يقلل من القيمة المتوقعة لدخل الاستدلال في المستقبل).ثم يصبح السؤال: كيفية تطبيق الملكية على Pluralis إذا كنت بحاجة إلى إرسال أوزان إلى مزود الحساب للتدريب؟الجواب هو أن التوازي النموذجي يستخدم لتخصيص شظايا نموذجية بين العمال ، مما يسمح باستغلال خاصية رئيسية للشبكة العصبية: يمكن أن تسهم في تدريب نماذج أكبر مع رؤية جزء صغير فقط من الوزن الكلي ، وهذا يضمن أن الكامل مجموعة الوزن لا تزال غير قابلة للتطبيق.وبسبب العديد من النماذج المختلفة التي يتم تدريبها على Pluralis ، سيكون للمدرب العديد من مجموعات الوزن المختلفة ، مما يجعل إعادة إنشاء النموذج أمرًا صعبًا للغاية.هذا هو المفهوم الأساسي لنماذج البروتوكول: فهي قابلة للتدريب ، ويمكن استخدامها ، ولكن لا يمكن استخلاصها من البروتوكول (لا توجد حاجة إلى قوة حسابية لتدريب النموذج من الصفر).هذا يعالج قلقًا غالبًا ما يثيره منتقدو AI مفتوح المصدر والذين أغلقوا منافسي الذكاء الاصطناعى نتائج العمل للمشاريع المفتوحة.

لماذا Crypto+Open Source = أفضل من الذكاء الاصطناعي

لقد بدأت هذا المنشور بمشكلة في السيطرة على شركات التكنولوجيا الكبيرة لتوضيح من منظور معياري لماذا AI مغلق سيء.لكن في عالم تكون فيه تجاربنا عبر الإنترنت قاتلة ، أشعر بالقلق من أن هذا قد لا يكون له معنى لمعظم القراء.لذلك في النهاية ، أريد أن أعطي سببين ، أن AI مفتوح المصدر مدعومًا بالتشفير سيؤدي فعليًا إلى ذكاء اصطناعي أفضل.

أولاً ، سيتيح لنا مزيج من Crypto و Open Source AI الوصول إلى النموذج الأساسي التالي ، حيث سيتم تنسيق موارد أكثر من الذكاء الاصطناعى المغلقة.يوضح بحثنا الحالي أن هناك المزيد من الموارد في شكل حسابي وبيانات تعني نماذج أفضل ، وهذا هو السبب في أن النماذج الأساسية غالباً ما تصبح أكبر وأكبر.يوضح لنا Bitcoin ما هو Open Source Software بالإضافة إلى فتح التشفير من حيث قوة الحوسبة.إنها أكبر شبكة حوسبة في العالم وأقوىها ، أوامر ذات حجم أكبر من سحابة شركات التكنولوجيا الكبيرة.تشفير يحول المنافسة المعزولة إلى منافسة تعاونية.يتم تحفيز مقدمي الموارد للمساهمة في مواردهم لحل المشكلات الجماعية بدلاً من تخزين مواردهم لحل المشكلة بشكل فردي (وبشكل متكرر).سيتمكن Open Source AI باستخدام التشفير من الاستفادة من الحوسبة الجماعية والبيانات الجماعية في العالم لإنشاء أحجام النماذج التي تتجاوز إمكانات الذكاء الاصطناعى المغلقة.لقد أظهرت شركات مثل الزائدين قوة الاستفادة من موارد الحوسبة الجماعية التي يمكن لأي شخص استئجار وحدات معالجة الرسومات على أسواقها المفتوحة بسعر أقل.

ثانياً ، سيؤدي الجمع بين Crypto و Open Source AI إلى زيادة الابتكار.هذا لأنه إذا تمكنا من التغلب على مشاكل الموارد ، فيمكننا العودة إلى الطبيعة المصدر المفتوح التكرارية والمبتكرة للغاية لأبحاث التعلم الآلي.قبل الإطلاق الأخير لـ LLM الأساسي ، قام باحثو التعلم الآلي بنشر مخططات علنية لنماذجهم ونماذج التكرار لعقود.غالبًا ما تستخدم هذه النماذج مجموعات بيانات مفتوحة محدودة ولديها متطلبات حسابية يمكن التحكم فيها ، مما يعني أنه يمكن لأي شخص التكرار عليها.من خلال هذا التكرار ، حققنا تقدمًا في نمذجة التسلسل ، مثل RNN و LSTM وآليات الانتباه ، مما يجعل من الممكن بناء بنية نموذج “المحول” التي يعتمد عليها LLM الحالية.ولكن كل هذا قد تغير مع إدخال GPT-3 (الذي عكس اتجاه Open Source GPT-2) ونجاح Chatgpt الهائل.وذلك لأن Openai يثبت أنه إذا كنت تستثمر ما يكفي من الحساب والبيانات على النماذج الضخمة ، فيمكنك إنشاء LLMs التي يبدو أنها تفهم اللغة البشرية.وقد أدى ذلك إلى خلق مشاكل في الموارد ، مما يجعل من المستحيل على الأوساط الأكاديمية تحمل أسعار عالية وتسبب في توقف مختبر شركات التكنولوجيا الكبرى بشكل أساسي عن نشر بنياتها النموذجية علنًا للحفاظ على ميزة تنافسية.الحالة الحالية للاعتماد بشكل أساسي على المختبرات الفردية سوف تحد من قدرتنا على اختراق حدود التكنولوجيا الحديثة.سيعني Open Source AI الذي تم تنفيذه من خلال التشفير أن الباحثين سيتمكنون مرة أخرى من مواصلة هذه العملية التكرارية على النماذج المتطورة لاكتشاف “المحول التالي”.