اقرأ ، فهرس للتحليل باختصار وصف مسار فهرسة بيانات Web3

1 مقدمة

بدءًا من الموجة الأولى من Dapps Etherol و Ethlend و Cryptokitties في عام 2017 ، إلى التنوع الحالي من DAPPs الماليين والألعاب والاجتماعية بناءً على اختلافات مختلفة. مصدر البيانات المختلفة التي اعتمدتها هذه DAPPs في التفاعل؟

في عام 2024 ، ستركز النقاط الساخنة على AI و Web3.مثلما تعتمد النباتات على أشعة الشمس والرطوبة لتزدهر ، تعتمد أنظمة الذكاء الاصطناعي أيضًا على كميات هائلة من البيانات إلى “التعلم” و “التفكير” باستمرار.بدون بيانات ، بغض النظر عن مدى روعة خوارزمية الذكاء الاصطناعى ، فهي مجرد قلعة في الهواء ولا يمكنها ممارسة الذكاء والكفاءة.

تحلل هذه الورقة تطور فهرسة بيانات blockchain في عملية تطوير الصناعة من منظور إمكانية الوصول إلى بيانات blockchain ، ويقارن بروتوكول فهرسة البيانات القديم. وتناقش هذان البروتوكولات الجديدة التي تجمع بين تقنية الذكاء الاصطناعي في خدمات البيانات وخصائص بنية المنتج.

2 فهرس البيانات التقليدي والبسيط: من عقد blockchain إلى قاعدة بيانات السلسلة الكاملة

2.1 مصدر البيانات: عقدة blockchain

عندما تعلمنا لأول مرة عن “ما هو blockchain” ، نرى هذه الجملة في كثير من الأحيان: blockchain هو كتاب حساب لا مركزي.العقد blockchain هي أساس شبكة blockchain بأكملها وتتحمل مسؤولية تسجيل وتخزين ونشر جميع بيانات المعاملات على السلسلة.تحتوي كل عقدة على نسخة كاملة من بيانات blockchain ، مما يضمن الحفاظ على الخصائص اللامركزية للشبكة.ومع ذلك ، بالنسبة للمستخدمين العاديين ، ليس من السهل إنشاء عقدة blockchain وصيانتها بأنفسهم.لا يتطلب هذا فقط إمكانات تقنية مهنية ، ولكنه يأتي أيضًا مع تكاليف عالية الأجهزة وعرض النطاق الترددي.في الوقت نفسه ، تكون إمكانات استعلام العقدة العادية محدودة ولا يمكن الاستعلام عن البيانات بالتنسيق الذي يتطلبه المطورين.لذلك ، على الرغم من أن الجميع يمكنهم من الناحية النظرية تشغيل العقد الخاصة بهم ، في الممارسة العملية ، عادة ما يكون المستخدمون أكثر ميلًا للاعتماد على خدمات الطرف الثالث.

لحل هذه المشكلة ، ظهر مقدمو العقدة RPC (استدعاء الإجراءات عن بُعد).هؤلاء مقدمي الخدمات مسؤولون عن تكلفة وإدارة العقد وتقديم البيانات من خلال نقاط نهاية RPC.يتيح ذلك للمستخدمين الوصول بسهولة إلى بيانات blockchain دون إنشاء العقد الخاصة بهم.نقاط نهاية RPC العامة مجانية ولكن لها حدود أسعار يمكن أن تؤثر سلبًا على تجربة المستخدم لـ DAPPs.توفر نقاط نهاية RPC الخاصة أداءً أفضل عن طريق تقليل الازدحام ، ولكن حتى استرجاع البيانات البسيط يتطلب الكثير من الاتصالات ذهابًا وإيابًا.هذا يجعلهم مرهقة وغير فعالة لاستعلام البيانات المعقدة.بالإضافة إلى ذلك ، من الصعب توسيع نطاق نقاط نهاية RPC الخاصة وتفتقر إلى التوافق عبر شبكات مختلفة.ومع ذلك ، فإن واجهة API الموحدة لمقدمي العقدة تمنح المستخدمين عتبة أقل للوصول إلى البيانات على السلسلة ، ووضع الأساس لتحليل البيانات اللاحق والتطبيق.

2.2 تحليل البيانات: من البيانات النموذجية إلى البيانات المتاحة

غالبًا ما تكون البيانات التي تم الحصول عليها من عقد blockchain هي البيانات الأولية التي تم تشفيرها وترميزها.على الرغم من أن هذه البيانات تحتفظ بسلامة وأمن blockchain ، فإن تعقيدها يزيد أيضًا من صعوبة تحليل البيانات.للمستخدمين العاديين أو المطورين ، تتطلب معالجة بيانات النموذج الأولي هذه مباشرة الكثير من المعرفة الفنية وحساب موارد الحوسبة.

عملية تحليل البيانات مهمة بشكل خاص في هذا السياق.من خلال تحليل بيانات النموذج الأولي المعقد إلى تنسيق أكثر فهمًا ومعالجًا ، يمكن للمستخدمين فهم هذه البيانات واستخدامها بشكل أكثر حدًا.يحدد نجاح تحليل البيانات مباشرة كفاءة وفعالية تطبيق بيانات blockchain وهو خطوة أساسية في عملية فهرسة البيانات بأكملها.

2.3 تطور فهرس البيانات

مع زيادة كمية بيانات blockchain ، يزداد الطلب على مفهرسي البيانات.يلعب المفهرسون دورًا حيويًا في تنظيم البيانات على سلسلة وإرسالها إلى قاعدة بيانات لسهولة الاستعلام.يتمثل مبدأ فهرسة فهرسة بيانات blockchain وجعلها متاحة بسهولة من خلال لغات الاستعلام التي تشبه SQL (واجهات برمجة التطبيقات مثل GraphQL).من خلال توفير واجهة موحدة للاستعلام عن البيانات ، يسمح المؤشر للمطورين باسترداد المعلومات المطلوبة بسرعة ودقة باستخدام لغة استعلام موحدة ، وتبسيط العملية بشكل كبير.

أنواع مختلفة من فهرسة تحسين استرجاع البيانات بطرق مختلفة:

1. مؤشرات العقدة الكاملة: يقوم فهرس هذه المؤسسات بتشغيل العقد الكاملة blockchain واستخراج البيانات مباشرة منها للتأكد من أن البيانات كاملة ودقيقة ، ولكنها تتطلب الكثير من قوة التخزين والمعالجة.

2. مفهومون خفيفة الوزن: يعتمد هؤلاء المفهرسون على العقد الكاملة للحصول على بيانات محددة حسب الحاجة ، مما يقلل من متطلبات التخزين ولكن قد يزيد من وقت الاستعلام.

3. فهرسة مخصصة: تم تصميم هذه الفهرسة خصيصًا لأنواع معينة من البيانات أو blockchains محددة ، وتحسين استرجاع حالات الاستخدام المحددة ، مثل بيانات NFT أو معاملات DEFI.

4. فهرسة مجمعة: يستخرج هؤلاء الفهرسون البيانات من مجموعات ومصادر متعددة ، بما في ذلك المعلومات خارج السلسلة ، وتوفير واجهة استعلام موحدة ، وهي مفيدة بشكل خاص لـ DAPPs المتعددة.

حاليًا ، تحتل عقدة الأرشيف في وضع الأرشيف في عميل Geth حوالي 13.5 تيرابايت من مساحة التخزين ، في حين أن متطلبات الأرشيف لعميل Erigon حوالي 3 تيرابايت.مع استمرار نمو blockchain ، ستزداد كمية تخزين البيانات في العقد الأرشيف.في مواجهة كمية هائلة من البيانات ، لا يدعم بروتوكول الفهرس السائد فهرسة متعددة فقط ، ولكن أيضًا تخصيص إطار تحليل البيانات لاحتياجات البيانات من التطبيقات المختلفة.على سبيل المثال ، إطار “Subgraph” للرسم البياني هو حالة نموذجية.

يؤدي ظهور فهرسة إلى حد كبير إلى تحسين كفاءة الفهرسة والاستعلام للبيانات.بالمقارنة مع نقاط النهاية التقليدية لـ RPC ، يمكن للمؤشر فهرسة كميات كبيرة من البيانات بكفاءة ويدعم الاستعلامات عالية السرعة.يتيح هؤلاء المفهرس للمستخدمين إجراء استعلامات معقدة ، وتصفية البيانات بسهولة ، والتحليل بعد الاستخراج.بالإضافة إلى ذلك ، يدعم بعض المفهرسين أيضًا تجميع مصادر البيانات من مجموعات من مجموعات متعددة لتجنب الحاجة إلى نشر واجهات برمجة التطبيقات المتعددة في DAPPs متعددة.من خلال تشغيل توزيعها عبر عقد متعددة ، لا يوفر المؤشر فقط أمنًا وأداءًا أكبر ، ولكنه يقلل أيضًا من المخاطر المحتملة للانقطاع والوقت التوقف عن مقدمي RPC المركزيين.

في المقابل ، يستخدم المؤشر لغة استعلام محددة مسبقًا لتمكين المستخدمين من الحصول مباشرة على المعلومات المطلوبة دون معالجة البيانات المعقدة الأساسية.تعمل هذه الآلية على تحسين كفاءة وموثوقية استرجاع البيانات بشكل كبير وهي ابتكار مهم في الوصول إلى بيانات blockchain.

2.4 قاعدة بيانات السلسلة الكاملة: إعطاء الأولوية للمحاذاة إلى التدفق

يعني الاستعلام عن البيانات باستخدام Inodes عادة أن واجهة برمجة التطبيقات تصبح البوابة الوحيدة للبيانات الموجودة على السلسلة المهضومة.ومع ذلك ، عندما يدخل المشروع في مرحلة التوسع ، فإنه يتطلب في كثير من الأحيان مصدر بيانات أكثر مرونة ، وهو شيء لا يمكن أن توفره واجهة برمجة تطبيقات موحدة.نظرًا لأن متطلبات التطبيق تصبح أكثر تعقيدًا ، يصعب تدريجياً تلبية تنسيقات البيانات الأولية وتنسيقات الفهرس الموحدة تدريجياً لاحتياجات الاستعلام المتنوعة بشكل متزايد ، مثل البحث أو الوصول عبر السلسلة أو رسم خرائط للبيانات خارج السلسلة.

في بنية خط أنابيب البيانات الحديثة ، أصبح نهج “الدفق أولاً” حلاً لقيود معالجة الدُفعات التقليدية ، مما يتيح ابتلاع البيانات في الوقت الفعلي ومعالجته وتحليله.يسمح هذا التحول النموذجي للمؤسسات بالاستجابة فورًا للبيانات الواردة ، مما يؤدي إلى رؤى وقرارات فورية تقريبًا.وبالمثل ، فإن تطوير مقدمي خدمات بيانات blockchain يتحرك أيضًا نحو تدفقات بيانات blockchain البناء. بحيرات البيانات التي تقوم بإنشاء تدفقات البيانات على أساس blockchains ، مثل سلسلة BlockBase و Subquid.

تم تصميم هذه الخدمات لتلبية الحاجة إلى تحليل معاملات blockchain في الوقت الفعلي وتوفير قدرات استعلام أكثر شمولاً.مثلما أحدثت بنية “التدفق أولاً” على طريقة معالجة البيانات والاستهلاك في خطوط البيانات التقليدية عن طريق تقليل الكمون وتعزيز الاستجابة ، يأمل مقدمو خدمات تدفق بيانات blockchain أيضًا في دعم مصادر البيانات المتقدمة والناضجة. تحليل بيانات السلسلة.

من خلال منظور خطوط أنابيب البيانات الحديثة ، يمكننا أن ننظر إلى الإمكانات الكاملة للإدارة على السلسلة وتخزين وتسليم البيانات على السلسلة من منظور جديد تمامًا.عندما نبدأ في التفكير في فهرسة مثل الخراطيم الفرعية و Ethereum ETL حيث تدفق البيانات في خطوط أنابيب البيانات بدلاً من المخرجات النهائية ، يمكننا أن نتخيل عالمًا محتملًا يمكنه تخصيص مجموعات بيانات عالية الأداء لأي حالة استخدام تجارية.

3 قاعدة بيانات منظمة العفو الدولية؟

3.1 الرسم البياني

تقوم شبكة الرسم البياني بتنفيذ خدمات فهرسة البيانات والاستعلام متعددة السلسلة من خلال شبكة عقدة لا مركزية ، والتي تعزز المطورين لفهرسة بيانات blockchain مريحة وبناء تطبيقات لا مركزية.نموذج المنتج الرئيسي هو السوق لتنفيذ استعلام البيانات ودخلات فهرس البيانات. يتم دفعه ، في حين أن سوق ذاكرة التخزين المؤقت لمؤشر بيانات البيانات هو السوق حيث تعبّل Inodes تخصيص الموارد بناءً على شعبية الفهرس التاريخي للخطر الفرعي ، ورسوم الاستعلام المفروضة ، والطلب على ناتج الخريطة الفرعية من قبل المنسق على السلسلة.

الخراطيم الفرعية هي هياكل البيانات الأساسية في شبكة الرسم البياني.يحددون كيفية استخراج البيانات وتحويلها من blockchain إلى تنسيق قابل للاستعلام (مثل مخطط GraphQL).يمكن لأي شخص إنشاء خرسانات فرعية ويمكن لإعادة استخدامها إعادة استخدامها ، مما يحسن قابلية إعادة استخدام البيانات وكفاءتها.

بنية منتج الرسم البياني (المصدر: الورقة البيضاء الرسم البياني)

تتكون شبكة الرسم البياني من أربعة أدوار رئيسية: الفهرس ، المنسق ، العميل والمطور ، الذين يعملون معًا لتوفير دعم البيانات لتطبيقات Web3.فيما يلي مسؤولياتهم:

• المفهرس: يشارك المؤشر في شبكة الرسم البياني في شبكة الفهرس.

• Pearegator: Devator هو هؤلاء المستخدمين الذين يشتركون في GRT الرموز على Inodes لدعم عملياتهم.يكسب المدير جزءًا من المكافأة من خلال inodes التي يفوضها.

• المنسق: المنسق هو المسؤول عن فهرسة الشبكة الفرعية من الإشارات.تساعد القيمين في ضمان الأولوية لخريطة فرعية قيمة.

• المطور: على عكس الثلاثة الأولى كموردين ، فإن المطورين هم المطالب والمستخدمون الرئيسيون للرسم البياني.يقومون بإنشاء وإرسال الرسوم الفرعية إلى شبكة الرسم البياني ، في انتظار الشبكة لتلبية البيانات المطلوبة.

حاليًا ، تحول الرسم البياني إلى خدمة استضافة الرسم البياني الفرعية الشاملة اللامركزية ، مع حوافز اقتصادية للتشغيل بين مختلف المشاركين لضمان تشغيل النظام:

• مكافآت inode: تكسب Inode إيرادات من خلال رسوم الاستعلام عن المستهلك وجزء من مكافآت GRT Token Block.

• المكافآت الرئيسية: يتلقى المدارس مكافآت جزئية من خلال inodes التي يدعمونها.

• مكافآت المنسق: إذا كان المنسق يشير إلى فرع فرعي قيمة ، فيمكنهم الحصول على مكافأة جزئية من رسوم الاستعلام.

في الواقع ، تنمو منتجات الرسم البياني أيضًا بسرعة في موجة الذكاء الاصطناعي.باعتبارها واحدة من فرق التطوير الأساسية في النظام البيئي للرسم البياني ، التزمت Semotic Labs بالاستفادة من تقنية الذكاء الاصطناعى لتحسين تسعير الفهرس وتجربة استعلام المستخدم.حاليًا ، قامت أدوات Autoagora و Optimizer و AgentC التي طورتها Semiotic Labs بتحسين أداء النظام الإيكولوجي في العديد من الجوانب.

• تقدم Autoagora آلية تسعير ديناميكية لضبط الأسعار في الوقت الفعلي بناءً على حجم الاستعلام واستخدام الموارد ، وتحسين استراتيجيات التسعير ، وضمان القدرة التنافسية وإيرادات المفهرس.

• يحل مُحسِّن التخصيص المشكلة المعقدة المتمثلة في تخصيص موارد الخريطة الفرعية ، مما يساعد المفهرسين على تحقيق التخصيص الأمثل للموارد لتحسين الإيرادات والأداء.

• AgentC هي أداة تجريبية تتيح للمستخدمين الوصول إلى بيانات blockchain الخاصة بالرسوم البيانية من خلال اللغة الطبيعية ، وبالتالي تعزيز تجربة المستخدم.

يسمح تطبيق هذه الأدوات للرسم البياني بالجمع بين مساعدة الذكاء الاصطناعي لزيادة تحسين الذكاء وسهولة الاستخدام للنظام.

3.2 Chainbase

SainBase هي شبكة بيانات كاملة السلسلة تدمج جميع بيانات blockchain في منصة واحدة لتسهيل المطورين لإنشاء التطبيقات والحفاظ عليها بسهولة أكبر.تشمل ميزاتها الفريدة:

• Lake Data Lake في الوقت الفعلي: توفر Sainbase بحيرة بيانات في الوقت الفعلي مخصصة لتدفقات بيانات blockchain ، بحيث يمكن الوصول إلى البيانات على الفور عند إنشاءها.

• بنية السلسلة المزدوجة: تقوم Chainbase ببناء طبقة تنفيذ تعتمد على AVS eigenlayer ، وتشكل بنية متوازية في السلسلة المزدوجة مع خوارزمية إجماع CometBft.يعزز هذا التصميم قابلية البرمجة وقدرة على التكلفة لبيانات السلسلة المتقاطعة ، ويدعم الإنتاجية العالية ، والتقنية المنخفضة والنهائية ، ويحسن أمان الشبكة من خلال نموذج مزدوج.

• معايير تنسيق البيانات المبتكرة: تقدم ChainBase معيارًا جديدًا لتنسيق البيانات يسمى “المخطوطات” ، والذي يحسن بنية واستخدام البيانات في صناعة التشفير.

• نموذج Crypto World: مع موارد بيانات blockchain الضخمة ، تجمع سلسلة Sainbase بين تقنية نموذج الذكاء الاصطناعى لإنشاء نموذج منظمة العفو الدولية يمكنه فهم معاملات blockchain والتنبؤ والتفاعل بشكل فعال.تم إطلاق Theia ، النموذج الأساسي ، للاستخدام العام.

تجعل هذه القدرات تبرز في بروتوكول فهرسة blockchain ، مع التركيز بشكل خاص على إمكانية الوصول إلى البيانات في الوقت الفعلي ، وتنسيقات البيانات المبتكرة ، وخلق نماذج أكثر ذكاءً للرؤى من خلال مزيج من البيانات الموجودة في السلسلة وخارج السلسلة.

يعد THEIA نموذج AI في ChainBase من أهم ما يميزه عن بروتوكولات خدمة البيانات الأخرى.تعتمد THEIA على نموذج DORA الذي طورته NVIDIA ، حيث يجمع بين البيانات الموجودة على السلسلة وخارج السلسلة وأنشطة الزمان للوقت لتعلم وتحليل أوضاع التشفير ، والاستجابة من خلال التفكير السببي ، وبالتالي استكشاف القيمة المحتملة وقوانين على التوفيق البيانات وتزويد المستخدمين بخدمات بيانات أكثر ذكاءً.

لم تعد خدمات البيانات التي تتم تمكينها من الذكاء الاصطناعي عبارة عن منصة خدمة بيانات blockchain ، ولكنها مزود خدمة بيانات ذكي أكثر تنافسية.من خلال موارد البيانات القوية والتحليل الاستباقي لمنظمة العفو الدولية ، يمكن لـ ChainBase توفير رؤى بيانات أوسع وتحسين عمليات معالجة البيانات للمستخدمين.

3.3 المكان والزمان

يهدف الفضاء والوقت (SXT) إلى إنشاء طبقة حوسبة يمكن التحقق منها تمد دليلًا على المعرفة الصفرية على مستودعات البيانات اللامركزية لتوفير معالجة البيانات الموثوقة للعقود الذكية ونماذج اللغة الكبيرة والمؤسسات.تلقى Space and Time جولة أحدث 20 مليون دولار في جولة السلسلة A بقيادة Framework Ventures و Lightspeed Faction و Arrington Capital و Hivemind Capital.

في مجال فهرسة البيانات والتحقق منها ، أدخلت المساحة والوقت مسارًا تكنولوجيًا جديدًا – دليل على SQL.هذه تقنية مبتكرة للمعرفة الصفرية (ZKP) التي تم تطويرها حسب المكان والزمان لضمان أن استعلامات SQL التي تم تنفيذها على مستودعات البيانات اللامركزية مقاومة للعبث ويمكن التحقق منها.عند تشغيل استعلام ، يولد دليل SQL دليلًا مشفرًا يتحقق من نزاهة ودقة نتائج الاستعلام.يتم إرفاق هذا الدليل بنتائج الاستعلام ، بحيث يمكن لأي التحقق (مثل العقود الذكية ، وما إلى ذلك) أن يؤكد بشكل مستقل أن البيانات لم يتم العبث بها أثناء المعالجة.عادةً ما تعتمد شبكات blockchain التقليدية على آليات الإجماع للتحقق من صحة البيانات ، ويقوم إثبات SQL والوقت والوقت بتطبيق طريقة أكثر كفاءة للتحقق من البيانات.على وجه التحديد ، في أنظمة الفضاء والوقت ، تكون عقدة واحدة مسؤولة عن الحصول على البيانات ، بينما تتحقق العقد الأخرى من صحة البيانات من خلال تقنية ZK.تقوم هذه الطريقة بتغيير فقدان الموارد للعقد المتعددة بشكل متكرر فهرسة نفس البيانات تحت آلية الإجماع وأخيراً الوصول إلى توافق في الآراء للحصول على البيانات ، وتحسين الأداء الكلي للنظام.مع نضوج هذه التقنية ، أنشأت حجرًا للتطبيق لسلسلة من الصناعات التقليدية التي تركز على موثوقية البيانات لاستخدام منتجات بنية البيانات على blockchain.

في الوقت نفسه ، تعمل SXT عن كثب مع مختبر Microsoft AI المشترك للابتكار لتسريع تطوير أدوات AI المتكاملة لتسهيل على المستخدمين معالجة بيانات blockchain من خلال اللغة الطبيعية.حاليًا في استوديو الفضاء والوقت ، يمكن للمستخدمين تجربة استفسارات اللغات الطبيعية ، وسيقوم الذكاء الاصطناعي تلقائيًا بتحويلها إلى SQL وتنفيذ عبارات الاستعلام نيابة عن المستخدم لتقديم النتيجة النهائية التي يحتاجها المستخدم.

3.4 مقارنة الفرق

الخلاصة والتوقع

باختصار ، تطورت تقنية فهرسة بيانات blockchain من مصدر بيانات العقدة الأولي ، من خلال تحليل البيانات وتطوير الفهرس ، وتطورت أخيرًا إلى خدمات بيانات كاملة الممكّنة من الذكاء الاصطناعي ، وقد مررت بعملية تحسين تدريجية.إن التطور المستمر لهذه التقنيات لا يحسن كفاءة ودقة الوصول إلى البيانات فحسب ، بل يجلب أيضًا تجربة ذكية غير مسبوقة للمستخدمين.

في المستقبل ، مع التطوير المستمر للتقنيات الجديدة مثل تقنية الذكاء الاصطناعى وإثبات المعرفة الصفرية ، ستكون خدمات بيانات blockchain أكثر ذكاءً وآمنة.لدينا سبب للاعتقاد بأن خدمات بيانات blockchain ستستمر في لعب دور مهم كبنية تحتية في المستقبل ، مما يوفر دعمًا قويًا لتقدم الصناعة والابتكار.