Leer, índice para el análisis describe brevemente la pista de indexación de datos Web3

1 Introducción

A partir de la primera ola de Dapps Etherol, Ethlend y Cryptokitties en 2017, hasta la variedad actual de dapps financieros, de juegos y sociales basados en diferentes blockchains están floreciendo. ¿La fuente de varios datos adoptados por estos DAPPS en interacción?

En 2024, los puntos calientes se centrarán en AI y Web3.Así como las plantas dependen de la luz solar y la humedad para prosperar, los sistemas de IA también dependen de grandes cantidades de datos para «aprender» y «pensar» constantemente.Sin datos, no importa cuán exquisito sea el algoritmo de la IA, es solo un castillo en el aire y no puede ejercer su debida inteligencia y eficiencia.

Este documento analiza la evolución de la indexación de datos de blockchain en el proceso de desarrollo de la industria desde la perspectiva de la accesibilidad de datos de blockchain, y compara el protocolo de indexación de datos anterior, el gráfico y el protocolo de datos de blockchain emergente, la base y el espacio y el tiempo, las similitudes y diferencias entre Se discuten estos dos nuevos protocolos que combinan tecnología de IA en los servicios de datos y las características de la arquitectura del producto.

2 El índice de datos tradicional y simple: desde nodos blockchain hasta la base de datos de cadena completa

2.1 Fuente de datos: Blockchain Node

Cuando aprendimos por primera vez sobre «qué es blockchain», a menudo vemos esta oración: blockchain es un libro de cuentas descentralizado.Los nodos blockchain son la base de toda la red de blockchain y asumen la responsabilidad de registrar, almacenar y difundir todos los datos de transacciones en la cadena.Cada nodo tiene una copia completa de los datos de blockchain, asegurando que se mantengan las características descentralizadas de la red.Sin embargo, para los usuarios comunes, no es fácil construir y mantener un nodo blockchain por sí mismos.Esto no solo requiere capacidades técnicas profesionales, sino que también viene con altos costos de hardware y ancho de banda.Al mismo tiempo, las capacidades de consulta de nodo ordinaria son limitadas y los datos no pueden consultar en el formato requerido por los desarrolladores.Por lo tanto, aunque todos pueden ejecutar teóricamente sus propios nodos, en la práctica, los usuarios generalmente están más inclinados a confiar en servicios de terceros.

Para resolver este problema, surgieron proveedores de nodos RPC (llamada de procedimiento remoto).Estos proveedores son responsables del costo y la gestión de los nodos y proporcionan datos a través de puntos finales RPC.Esto permite a los usuarios acceder fácilmente a los datos de blockchain sin construir sus propios nodos.Los puntos finales públicos de RPC son gratuitos pero tienen límites de velocidad que pueden afectar negativamente la experiencia del usuario de los DAPP.Los puntos finales privados de RPC proporcionan un mejor rendimiento al reducir la congestión, pero incluso la recuperación simple de datos requiere mucha comunicación de ida y vuelta.Esto los hace engorrosos e ineficientes para consultas de datos complejas.Además, los puntos finales privados de RPC a menudo son difíciles de escalar y carecen de compatibilidad en diferentes redes.Sin embargo, la interfaz API estandarizada de los proveedores de nodos brinda a los usuarios un umbral más bajo para acceder a los datos en la cadena, estableciendo las bases para el análisis y la aplicación de datos posteriores.

2.2 Análisis de datos: desde los datos del prototipo hasta los datos disponibles

Los datos obtenidos de los nodos blockchain son a menudo los datos sin procesar que se han encriptado y codificado.Aunque estos datos conservan la integridad y la seguridad de la cadena de bloques, su complejidad también aumenta la dificultad del análisis de los datos.Para los usuarios o desarrolladores comunes, procesar directamente estos datos de prototipos requiere muchos conocimientos técnicos y recursos informáticos.

El proceso de análisis de datos es particularmente importante en este contexto.Al analizar los datos de prototipo complejo en un formato más comprensible y manipulado, los usuarios pueden comprender y utilizar estos datos de manera más intuitiva.El éxito del análisis de datos determina directamente la eficiencia y efectividad de la aplicación de datos de blockchain y es un paso clave en todo el proceso de indexación de datos.

2.3 Evolución del indexador de datos

A medida que aumenta la cantidad de datos de blockchain, la demanda de indexadores de datos también está aumentando.Los indexadores juegan un papel vital en la organización de datos en una cadena y los envían a una base de datos para facilitar la consulta.El principio de los indexadores es indexar datos de blockchain y ponerlos fácilmente a disposición de los lenguajes de consulta similares a SQL (API como GraphQL).Al proporcionar una interfaz unificada para consultar datos, el indexador permite a los desarrolladores recuperar de manera rápida y precisa la información requerida utilizando un lenguaje de consulta estandarizado, simplificando en gran medida el proceso.

Diferentes tipos de indexadores optimizan la recuperación de datos de varias maneras:

Indexistas de nodos completos: estos indexadores ejecutan nodos de blockchain completos y extraen datos directamente de ellos para garantizar que los datos sean completos y precisos, pero requieren mucha potencia de almacenamiento y procesamiento.
Indexistas livianos: estos indexadores confían en nodos completos para obtener datos específicos según sea necesario, reduciendo los requisitos de almacenamiento, pero pueden aumentar el tiempo de consulta.
Indexers dedicados: estos indexadores están diseñados específicamente para ciertos tipos de datos o cadenas de bloques específicas, y optimizan la recuperación de casos de uso específicos, como datos NFT o transacciones Defi.
Indexers agregados: estos indexadores extraen datos de múltiples blockchains y fuentes, incluida la información fuera de la cadena, y proporcionan una interfaz de consulta unificada, que es particularmente útil para DAPPS múltiples.

Actualmente, el nodo de archivo en el modo de archivo en el cliente Geth ocupa aproximadamente 13.5 TB de espacio de almacenamiento, mientras que el requisito de archivo para el cliente Erigon es de aproximadamente 3 TB.A medida que Blockchain continúa creciendo, la cantidad de almacenamiento de datos de los nodos de archivo también aumentará.Ante una cantidad tan grande de datos, el protocolo de indexador convencional no solo admite la indexación de múltiples cadenas, sino que también personalizó un marco de análisis de datos para las necesidades de datos de diferentes aplicaciones.Por ejemplo, el marco «subgrafio» del gráfico es un caso típico.

La aparición de indexadores mejora enormemente la eficiencia de la indexación y la consulta de los datos.En comparación con los puntos finales RPC tradicionales, el indexador puede indexar eficientemente grandes cantidades de datos y admite consultas de alta velocidad.Estos indexadores permiten a los usuarios realizar consultas complejas, filtrar datos fácilmente y analizar después de la extracción.Además, algunos indexadores también admiten fuentes de datos de agregación de múltiples blockchains para evitar la necesidad de implementar múltiples API en DAPPS múltiples.Al ejecutar distribuidos en múltiples nodos, el indexador no solo proporciona una mayor seguridad y rendimiento, sino que también reduce el riesgo potencial de interrupciones y el tiempo de inactividad de los proveedores centralizados de RPC.

Por el contrario, el indexador utiliza un lenguaje de consulta predefinido para permitir a los usuarios obtener directamente la información requerida sin procesar los datos complejos subyacentes.Este mecanismo mejora significativamente la eficiencia y la confiabilidad de la recuperación de datos y es una innovación importante en el acceso a datos de blockchain.

2.4 Base de datos de cadena completa: priorice la alineación al flujo

La consulta de datos utilizando inodos generalmente significa que la API se convierte en el único portal para los datos en la cadena digerida.Sin embargo, cuando un proyecto ingresa a la fase de expansión, a menudo requiere una fuente de datos más flexible, que es algo que una API estandarizada no puede proporcionar.A medida que los requisitos de aplicación se vuelven más complejos, los indexadores de datos primarios y sus formatos de índice estandarizados son difícilmente difíciles de satisfacer las necesidades de consulta cada vez más diversas, como la búsqueda, el acceso a la cadena cruzada o la asignación de datos fuera de la cadena.

En la arquitectura moderna de la tubería de datos, el enfoque de «First» se ha convertido en una solución a las limitaciones del procesamiento de lotes tradicional, lo que permite la ingestión de datos en tiempo real, el procesamiento y el análisis.Este cambio de paradigma permite a las organizaciones responder inmediatamente a los datos entrantes, lo que resulta en ideas y decisiones casi instantáneas.Del mismo modo, el desarrollo de los proveedores de servicios de datos blockchain también se está moviendo hacia los flujos de datos de blockchain de construcción. Lagos de datos que generan flujos de datos basados en blockchains, como ChainBase y Subsquid.

Estos servicios están diseñados para abordar la necesidad de analizar las transacciones de blockchain en tiempo real y proporcionar capacidades de consulta más completas.Así como la arquitectura de «Flow First» ha revolucionado la forma en que el procesamiento y el consumo de datos en las tuberías de datos tradicionales al reducir la latencia y mejorar la capacidad de respuesta, estos proveedores de servicios de transmisión de datos de blockchain también esperan admitir fuentes de datos más avanzadas y maduras. Análisis de datos en cadena.

A través de la perspectiva de las tuberías de datos modernas, podemos analizar todo el potencial de la gestión en la cadena, el almacenamiento y la entrega de datos en la cadena desde una perspectiva completamente nueva.Cuando comenzamos a pensar en indexadores como los subgraphs y Ethereum ETL como flujos de datos en tuberías de datos en lugar de resultados finales, podemos imaginar un mundo posible que pueda adaptar conjuntos de datos de alto rendimiento para cualquier caso de uso comercial.

3 base de datos AI +?

3.1 El gráfico

La red gráfica implementa los servicios de indexación de datos y consultas de múltiples cadenas a través de una red de nodos descentralizada, que promueve a los desarrolladores para indexar convenientemente los datos de blockchain y crear aplicaciones descentralizadas.Su modelo de producto principal es el mercado para la ejecución de la consulta de datos y la memoria caché del índice de datos. se paga, mientras que el mercado de la caché del índice de datos es el mercado donde inodos movilizan la asignación de recursos en función de la popularidad del índice histórico del subgrafio, la tarifa de consulta cobrada y la demanda de la producción de subgrafías por parte del curador en cadena.

Los subgraphs son las estructuras de datos básicas en la red de gráficos.Definen cómo se pueden extraer y convertir los datos de una cadena de bloques en un formato consultable (como el esquema GraphQL).Cualquiera puede crear subgrafías y múltiples aplicaciones pueden reutilizarlos, lo que mejora la reutilización y la eficiencia de los datos.

La estructura del producto del gráfico (fuente: el cuadro del gráfico)

La red gráfica consta de cuatro roles clave: indexador, curador, cliente y desarrollador, que trabajan juntos para proporcionar soporte de datos para aplicaciones Web3.Aquí están sus respectivas responsabilidades:

Indexer: El indexador es el operador de nodo en la red de gráficos.
Delegator: Delegator son aquellos usuarios que respaldan los tokens GRT a inodes para apoyar sus operaciones.El director gana una porción de la recompensa a través de los inodos que delegan.
Curador: El curador es responsable de los cuales la red debe indexar subgrafías de señales.Los curadores ayudan a garantizar que se prioricen los subgrafos valiosos.
Desarrollador: a diferencia de los tres primeros como proveedores, los desarrolladores son los exigentes y los principales usuarios del gráfico.Crean y envían subgrafías a la red gráfica, esperando que la red cumpla con los datos requeridos.

Actualmente, el gráfico ha recurrido a un servicio integral descentralizado de alojamiento de sub-gráfico, con incentivos económicos para la circulación entre diferentes participantes para garantizar que el sistema esté funcionando:

Inode Rewards: Inode obtiene ingresos a través de las tarifas de consulta del consumidor y parte de GRT Token Block Rewards.
Recompensas principales: los directores reciben recompensas parciales a través de los inodos que apoyan.
Recompensas del curador: si el curador señala un subgrafio valioso, puede recibir una recompensa parcial de la tarifa de consulta.

De hecho, los productos del gráfico también están creciendo rápidamente en la ola de IA.Como uno de los equipos de desarrollo central en el ecosistema de gráficos, Semiotic Labs se ha comprometido a aprovechar la tecnología de IA para optimizar los precios de los índices y la experiencia de consulta de usuarios.Actualmente, las herramientas Autoagora, Asignation Optimizer y AgentC desarrolladas por Labs semióticos han mejorado el rendimiento del ecosistema en muchos aspectos.

Autoagora presenta un mecanismo de precios dinámico para ajustar los precios en tiempo real en función del volumen de consultas y el uso de recursos, optimizar las estrategias de precios y garantizar la competitividad y los ingresos del indexador.
El optimizador de asignación resuelve el complejo problema de la asignación de recursos de subgrafías, ayudando a los indexadores a lograr una asignación óptima de recursos para mejorar los ingresos y el rendimiento.
AgentC es una herramienta experimental que permite a los usuarios acceder a los datos de blockchain del gráfico a través del lenguaje natural, mejorando así la experiencia del usuario.

La aplicación de estas herramientas permite que el gráfico combine la asistencia de IA para mejorar aún más la inteligencia y la facilidad de uso del sistema.

3.2 Base de cadena

ChainBase es una red de datos de cadena completa que integra todos los datos de blockchain en una sola plataforma para facilitar a los desarrolladores construir y mantener aplicaciones más fácilmente.Sus características únicas incluyen:

El lago de datos en tiempo real: ChainBase proporciona un lago de datos en tiempo real dedicado a los flujos de datos de blockchain, de modo que se pueda acceder a los datos al instante cuando se genere.
Arquitectura de doble cadena: ChainBase construye una capa de ejecución basada en AVSVenlayer AVS, formando una arquitectura paralela de doble cadena con el algoritmo de consenso CometBFT.Este diseño mejora la programabilidad y la composibilidad de los datos de la cadena cruzada, admite un alto rendimiento, bajo latencia y finalidad, y mejora la seguridad de la red a través de un modelo de doble estancamiento.
Estándares de formato de datos innovadores: ChainBase introduce un nuevo estándar de formato de datos llamado «manuscritos», que optimiza la estructura y utilización de datos en la industria de cifrado.
Modelo de Crypto World: con sus enormes recursos de datos de blockchain, ChainBase combina la tecnología del modelo AI para crear un modelo de IA que pueda comprender, predecir e interactuar de manera efectiva con las transacciones blockchain.Theia, el modelo básico, se ha lanzado para uso público.

Estas capacidades hacen que ChainBase se destaque en el protocolo de indexación de blockchain, centrándose especialmente en la accesibilidad de datos en tiempo real, formatos de datos innovadores y creando modelos más inteligentes para ideas a través de la combinación de datos en cadena y fuera de la cadena.

El modelo de IA de ChainBase, Theia es un punto destacado clave que lo distingue de otros protocolos de servicio de datos.Theia se basa en el modelo Dora desarrollado por Nvidia, combinando datos en cadena y fuera de la cadena y actividades espaciales para aprender y analizar los modos de cifrado, y responder a través del razonamiento causal, explorando así profundamente el valor potencial y las leyes de la cadena en la cadena. datos y proporcionar a los usuarios servicios de datos más inteligentes.

Los servicios de datos habilitados para AI hacen que ChainBase ya no sea solo una plataforma de servicio de datos blockchain, sino un proveedor de servicios de datos inteligentes más competitivos.A través de poderosos recursos de datos y análisis proactivo de IA, ChainBase puede proporcionar información de datos más amplia y optimizar los procesos de procesamiento de datos de los usuarios.

3.3 Espacio y tiempo

El espacio y el tiempo (SXT) tienen como objetivo crear una capa informática verificable que extienda la prueba de conocimiento cero en los almacenes de datos descentralizados para proporcionar un procesamiento de datos confiable para contratos inteligentes, grandes modelos de idiomas y empresas.Space and Time ha recibido una última ronda de $ 20 millones en su ronda Serie A dirigida por Framework Ventures, Lightspeed Faction, Arrington Capital y Hivemind Capital.

En el campo de la indexación y verificación de datos, el espacio y el tiempo han introducido una nueva ruta tecnológica: prueba de SQL.Esta es una innovadora tecnología de prueba de conocimiento cero (ZKP) desarrollada por el espacio y el tiempo para garantizar que las consultas SQL ejecutadas en almacenes de datos descentralizados sean a prueba de manipulaciones y verificables.Al ejecutar una consulta, la prueba de SQL genera una prueba cifrada que verifica la integridad y la precisión de los resultados de la consulta.Esta prueba se adjunta a los resultados de la consulta, de modo que cualquier verificador (como contratos inteligentes, etc.) pueda confirmar de forma independiente que los datos no se hayan manipulado durante el procesamiento.Las redes tradicionales de blockchain generalmente dependen de los mecanismos de consenso para verificar la autenticidad de los datos, y la prueba del espacio y el tiempo de SQL implementa una forma más eficiente de verificar los datos.Específicamente, en los sistemas de espacio y tiempo, un nodo es responsable de la adquisición de datos, mientras que otros nodos verifican la autenticidad de los datos a través de la tecnología ZK.Este método cambia la pérdida de recursos de múltiples nodos indexando repetidamente los mismos datos bajo el mecanismo de consenso y finalmente alcanzando un consenso para obtener los datos, mejorando el rendimiento general del sistema.A medida que esta tecnología madura, ha creado un trampolín para una serie de industrias tradicionales que se centran en la confiabilidad de los datos para usar productos de estructura de datos en blockchain.

Al mismo tiempo, SXT ha estado trabajando estrechamente con Microsoft AI Joint Innovation Lab para acelerar el desarrollo de herramientas de IA integradas para facilitar que los usuarios procesen los datos de blockchain a través del lenguaje natural.Actualmente en Space and Time Studio, los usuarios pueden experimentar la entrada de consultas de lenguaje natural, y AI las convertirá automáticamente a SQL y ejecutará declaraciones de consulta en nombre del usuario para presentar el resultado final que el usuario necesita.

3.4 Comparación de diferencia

Conclusión y perspectiva

Para resumir, la tecnología de indexación de datos de blockchain ha evolucionado a partir de la fuente de datos de nodo inicial, a través del análisis de datos y el desarrollo del indexador, y finalmente ha evolucionado en servicios de datos de cadena completa habilitadas para AI, y ha pasado por un proceso de mejora gradual.La evolución continua de estas tecnologías no solo mejora la eficiencia y la precisión del acceso a los datos, sino que también aporta una experiencia inteligente sin precedentes a los usuarios.

Mirando hacia el futuro, con el desarrollo continuo de nuevas tecnologías, como la tecnología de IA y la prueba de conocimiento cero, los servicios de datos de blockchain serán más inteligentes y seguros.Tenemos razones para creer que Blockchain Data Services continuará desempeñando un papel importante como infraestructura en el futuro, brindando un fuerte apoyo para el progreso y la innovación de la industria.