jakiro
Fuente: Geek Web3
resumen:
EnDesde el EIP-4844, el rendimiento de los datos y la presión de almacenamiento de la red Ethereum han aumentado, y la creciente demanda de almacenamiento ha traído enormes desafíos a los nodos de Ethereum.Para reducir la presión de almacenamiento, algún cliente Ethereum elimina los datos históricos almacenados en el área local, y la consistencia de diferentes nodos en el comportamiento de almacenamiento se desintegra gradualmente.
EnPara garantizar que todos los clientes de Ethereum puedan llegar a un acuerdo sobre el comportamiento,EIP-4444yEIP-4844 llevó a cabo un comportamiento histórico de corte de datosnormalización, Se convertirá en el estándar de los nodos Ethereum en el futuro.
EnPor lo tanto, si los datos históricos se reemplazarán para restaurar el último estado de capa1 o capa2, depende del protocolo centralizado de Ethereum fuera del acuerdo de Ethereum, lo que incita a las personas a explorar soluciones de almacenamiento más descentralizadas y consistentes para Ethereum, y resuelve la solución a El plan Ethereum.
· Red de Portal EthereumEs una red P2P ligera y descentralizada, que es adecuada para todos los tipos de datos de Ethereum, incluidos los datos históricos.Está diseñado para recursos limitados y proporciona servicios Ethereum JSON-RPC.La red histórica y la red de la cadena de letras están casi listas.
· Ethstorage es una red de almacenamiento modular de incentivos para los datos de blobs EIP-4844EsenciaPara almacenar Blob, los usuarios pueden llamar al contrato de almacenamiento en L1, usar ETH como tarifa de almacenamiento y registrar el valor hash de Blob en la cadena.Con el tiempo, el costo de almacenamiento se distribuirá gradualmente al proveedor de servicios de almacenamiento proporcionado por el certificado de almacenamiento Blob bajo la cadena.
EnEn la actualidad, Ethstorage Test Network se ejecuta en línea en las pruebas de Ethereum Sepolia en línea, y muchos participantes de la comunidad han demostrado con éxito sus condiciones de almacenamiento locales.Los planes futuros incluyen el desarrollo de una red de estado de Ethereum descentralizada, que se realiza el certificado de almacenamiento para datos de tamaño dinámico y puede acceder directamente a la red Ethstorage desde el navegador de manera descentralizada.
Gracias: Gracias a Piper Merriam de la Fundación Ethereum, Karthik Raju en Polychain y los comentarios de Qiang Zhu de Ethstorage sobre este artículo.
fondo:
El 22 de octubre de 2023, Péter Szilácyi, jefe del famoso desarrollo de Go-Ethereum (Geth), expresó sus preocupaciones sobre las soluciones de almacenamiento de datos de Ethereum en Twitter.Señaló que aunque el Cliente Geth conserva todos los datos históricos, otros tipos de clientes de Ethereum, como Nethermind y Besu, se pueden configurar para eliminar algunos datos históricos de Ethereum (como bloques históricos).Esto hará que el comportamiento de algunos nodos del cliente sea inconsistente con otros clientes, lo cual es injusto para el operador del cliente GETH.El tema anterior inmediatamente desencadenó una feroz discusión sobre el esquema de almacenamiento en la hoja de ruta de Ethereum.
Desafío de almacenamiento
¿Por qué Nethermind y Besu permiten a los operadores de clientes reducir los datos históricos locales?¿Cuál es el problema reflejado en esta decisión?
Desde nuestra perspectiva, hay dos razones principales:
-
Los requisitos de almacenamiento del cliente Ethereum se vuelven cada vez más altosEsencia
-
El almacenamiento de datos históricos de Ethereum no tiene ningún incentivo o castigo dentro de un acuerdoEsencia
La primera razón se originó en las crecientes necesidades de almacenamiento del cliente Ethereum.El siguiente mapa de la torta muestra la distribución de almacenamiento de un nuevo nodo Geth a 18,779,761 al 13 de diciembre de 2023.
Como se muestra en la figura:
-
Tamaño total de almacenamiento: 925.39 GB
-
Datos históricos (recibo de bloque/transacción): aproximadamente 628.69 GB
-
Datos de estado en Merkle Patricia Trie (MPT): alrededor de 269.74 GB
La segunda razón es que el nodo Ethereum carece de incentivos o castigos en el acuerdo que almacena bloques históricos.Aunque el acuerdo aboga por todos los datos históricos de nodos, no ha podido proporcionar ningún mecanismo para alentar el almacenamiento o el castigo de las violaciones.Los nodos están dispuestos a almacenar y proporcionar permisos históricos de extracción de datos, que son más para el altruismo, no por incentivos.
Por supuesto, los operadores del cliente pueden eliminar o modificar libremente todos los datos históricos sin ningún castigo.Por el contrario, el nodo de validador debe mantener y actualizar el estado completo localmente para evitar la propuesta/votación para apoyar los bloques no válidos por Slash.
Por lo tanto, cuando los costos de almacenamiento se convierten en una carga importante en los nodos, no es sorprendente que algunos operadores de nodos elijan eliminar datos históricos.En ausencia de datos históricos, el cliente de nodos puede reducir significativamente el costo de almacenamiento y reducir el espacio de almacenamiento ocupado de aproximadamente 1 TB a aproximadamente 300 GB.
Figura: la configuración de Nethermine ejecutando el nodo sin bloques históricos, ahorrando de manera activa aproximadamente 460 GB de costos de almacenamiento
Con la próxima actualización de usabilidad de datos de Ethereum (DA), el desafío de almacenamiento aumentará.El camino de expansión integral de Ethereum DA comenzó con EIP-4844, que es actualizado por Dencun, introduce un objeto binario de tamaño fijo (Blob) y un modelo de costo independiente llamado BlobGasprice.Cada blob se establece en 128 kb.Para expandir el rendimiento de los datos, Ethereum planea usar el código de eliminación 1D Reed-Solomon, que inicialmente permitió 32 blob cada bloque, y alcanzó la magnitud de 256 blobs por bloque durante una expansión completa.
Si Ethereum DA funciona en plena capacidad (256 Blob por bloque), se espera que la red Ethereum DA reciba aproximadamente 80 TB de datos de DA en un año.Esencia
Hoja de ruta de almacenamiento de Ethereum y sus consecuencias
El empuje de la ruta Ethereum publicada por Vitalik mencionó que Purge implica principalmente contenido de almacenamiento.
Los crecientes costos de almacenamiento atrajeron la atención de los investigadores ecológicos de Ethereum.Para resolver este problema y garantizar la consistencia de todos los clientes,Los investigadores están desarrollando algunas propuestas para eliminar claramente los datos históricos del cliente de Ethereum.Las dos propuestas principales son:
EnEIP-4444: Restringir los datos históricos en el cliente de ejecución: esta propuesta permite a los clientes eliminar los bloques pasados durante más de un año.Suponiendo que el tamaño de bloque promedio es de 100k, el límite superior de los datos de bloque históricos es de aproximadamente 250 GB (100k * (3600 * 24 * 365) / 12, suponiendo el tiempo de bloque = 12 segundos).
EnEIP-4844: Transacción Faber Blob: descarte los datos de blob durante más de 18 días.En comparación con EIP-4444, este es un método más radical que limita el tamaño del blob histórico a aproximadamente 100 GB ((18 * 3600 * 24) * 128k * 6/12, suponiendo el tiempo de bloque = 12 segundos).
¿Cuáles son las consecuencias de eliminar los datos históricos de todos los clientes?El problema principal es que el nuevo nodo no puede sincronizar el último estado a través del modo de «sincronización completa».En consecuencia, debemos adoptar el último estado de «SNAP SNC» o «Sync de estado» para sincronizar directamente el nodo Ethereum.Este método se ha implementado en GETH y utilizado como la sincronización predeterminada.
Los datos históricos de la red principal de Ethereum se eliminan del nodo también causarán problemas con Ethereum L2Es decir, el nodo Layer2 recientemente agregado no se puede sincronizar con el último estado actual al recargar todos los datos históricos de Layer2.Además, debido a que el nodo L1 no mantiene el estado de L2, el método «sincronización de Snap» de L2 no puede generar directamente el último estado de capa2 de acuerdo con el bloque de la capa1, que viola los supuestos importantes de la herencia de la capa de la capa2 de la seguridad de Ethereum.
La solución esperada se basará en el tercer servicio parcial del proyecto Infura / Etherscan / L2 para almacenar datos históricos o copia de estado.
La pregunta principal que queremos explorar es:
-
¿Podemos encontrar mejores soluciones descentralizadas en almacenamiento y acceso?
-
¿Es posible encontrar una solución que proporcione nodos directamente incentivos y obtenga la red Ethereum misma (por ejemplo, confíe en el contrato L1)?
-
En todo esto, ¿podemos proporcionar una solución de incentivo completamente descentralizada y directa a la ruta de almacenamiento de Ethereum?
Solución
Solución 1: Ethereum Portal Red
La red de Portal Ethereum es una red ligera y descentralizada para conectarse al protocolo Ethereum.Proporciona Eth_Call, Eth_getBlockByNumber y otras interfaces Ethereum JSON-RPC.A diferencia de los IPF que permite cualquier tipo de datos y se ve fácilmente afectado por los datos basura, la red Portal P2P se especializa en datos de Ethereum, como cabezales de bloques históricos y datos de transacciones, que se logra a través de la tecnología de verificación de cliente ligero basado en la red de portal.
Una característica importante de la red de portal es.Su diseño de operación liviano y compatibilidad con equipos limitados.Puede ejecutarse en nodos con varios espacio de almacenamiento de MB y baja memoria, promoviendo así la descentralización.Incluso los teléfonos móviles o los dispositivos Raspberry PI pueden unirse a la red para contribuir al problema de Ethereum DA.
El desarrollo de la red de portal es consistente con el concepto de la diversidad del cliente Ethereum.La red de referencia y la red histórica están disponibles, y la red de estado se está desarrollando activamente.Vale la pena señalar que la red de portal no proporciona incentivos directos para el almacenamiento de datos.
Figura: Portal Network Rust Client (Trin) con restricciones de almacenamiento de 100 MB (TRIN) se está ejecutando
Solución 2: Ethstorage Network
Ethstorage Network es una red de almacenamiento de incentivos descentralizada que se utiliza especialmente para almacenar el blob EIP-4844 y recibir fondos del proyecto ESP.
EnPequeña confianza:A diferencia de las soluciones existentes que requieren puentes de datos centralizados, Ethstorage se basa en el modelo de fideicomiso 1/M de los nodos de Ethstorage que no necesitan ser licenciados por Ethereum.El proceso de almacenamiento de blob es: los usuarios firman una transacción que transporta blob, llamando al método PUT (clave, blob_idx) de contratos de almacenamiento.Luego, el contrato de almacenamiento registrará el hash Blob en la cadena.Después de eso, el proveedor de almacenamiento descargará y almacenará BLOB directamente desde la red Ethereum DA para evitar el puente de datos.
EnLos costos de almacenamiento son consistentes con los incentivos:Cuando se llama al método PUT (), la transacción debe enviar una tarifa de almacenamiento (a través de msg.value) al contrato.Después de enviar y verificar el nodo de almacenamiento el certificado de almacenamiento bajo la cadena exitosa, la tarifa de almacenamiento se distribuye gradualmente al nodo de almacenamiento con el tiempo.En comparación con el modelo de tarifa de almacenamiento Ethereum de propuesta (propuesta) existente, que tiene una tarifa de almacenamiento de un solo tiempo, con el tiempo, la tarifa de almacenamiento pagada a la tarifa de almacenamiento sigue el modelo de flujo de efectivo de descuento, lo que supera que con el tiempo, el almacenamiento de almacenamiento es almacenamiento , Almacenamiento, almacenamiento, almacenamiento, almacenamiento, almacenamiento, almacenamiento, almacenamiento, almacenamiento, almacenamiento, almacenamiento, almacenamiento, costos se reducirá en relación con los precios de ETH.Esta importante innovación introducida por Ethstorage se ha mantenido consistente con la contribución de los nodos de almacenamiento en los nodos de almacenamiento.
EnPrueba de almacenamiento:La prueba de almacenamiento se inspira en el muestreo de disponibilidad de datos, y el muestreo en Ethstorage es un blob guardado por un período de tiempo.Para verificar de manera efectiva las muestras de la cadena, Ethstorage hace un uso completo de contratos inteligentes y el último desarrollo de tecnología de sarcasuros.
EnSin operación:Cualquier nodo de almacenamiento en Ethstorage se puede pagar siempre que los datos de almacenamiento se almacenen y el certificado de almacenamiento se envíe regularmente en la cadena.
Desde la perspectiva de la cadena de bloques modular, Ethstorage actúa como Ethereum Storage L2, pero cobra la tarifa de almacenamiento en lugar de una tarifa de transacción.Al indexar el hash Blob en la cadena, Ethstorage es una capa de almacenamiento modular de Ethereum para mejorar la escalabilidad de almacenamiento y reducir los costos (el objetivo es aproximadamente 1000 veces).
En términos de desarrollo, Ethstorage ha integrado EIP-4844 en la red de pruebas de Ethereum Sepolia.Hemos realizado una prueba de presión de Ethstorage y Ethereum Sepolia Test Network, incluida la escritura sobre cientos de GB de Blob en Etstorage.Más de 100 participantes de la comunidad se unieron a Internet y demostraron con éxito su almacenamiento local.
La principal ventaja de la red Ethstorage es proporcionar incentivos directos descentralizados por encima de Ethereum, en lo que respecta a nuestro conocimiento actual, esta es una característica pionera.Sin embargo, las limitaciones de la red están diseñadas para el blob de tamaño fijo.
Ethstorage en la red de pruebas de Ethereum Sepolia
Esperamos el futuro
Aunque el almacenamiento de Ethereum no ha recibido la atención principal, es de gran importancia en el ecosistema de Ethereum.Con el rápido crecimiento de la red Ethereum, el almacenamiento y la accesibilidad de los datos de Ethereum se han convertido en desafíos clave.La red de portal y Ethstorage Network todavía se encuentran en las primeras etapas, y hay muchas instrucciones de desarrollo a largo plazo importantes para prestar atención:
Decentalizado de bajo retraso Acceso a la red de datos de estado de Ethereum:Acceder al estado de Ethereum de manera descentralizada y verificable es una tarea clave pero desafiante.Utilizando el modelo de red DHT tradicional, la información de la cuenta de consultas generalmente requiere múltiples consultas de nodos TRIE internos almacenados en diferentes nodos P2P.Esto a menudo conduce a un largo período de retraso.La clave es usar la estructura del árbol de estado para acelerar el acceso.La red estatal que pronto se lanza la red de portal es exactamente el propósito de resolver este problema.
Integración de la red de portal y la red Ethstorage:Portal Network puede expandirse perfectamente para admitir datos de blob.El equipo de Ethstorage ha implementado parcialmente esta función.El siguiente progreso es unificar estas redes y proporcionar una red JSON-RPC descentralizada que se pueda programar a través de contratos.Al combinar la lógica de la aplicación en el contrato con el almacenamiento de blob a gran escala proporcionado por Ethstorage, podemos habilitar nuevos DAPPS en Ethereum, como sitios web dinámicos descentralizados (como Twitter descentralizado/YouTube/Wikipedia, etc.).
La visita descentralizada del navegador:Similar al protocolo IPFS: // de los datos en la red IPFS, la industria Web3 requiere un protocolo de visita nativa para Ethereum para admitir el acceso directamente el acceso para liberar el enorme potencial de los datos ricos en Ethereum.Estos datos cubren una amplia gama de áreas, desde tokens y saldos de cuentas hasta imágenes NFT y sitios web dinámicos descentralizados.En esta área, el protocolo Web3: // definido por ERC-4804/6860 actualmente está desarrollando y promocionando activamente para lograr este objetivo.
Certificado de almacenamiento avanzado de datos de tamaño dinámico:Además de la blob fija, explorar certificados de almacenamiento avanzado también es imprescindible para resolver datos de tamaño dinámico (como bloques históricos e incluso objetos de estado, etc.).El desarrollo de algoritmos complejos puede mejorar la adaptabilidad de la solución de almacenamiento.
En nuestra búsqueda, esperamos que a través de estos esfuerzos, contribuyamos a la tabla de ruta de Ethereum y sentaremos las bases para la solución de almacenamiento descentralizada del ecosistema de Ethereum en el futuro.
