jakiro
Autor: Daniel Barabander, asesor general y socio del Fondo Variante;
Puntos clave de este artículo
-
En la actualidad, el desarrollo básico de IA está dirigido por algunas compañías de tecnología y está en un estado cerrado y anticompetitivo.
-
El desarrollo de software de código abierto es otra opción, pero la IA básica no se puede desarrollar como un proyecto tradicional de software de código abierto (como Linux) debido a sus «problemas de recursos», y los contribuyentes de código abierto también se les pide que donen la computación y los costos de datos más allá de sus personales capacidades.
-
El cifrado resuelve problemas de recursos al contribuir a un proyecto de IA de código abierto básico a través de proveedores de recursos de incentivos de propiedad.
-
La IA de código abierto combinada con cifrado puede admitir modelos más grandes e impulsar más innovación, lo que lleva a una mejor IA.
introducción
Una encuesta del Centro de Investigación Pew de 2024 mostró que el 64% de los estadounidenses creen que las redes sociales tienen un impacto negativo en lugar de positivo en los Estados Unidos, y el 78% dice que las compañías de redes sociales tienen demasiado poder en la política e influencia actual, el 83% dijo estos. Las plataformas son probables o probablemente censuren intencionalmente las opiniones políticas con las que no están de acuerdo.El asco para las plataformas de redes sociales es uno de los pocos problemas que unen a los estadounidenses.
Mirando hacia atrás en el progreso de los experimentos de redes sociales en los últimos 20 años, parece inevitable que terminemos en esta situación.Todos saben esta historia.Algunas grandes empresas tecnológicas inicialmente atrajeron la atención y, lo más importante, obtuvieron datos de usuario.Mientras que las personas inicialmente esperaban que los datos se hicieran públicos, las compañías cambiaron rápidamente la dirección y desactivaron el acceso después de usarlo para construir un efecto de red inquebrantable.Básicamente, esto conduce a la situación actual, donde existen menos de diez grandes compañías de redes sociales de tecnología como pequeños territorios feudales bajo el oligopolio y no tienen motivación para cambiar porque la situación actual es extremadamente rentable.Está cerrado, anticompetitivo.
Mirando el progreso actual del experimento de IA, siento que estoy repitiendo la misma película, pero esta vez implica más.Un puñado de grandes empresas tecnológicas han acumulado GPU y datos para construir modelos de IA básicos y bloquear el acceso a estos modelos.Para los nuevos participantes (que no recaudan miles de millones de dólares) ya no es posible construir una versión competitiva porque la barrera de entrada es demasiado alta: el gasto de capital computacional de la capacitación previa y el modelo base es tan alto como miles de millones de dólares, y desde Las compañías de redes sociales que se beneficiaron del último auge tecnológico están aprovechando su control sobre los datos de los usuarios propietarios para crear modelos que los competidores no pueden hacer.Todos estamos en el espacio de IA para reproducir lo que hacemos en las redes sociales: cerrado y anticompetitivo.Si continuamos en este camino de IA cerrada, un puñado de compañías tecnológicas tendrá un control ilimitado sobre el acceso a la información y las oportunidades.
AI de código abierto y «problemas de recursos»
Si no queremos un mundo de IA cerrado, ¿cuál es nuestra alternativa?La respuesta es obvia, es decir, construir el modelo básico en un proyecto de software de código abierto.Tenemos innumerables ejemplos de proyectos de código abierto que crean el software subyacente en el que confiamos todos los días.Si Linux muestra que algo tan básico como un sistema operativo también se puede construir de código abierto, ¿cuál es la diferencia con LLM?
Desafortunadamente, existen algunas limitaciones en los modelos de IA subyacentes que los hacen diferentes del software tradicional, lo que dificulta seriamente su viabilidad como proyectos tradicionales de software de código abierto.Específicamente, básicoAIEl modelo en sí requiere recursos de informática y datos más allá de las capacidades de cualquier individuo.El resultado es que, a diferencia de los proyectos tradicionales de software de código abierto que dependen de las personas para donar el tiempo (que ya es un problema desafiante), Open Source AI también requiere que las personas donen recursos en forma de informática y datos.Este es el «problema de recursos» de la IA de código abierto.
Para comprender mejor los problemas de recursos, echemos un vistazo al modelo de llama de Meta.Meta difiere de sus competidores (OpenAi, Google, etc.) en el sentido de que no oculta el modelo detrás de las API pagadas, sino que públicamente proporciona el peso de LLAMA de forma gratuita para que cualquiera lo use (con algunas restricciones).Estos pesos representan lo que el modelo aprende del proceso de capacitación de Meta y son necesarios para ejecutar el modelo.Con pesos, cualquiera puede ajustar el modelo o usar la salida del modelo como entrada al nuevo modelo.
Si bien Meta anunció que el peso de Llama para ser elogiado, no es un proyecto de software de código abierto.Meta entrena el modelo en privado utilizando sus propios cálculos, datos y decisiones y decide unilateralmente cuándo abrirlo al mundo.Meta no invita a investigadores/desarrolladores independientes a la comunidad, porque los miembros individuales de la comunidad no pueden permitirse el cómputo o los recursos de datos necesarios para capacitar o capacitar modelos, dos GPU de alta memoria, centros de datos que los albergan, una gran base de enfriamiento de instalaciones y instalaciones de base, y Billones de tokens de datos de entrenamiento.Como establece el informe del índice de IA 2024 de la Universidad de Stanford, «los crecientes costos de capacitación han excluido las universidades (tradicionalmente el centro de la investigación de IA) de desarrollar sus propios modelos básicos de vanguardia». es de $ 100 millones, y puede no incluir el gasto de capital; .Por lo tanto, si bien los contribuyentes comunitarios de Llama pueden tener la capacidad técnica de contribuir e iterar en la arquitectura del modelo básico, aún carecen de los medios para hacerlo.
En resumen, a diferencia de los proyectos tradicionales de software de código abierto, los proyectos de software de código abierto solo requieren contribuyentes para contribuir con el tiempo, mientras que los contribuyentes a los proyectos de IA de código abierto se requieren para contribuir con tiempo y costos sustanciales en forma de informática y datos.No es realista confiar en la buena voluntad y los servicios de voluntariado para inspirar a suficientes fiestas para proporcionar estos recursos.Necesitan una mayor motivación.176B Parameter Open Source LLM El éxito de Bloom puede ser el mejor contraejemplo de servicios de buena voluntad y voluntarios para el desarrollo de IA de código abierto, que involucra a 1,000 investigadores voluntarios de más de 70 países y más de 250 instituciones.Si bien este es, sin duda, un logro impresionante (lo apoyo plenamente), tomó un año coordinar una ejecución de capacitación y recibió un financiamiento de 3 millones de euros de las instituciones de investigación francesas (y esta tarifa no está incluida en el uso del gasto de capital del SuperComputer entrena al modelo, una de las instituciones francesas ya puede usarlo).El proceso de coordinar y confiar en nuevas subvenciones para iterar la floración es demasiado engorroso y burocrático para rivalizar con el ritmo de los grandes laboratorios tecnológicos.Si bien Bloom ha estado huyendo durante más de dos años, no sé si este grupo ha realizado modelos de seguimiento.
Para hacer posible la IA de código abierto, necesitamos incentivar a los proveedores de recursos para que contribuyan con su informática y datos sin los gastos de los contribuyentes de código abierto.
¿Por qué la criptografía puede resolver el problema de recursos de la IA de código abierto?
El avance de Crypto es utilizar la propiedad para hacer posibles proyectos de software de código abierto con altos costos de recursos.Crypto resuelve los problemas de recursos inherentes a la IA de código abierto al incentivar a los proveedores de recursos especulativos con potencial al alza en lugar de requerir que los contribuyentes de código abierto proporcionen estos recursos con anticipación.
Para probar esto, solo mire el Proyecto Crypto original Bitcoin.Bitcoin es un proyecto de software de código abierto;Pero el código en sí no es un arma secreta;El software solo es útil si el número de bloques mineros computacionales es suficiente para exceder la potencia informática de cualquier contribuyente único.Solo de esta manera se puede realizar el software de valor agregado: mantener un libro mayor no controlado.Al igual que Foundation Open Source AI, Bitcoin también representa un proyecto de software de código abierto que requiere recursos más allá de las capacidades de cualquier contribuyente único.Es posible que necesiten este cálculo por diferentes razones: BitCoin es hacer que la red sea a prueba de manipulaciones, mientras que la IA de la base es para iterar el modelo, pero más en general, todos requieren recursos más allá de las necesidades de cualquier contribuyente único. Trabaje como un proyecto de software de código abierto viable.
Bitcoin, o cualquier red de cifrado, es un truco de magia para motivar a los participantes a proporcionar recursos para proyectos de software de código abierto para proporcionar propiedad de la red en forma de tokens.Como Jesse escribió en su artículo fundador para Variant en 2020, los proveedores de recursos de incentivos de propiedad contribuyen con recursos a proyectos a cambio de un posible espacio al alza para la red.Esto es similar a cómo usar el valor de sudor para comenzar una empresa incipiente, pagando a los primeros empleados (como los fundadores) principalmente a través de la propiedad del negocio, las nuevas empresas pueden superar los problemas de inicio al obtener una fuerza laboral que de otra manera no podrían pagar.Crypto extiende el concepto de equidad del sudor a los proveedores de recursos, no solo a aquellos que dedican su tiempo.Por lo tanto, Variant se centra en invertir en proyectos que utilizan la propiedad para construir efectos de la red, como Uniswap, Morpho y World.
Si queremos hacer posible la IA de código abierto, entonces darse cuenta de la propiedad a través de Crypto es la solución a los problemas de recursos que enfrenta.Los investigadores son libres de contribuir con sus ideas de diseño de modelos a proyectos de código abierto, porque los recursos necesarios para implementar sus ideas serán proporcionados por los proveedores de informática y datos a cambio de su propiedad del proyecto, en lugar de pedir a estos investigadores que paguen un alto costo inicial.La propiedad puede tomar muchas formas diferentes en la IA de código abierto, pero lo que más me entusiasma es la propiedad del modelo en sí, como el enfoque propuesto por Pluralis.
Pluralis llama a este enfoque un modelo de protocolo, donde los proveedores informáticos pueden contribuir con recursos informáticos para capacitar un modelo específico de código abierto y obtener la propiedad de los ingresos de inferencia futuros para ese modelo.Dado que la propiedad pertenece a un modelo específico y el valor de la propiedad se basa en los ingresos de inferencia, los proveedores de computación están motivados para elegir el mejor modelo en lugar de trampa (porque proporcionar capacitación inútil reduce el valor esperado de los ingresos de inferencia futura).Entonces, la pregunta es: ¿cómo aplicar la propiedad en pluralis si necesita enviar pesos al proveedor de cómputo para capacitación?La respuesta es que el paralelismo modelo se utiliza para asignar fragmentos de modelo entre los trabajadores, lo que permite la explotación de una propiedad clave de la red neuronal: puede contribuir a capacitar modelos más grandes y solo ver una pequeña porción del peso total, esto garantiza que el completo El conjunto de peso permanece inextracable.Y debido a los muchos modelos diferentes que están entrenados en pluralis, el entrenador tendrá muchos conjuntos de peso diferentes, lo que hace que recrear el modelo sea extremadamente difícil.Este es el concepto central de los modelos de protocolo: se pueden usar, se pueden usar, pero no se pueden extraer del protocolo (no se necesita más energía computacional para entrenar el modelo desde cero).Esto aborda una preocupación a menudo planteada por los críticos de IA de código abierto de que los competidores de IA cerrados asumirán los resultados laborales de los proyectos abiertos.
Por qué cripto+código abierto = mejor ai
Comencé esta publicación con un problema con el control de grandes compañías tecnológicas para ilustrar desde una perspectiva normativa por qué la IA cerrada es mala.Pero en un mundo donde nuestras experiencias en línea son fatalistas, me preocupa que esto pueda no tener sentido para la mayoría de los lectores.Entonces, al final, quiero dar dos razones, esa IA de código abierto impulsado por el cifrado en realidad conducirá a una mejor inteligencia artificial.
Primero, la combinación de cripto y AI de código abierto nos permitirá llegar al próximo modelo básico, ya que coordinará más recursos que la IA cerrada.Nuestra investigación actual muestra que existen más recursos en forma de computación y datos significa mejores modelos, por lo que los modelos subyacentes a menudo se hacen cada vez más grandes.Bitcoin nos muestra qué software de código abierto Plus Cifryction desbloquea en términos de potencia informática.Es la red informática más grande y poderosa del mundo, órdenes de magnitud más grandes que la nube de grandes empresas tecnológicas.El cifrado convierte la competencia aislada en competencia cooperativa.Los proveedores de recursos están motivados para contribuir con sus recursos para resolver problemas colectivos en lugar de acumular sus recursos para resolver el problema individualmente (y redundantemente).La IA de código abierto utilizando el cifrado podrá aprovechar la computación colectiva y los datos del mundo para construir tamaños de modelo que estén mucho más allá del posible potencial de la IA cerrada.Empresas como Hyperbolic han demostrado el poder de aprovechar los recursos informáticos colectivos que cualquiera puede alquilar GPU en sus mercados abiertos a un precio más bajo.
En segundo lugar, la combinación de criptografía y IA de código abierto impulsará más innovación.Esto se debe a que si podemos superar los problemas de recursos, podemos volver a la naturaleza de código abierto altamente iterativa e innovadora de la investigación del aprendizaje automático.Antes del reciente lanzamiento de Basic LLM, los investigadores de aprendizaje automático han publicado públicamente planos para sus modelos y replicando modelos durante décadas.Estos modelos a menudo usan conjuntos de datos abiertos más limitados y tienen requisitos computacionales manejables, lo que significa que cualquiera puede iterar sobre ellos.Es a través de esta iteración que hemos progresado en el modelado de secuencias, como RNN, LSTM y mecanismos de atención, lo que permite construir la arquitectura del modelo «Transformador» de la que depende la LLM subyacente actual.Pero todo esto ha cambiado con la introducción de GPT-3 (que revirtió la tendencia del código abierto GPT-2) y el gran éxito de Chatgpt.Esto se debe a que OpenAI demuestra que si invierte suficiente cálculo y datos sobre modelos masivos, puede construir LLM que parecen comprender el lenguaje humano.Esto ha creado problemas de recursos, lo que hace imposible que la academia proporcione altos precios y ha provocado que el laboratorio de las grandes empresas tecnológicas básicamente deje de publicar sus arquitecturas modelo públicamente para mantener una ventaja competitiva.El estado actual de confiar principalmente en laboratorios individuales limitará nuestra capacidad de romper los límites de la tecnología de vanguardia.La IA de código abierto implementada a través del cifrado significará que los investigadores podrán continuar este proceso iterativo en modelos de vanguardia para descubrir el «siguiente transformador».
