Variante: Warum Bessere AIs Krypto brauchen

Autor: Daniel Barabander, General Counsel und Partner des Variantenfonds;

Schlüsselpunkte dieses Artikels

• Derzeit wird die grundlegende KI-Entwicklung von einigen wenigen Technologieunternehmen geleitet und befindet sich in einem geschlossenen und wettbewerbswidrigen Zustand.

• Die Entwicklung von Open -Source -Software ist eine weitere Option, aber die grundlegende KI kann aufgrund seiner „Ressourcenprobleme“ nicht als herkömmliches Open -Source -Softwareprojekt (wie Linux) entwickelt werden, und Open Source -Mitwirkende werden auch gebeten, Computer- und Datenkosten über ihre persönlichen Personen hinaus zu spenden Fähigkeiten.

• Die Verschlüsselung löst Ressourcenprobleme, indem er zu einem grundlegenden Open -Source -KI -Projekt durch Eigentumsanbieter -Anbieter beiträgt.

• Open Source AI in Kombination mit Verschlüsselung kann größere Modelle unterstützen und mehr Innovationen vorantreiben, was zu einer besseren KI führt.

Einführung

Eine Umfrage von 2024 Pew Research Center ergab, dass 64% der Amerikaner der Ansicht sind, dass Social Media eher negative als positive Auswirkungen auf die USA hat, und 78% sagen, dass Social -Media -Unternehmen in der heutigen Politik und im Einfluss zu viel Macht haben, 83% sagten diese, diese Plattformen zensieren wahrscheinlich oder zensieren wahrscheinlich politische Ansichten, mit denen sie nicht einverstanden sind.Ekel für Social -Media -Plattformen ist eines der wenigen Themen, die Amerikaner vereinen.

Wenn man auf den Fortschritt von Social -Media -Experimenten in den letzten 20 Jahren zurückblickt, erscheint es unvermeidlich, dass wir in dieser Situation enden werden.Sie alle kennen diese Geschichte.Einige große Technologieunternehmen erregten zunächst Aufmerksamkeit und erhielten vor allem Benutzerdaten.Während die Leute zunächst hofften, dass die Daten veröffentlicht werden würden, änderten die Unternehmen schnell die Richtung und schalteten den Zugriff aus, nachdem sie einen unzerbrechlichen Netzwerk -Effekt erstellt hatten.Dies führt im Grunde zu der gegenwärtigen Situation, in der weniger als zehn große Technologie -Social -Media -Unternehmen wie kleine feudale Gebiete im Rahmen von Oligopolen existieren und keine motivierte Veränderung haben, da die aktuelle Situation äußerst profitabel ist.Es ist geschlossen, wettbewerbsfähig.

Wenn ich den aktuellen Fortschritt des KI -Experiments betrachte, habe ich das Gefühl, dass ich denselben Film wiederhole, aber diesmal geht es um mehr.Eine Handvoll großer Technologieunternehmen hat GPUs und Daten angesammelt, um grundlegende KI -Modelle zu erstellen und den Zugriff auf diese Modelle zu blockieren.Für neue Teilnehmer (keine Milliarden von Dollar) ist nicht mehr möglich, eine Wettbewerbsversion zu erstellen, da die Eintrittsbarriere zu hoch ist Social -Media -Unternehmen, die vom letzten technologischen Boom profitierten, nutzen ihre Kontrolle über proprietäre Benutzerdaten, um Modelle zu erstellen, die die Wettbewerber nicht ausführen können.Wir sind alle im KI-Raum, um das zu reproduzieren, was wir in den sozialen Medien tun: geschlossen und wettbewerbswidrig.Wenn wir diesen Weg der geschlossenen KI fortsetzen, haben eine Handvoll Technologieunternehmen unbegrenzt die Kontrolle über den Zugang zu Informationen und Möglichkeiten.

Open Source AI und „Ressourcenprobleme“

Wenn wir keine geschlossene KI -Welt wollen, was ist unsere Alternative?Die Antwort ist offensichtlich, dh das Aufbau des Basismodells in ein Open -Source -Softwareprojekt aufzubauen.Wir haben unzählige Beispiele für Open -Source -Projekte, die die zugrunde liegende Software aufbauen, auf die wir uns jeden Tag verlassen.Wenn Linux zeigt, dass etwas so Basic wie ein Betriebssystem auch Open Source erstellt werden kann, was ist dann der Unterschied zu LLM?

Leider gibt es einige Einschränkungen in den zugrunde liegenden KI -Modellen, die sie von der traditionellen Software unterscheiden, die ihre Machbarkeit als herkömmliche Open -Source -Softwareprojekte ernsthaft behindern.Insbesondere grundlegendAiDas Modell selbst erfordert Computer- und Datenressourcen über die Fähigkeiten einer Person hinaus.Das Ergebnis ist, dass im Gegensatz zu herkömmlichen Open -Source -Softwareprojekten, die sich auf Menschen verlassen, die Zeit spenden (was bereits ein herausforderndes Problem darstellt), von Open Source KI außerdem verlangt, dass Menschen Ressourcen in Form von Computer und Daten spenden.Dies ist das „Ressourcenproblem“ von Open Source AI.

Um Ressourcenprobleme besser zu verstehen, werfen wir einen Blick auf das Lama -Modell von Meta.Meta unterscheidet sich von seinen Konkurrenten (OpenAI, Google usw.), da es das Modell hinter bezahlten APIs nicht versteckt, sondern öffentlich das Gewicht von Lama kostenlos für alle verwenden kann (mit einigen Einschränkungen).Diese Gewichte repräsentieren das, was das Modell aus dem Trainingsprozess von Meta lernt, und sind erforderlich, um das Modell auszuführen.Mit Gewichten kann jeder das Modell fein abstellen oder die Ausgabe des Modells als Eingabe für das neue Modell verwenden.

Während Meta das Gewicht von Lama ankündigte, das gelobt werden soll, ist es kein wirklich Open -Source -Softwareprojekt.Meta trainiert das Modell privat mit eigenen Berechnungen, Daten und Entscheidungen und entscheidet einseitig, wann er es für die Welt öffnen soll.META lädt unabhängige Forscher/Entwickler nicht in die Gemeinschaft ein, da sich einzelne Community-Mitglieder die Rechen- oder Datenressourcen nicht leisten können, die für die Ausbildung oder Wiederholung von tausend hohen GPUs, Rechenzentren, die sie beherbergen Billionen Schulungsdaten -Token.Wie der AI-Index-Bericht von Stanford University besagt, dass die steigenden Schulungskosten tatsächlich die Universitäten (traditionell das Zentrum der KI-Forschung) ausgeschlossen haben, um ihre eigenen modernsten Basismodelle zu entwickeln. “ beträgt 100 Millionen US-Dollar, und es kann nicht die Kapitalausgaben enthalten; .Daher haben die Community -Mitwirkenden von Llama möglicherweise die technische Fähigkeit, die Grundmodellarchitektur zu beitragen und zu iterieren, aber es fehlt ihnen immer noch die Mittel, um dies zu tun.

Zusammenfassend erfordern Open -Source -Softwareprojekte im Gegensatz zu herkömmlichen Open -Source -Softwareprojekten nur die Mitwirkenden, während die Mitwirkenden für Open -Source -KI -Projekte Zeit und erhebliche Kosten in Form von Computer und Daten leisten müssen.Es ist unrealistisch, sich auf Goodwill und Freiwilligendienste zu verlassen, um genügend Parteien zu inspirieren, um diese Ressourcen bereitzustellen.Sie brauchen weitere Motivation.176B Parameter Open Source LLM Der Erfolg von Bloom kann das beste Gegenbeispiel des Goodwill- und Freiwilligendienses für die Entwicklung von Open Source AI sein, an dem 1.000 Freiwilligenforscher aus mehr als 70 Ländern und über 250 Institutionen beteiligt sind.Während dies zweifellos eine beeindruckende Leistung ist (ich unterstütze es voll und ganz), dauerte es ein Jahr, um einen Schulungslauf zu koordinieren, und erhielt eine Finanzierung von 3 Millionen Euro von französischen Forschungsinstitutionen (und diese Gebühr ist nicht in die Verwendung des Investitionsausgangs der Investitionsausgaben einbezogen Supercomputer trainiert das Modell, eine der französischen Institutionen kann es bereits verwenden).Der Prozess der Koordinierung und Stütze auf neue Zuschüsse, um die Blüte zu iterieren, ist zu mühsam und bürokratisch, um das Tempo großer Tech -Labors mithalten zu können.Während Bloom seit über zwei Jahren auf der Flucht ist, weiß ich nicht, ob diese Gruppe Follow-up-Modelle gemacht hat.

Um Open Source KI möglich zu machen, müssen wir Ressourcenanbieter anregen, um ihre Computer und Daten ohne die Kosten für Open -Source -Mitwirkende beizutragen.

Warum kann Crypto das Ressourcenproblem der Open Source AI lösen?

Der Durchbruch von Crypto besteht darin, das Eigentum zu verwenden, um Open -Source -Softwareprojekte mit hohen Ressourcenkosten zu ermöglichen.Crypto löst die Ressourcenprobleme, die der Open -Source -KI inhärent sind, indem spekulative Ressourcenanbieter potenzieller Aufwärtstrend anreizen, anstatt Open Source -Mitwirkende zu verpflichten, diese Ressourcen im Voraus bereitzustellen.

Um dies zu beweisen, schauen Sie sich einfach das Original Crypto Project Bitcoin an.Bitcoin ist ein Open -Source -Softwareprojekt.Der Code selbst ist jedoch keine geheime Waffe.Die Software ist nur nützlich, wenn die Anzahl der Berechnungsabbaublöcke ausreicht, um die Rechenleistung eines einzelnen Mitwirkenden zu überschreiten.Nur auf diese Weise kann die Mehrwertsoftware realisiert werden: Aufrechterhaltung eines unkontrollierten Hauptbuchs.Wie die Foundation Open Source AI stellt Bitcoin auch ein Open -Source -Softwareprojekt dar, für das Ressourcen über die Funktionen eines einzelnen Mitwirkenden hinausgehen.Möglicherweise benötigen sie diese Berechnung aus unterschiedlichen Gründen-Bitcoin soll das Netzwerk tollesfest machen, während die Foundation AI das Modell iterieren soll-aber allgemein erfordern sie alle Ressourcen, die über die Bedürfnisse eines einzelnen Beitrags hinausgehen. Arbeiten Sie als praktikable Open -Source -Softwareprojekt.

Bitcoin oder ein Krypto -Netzwerk ist ein Zaubertrick, um die Teilnehmer dazu zu motivieren, Ressourcen für Open -Source -Softwareprojekte bereitzustellen, um Netzwerkbesitz in Form von Token bereitzustellen.Wie Jesse im Jahr 2020 in seinem Gründungspapier für Variante schrieb, tragen die Anbieter von Eigentumsincentive -Ressourcen Ressourcen für Projekte im Austausch für potenzielle Aufwärtspotenzial für das Netzwerk bei.Dies ähnelt der Verwendung von Sweat -Eigenkapital, um ein junges Unternehmen zu gründen. Durch die Bezahlung früherer Mitarbeiter (wie Gründer) können Startups Startup -Probleme überwinden, indem sie eine Belegschaft erhalten, die sie sich sonst nicht leisten könnten.Crypto erweitert das Konzept des Schweißgerechs auf Ressourcenanbieter, nicht nur auf diejenigen, die ihre Zeit widmen.Daher konzentriert sich die Variante auf Investitionen in Projekte, die das Eigentum zum Aufbau von Netzwerkffekten wie UNISWAP, Morpho und World verwenden.

Wenn wir Open Source -KI ermöglichen möchten, ist die Erkenntnis des Eigentums durch Crypto die Lösung für die Ressourcenprobleme, mit denen sie konfrontiert sind.Forscher können ihre Ideen für Modelldesigns zu Open -Source -Projekten kosten, da die zur Implementierung ihrer Ideen erforderlichen Ressourcen durch Computer- und Datenanbieter im Austausch für ihr Eigentum an dem Projekt bereitgestellt werden, anstatt diese Forscher zu bitten, hohe Vorabkosten zu zahlen.Das Eigentum kann in Open Source AI viele verschiedene Formen annehmen, aber was ich am meisten aufgeregt habe, ist das Eigentum des Modells selbst, wie der von Pluralis vorgeschlagene Ansatz.

Pluralis nennt diesen Ansatz ein Protokollmodell, bei dem Computeranbieter Computerressourcen zur Ausbildung eines bestimmten Open -Source -Modells beitragen können und das Eigentum an zukünftigen Inferenzeinnahmen für dieses Modell erhalten.Da das Eigentum zu einem bestimmten Modell gehört und der Wert des Eigentums auf Inferenzeinkommen basiert, sind die Computeranbieter motiviert, das beste Modell zu wählen, anstatt das beste Schulungsausbildung (da die Bereitstellung nutzloser Schulungen den erwarteten Wert des künftigen Inferenzeinkommens verringert).Dann stellt sich die Frage: Wie kann man das Eigentum an Pluralis durchsetzen, wenn Sie Gewichte an den Berechnungsprogramm zur Schulung senden müssen?Die Antwort ist, dass die Modellparallelität zur Zuordnung von Modellschards zwischen den Arbeitnehmern verwendet wird und die Ausbeutung einer wichtigen Eigenschaft des neuronalen Netzwerks ermöglicht: Es kann dazu beitragen, größere Modelle zu schulen und gleichzeitig einen kleinen Teil des Gesamtgewichts zu sehen. Das Gewichtssatz bleibt unerklärlich.Und aufgrund der vielen verschiedenen Modelle, die auf Pluralis ausgebildet werden, hat der Trainer viele verschiedene Gewichtssätze, was das Nachdenken des Modells extrem erschwert.Dies ist das Kernkonzept von Protokollmodellen: Sie sind trainierbar, können verwendet werden, können jedoch nicht aus dem Protokoll extrahiert werden (es ist keine Berechnungsleistung mehr, um das Modell von Grund auf zu trainieren).Dies befasst sich mit einer Besorgnis, die häufig von Open -Source -KI -Kritikern ausgelöst wird, bei denen die geschlossenen KI -Konkurrenten die Arbeitergebnisse von offenen Projekten in Anspruch nehmen werden.

Warum Crypto+Open Source = bessere KI

Ich habe diesen Beitrag mit einem Problem mit der Kontrolle großer Technologieunternehmen begonnen, um aus normativer Perspektive zu veranschaulichen, warum geschlossene KI schlecht ist.Aber in einer Welt, in der unsere Online -Erfahrungen fatalistisch sind, mache ich mir Sorgen, dass dies für die meisten Leser keinen Sinn macht.Am Ende möchte ich also zwei Gründe angeben, diese Open -Source -KI, die durch Verschlüsselung betrieben wird, tatsächlich zu einer besseren künstlichen Intelligenz führen.

Erstens ermöglicht die Kombination von Krypto und Open Source KI das nächste Grundmodell, da sie mehr Ressourcen als geschlossene KI koordiniert.Unsere aktuelle Untersuchungen zeigen, dass mehr Ressourcen in Form von Rechen- und Daten vorhanden sind und bessere Modelle sind, weshalb die zugrunde liegenden Modelle oft immer größer werden.Bitcoin zeigt uns, welche Open Source -Software plus Verschlüsselung im Hinblick auf die Rechenleistung freigeschaltet wird.Es ist das weltweit größte und leistungsstärkste Computernetzwerk, Größenordnungen, die größer sind als die Cloud großer Technologieunternehmen.Die Verschlüsselung verwandelt den isolierten Wettbewerb in kooperativen Wettbewerb.Ressourcenanbieter sind motiviert, ihre Ressourcen beizutragen, um kollektive Probleme zu lösen, anstatt ihre Ressourcen zu horten, um das Problem einzeln (und redundant) zu lösen.Open Source AI mit Verschlüsselung kann das kollektive Computer und die Daten der Welt nutzen, um Modellgrößen zu erstellen, die weit über das mögliche Potenzial der geschlossenen KI hinausgehen.Unternehmen wie Hyperbolic haben gezeigt, dass sie kollektive Computerressourcen nutzen, die jeder für einen günstigeren Preis auf ihren offenen Märkten vermieten kann.

Zweitens wird die Kombination von Crypto und Open Source KI mehr Innovation vorantreiben.Dies liegt daran, dass wir, wenn wir das Ressourcenproblem überwinden können, zur hoch iterativen und innovativen Open -Source -Natur der Forschung für maschinelles Lernen zurückkehren können.Vor der jüngsten Einführung der Basic LLM veröffentlichen maschinelle Lernforscher seit Jahrzehnten Pläne für ihre Modelle und replizierende Modelle.Diese Modelle verwenden häufig eingeschränktere offene Datensätze und haben überschaubare Rechenanforderungen, was bedeutet, dass jeder über sie iterieren kann.Durch diese Iteration haben wir Fortschritte bei der Sequenzmodellierung wie RNN-, LSTM- und Aufmerksamkeitsmechanismen gemacht, was es ermöglicht, die Modellarchitektur „Transformator“ zu konstruieren, von der die aktuelle zugrunde liegende LLM abhängt.All dies hat sich jedoch mit der Einführung von GPT-3 (der den Trend von Open Source GPT-2 umgekehrt) und Chatgpts enormer Erfolg geändert.Dies liegt daran, dass OpenAI beweist, dass Sie, wenn Sie genügend Berechnung und Daten zu massiven Modellen investieren, LLMs erstellen können, die die menschliche Sprache zu verstehen scheinen.Dies hat Ressourcenprobleme verursacht und es für die Akademie unmöglich gemacht, hohe Preise zu leisten, und das Labor großer Technologieunternehmen dazu veranlasst hat, im Grunde die Veröffentlichung ihrer Modellarchitekturen öffentlich zu veröffentlichen, um einen Wettbewerbsvorteil aufrechtzuerhalten.Der derzeitige Zustand der Stütze hauptsächlich auf einzelne Labors wird unsere Fähigkeit einschränken, die Grenzen der hochmodernen Technologie zu durchbrechen.Die durch Verschlüsselung implementierte Open Source-KI wird bedeuten, dass Forscher diesen iterativen Prozess bei modernsten Modellen erneut fortsetzen können, um den „nächsten Transformator“ zu entdecken.