jakiro
著者：Daniel Barabander、Variant Fundのパートナー
この記事の重要なポイント
-
現在、基本的なAI開発はいくつかのテクノロジー企業が主導しており、閉鎖的で反競争的な状態にあります。
-
オープンソースのソフトウェア開発は別のオプションですが、基本的なAIは、「リソースの問題」とオープンソースの貢献者も、個人の能力を超えてコンピューティングとデータコストを寄付するよう求められているため、従来のオープンソースソフトウェアプロジェクト（Linuxなど）として開発することはできません。 。
-
暗号化は、所有権インセンティブリソースプロバイダーを通じて、基本的なオープンソースAIプロジェクトに貢献することにより、リソースの問題を解決します。
-
暗号化と組み合わせたオープンソースAIは、より大きなモデルをサポートし、より多くの革新を促進し、より良いAIにつながります。
導入
2024年のピューリサーチセンターの世論調査では、アメリカ人の64％がソーシャルメディアが米国にプラスの影響を与えるのではなくマイナスの影響を与えていると考えており、78％がソーシャルメディア企業が今日の政治と影響力が多すぎると答えています。プラットフォームは、意図的に意図的に反対する政治的見解を検閲する可能性があります。ソーシャルメディアプラットフォームへの嫌悪感は、アメリカ人を団結させる数少ない問題の1つです。
過去20年間のソーシャルメディア実験の進歩を振り返ってみると、この状況に陥ることは避けられないようです。あなたは皆、この話を知っています。いくつかの大規模なハイテク企業が当初注目を集め、最も重要なこととして、ユーザーデータを取得しました。人々は当初、データが公開されることを望んでいましたが、企業はすぐに方向を変え、それを使用して壊れないネットワーク効果を構築した後にアクセスをオフにしました。これは基本的に現在の状況につながります。10未満の大規模なテクノロジーソーシャルメディア企業がoligopolyの下で小さな封建領土のように存在し、現在の状況が非常に有益であるため、変化する動機はありません。閉じられ、反競争的です。
AI実験の現在の進捗状況を見ると、私は同じ映画を繰り返しているように感じますが、今回はもっと多くのものが含まれます。少数の大手ハイテク企業がGPUとデータを蓄積して、基本的なAIモデルを構築し、これらのモデルへのアクセスをブロックしています。新規参入者（数十億ドルを調達しない）の場合、入場障壁が高すぎるため、競争力のあるバージョンを構築することはできなくなりました。最後の技術ブームの恩恵を受けたソーシャルメディア企業は、競合他社ができないモデルを構築するために、独自のユーザーデータに対する制御を活用しています。私たちは皆、ソーシャルメディアで私たちがしていることを再現するためにAIの分野にいます：閉鎖的で反競争的です。閉鎖されたAIのこのパスに沿って続けると、少数のハイテク企業が情報と機会へのアクセスを無制限に制御できます。
オープンソースAIおよび「リソースの問題」
閉じたAIの世界が欲しくない場合、私たちの選択肢は何ですか？答えは明らかです。つまり、基本モデルをオープンソースソフトウェアプロジェクトに構築することです。毎日依存している基礎となるソフトウェアを構築するオープンソースプロジェクトの数え切れないほどの例があります。Linuxがオペレーティングシステムと同じくらい基本的なものもオープンソースを構築できることを示している場合、LLMの違いは何ですか？
残念ながら、基礎となるAIモデルには、従来のソフトウェアとは異なるものにするいくつかの制限があり、従来のオープンソースソフトウェアプロジェクトとしての実現可能性を深刻に妨げています。具体的には、基本aiモデル自体には、個人の機能を超えてコンピューティングとデータリソースが必要です。その結果、時間を寄付するために人々に依存する従来のオープンソースソフトウェアプロジェクト（すでに困難な問題です）とは異なり、オープンソースAIでは、人々がコンピューティングとデータの形でリソースを寄付する必要があります。これは、オープンソースAIの「リソースの問題」です。
リソースの問題をよりよく理解するために、MetaのLlamaモデルを見てみましょう。メタは、競合他社（Openai、Googleなど）とは異なります。これは、有料APIの背後にあるモデルを非表示にするのではなく、代わりに誰でも使用できる（いくつかの制限を伴う）ラマの重量を公開します。これらの重みは、METAのトレーニングプロセスからモデルが学習することを表し、モデルを実行するために必要です。ウェイトを使用すると、誰でもモデルを微調整したり、新しいモデルへの入力としてモデルの出力を使用したりできます。
メタはラマの重みを賞賛することを発表しましたが、それは真にオープンソースのソフトウェアプロジェクトではありません。メタは、独自の計算、データ、および決定を使用してモデルを個人的に訓練し、世界にいつ開くかを一方的に決定します。個々のコミュニティメンバーがモデルをトレーニングまたは再訓練するために必要な計算またはデータリソースを購入することはできないため、メタは独立した研究者/開発者をコミュニティに招待しません。数兆個のトレーニングデータトークン。スタンフォード大学の2024年のAIインデックスレポートによると、「トレーニングコストの上昇は、実際に大学（伝統的にAI研究の中心）を独自の最先端の基本モデルを開発することを除外しています。 1億ドルであり、主にサーバー、データセンター、ネットワークインフラストラクチャのAIモデルに関連する投資をトレーニングして、メタの資本支出が21億ドル増加した（2023年第2四半期）。 。したがって、ラマのコミュニティ貢献者は、基本的なモデルアーキテクチャに貢献して反復する技術的能力を持っているかもしれませんが、彼らはまだそうする手段を欠いています。
要約すると、従来のオープンソースソフトウェアプロジェクトとは異なり、オープンソースソフトウェアプロジェクトは時間を貢献するために貢献者のみを必要としますが、オープンソースAIプロジェクトへの貢献者は、コンピューティングとデータの形で時間と実質的なコストを寄付するために必要です。これらのリソースを提供するのに十分なパーティーを刺激するために、のれんやボランティアサービスに頼ることは非現実的です。彼らにはさらなる動機が必要です。176bパラメーターオープンソースLLMブルームの成功は、70か国以上から250を超える機関の1,000人のボランティア研究者が関与するオープンソースAIの開発のための善意とボランティアサービスの最良の対抗の可能性があります。これは間違いなく印象的な成果ですが（私はそれを完全にサポートしています）、トレーニングランを調整するのに1年かかり、フランスの研究機関から300万ユーロの資金を受け取りました（そして、この料金は、 SuperComputerはモデルをトレーニングします。フランスの機関の1つはすでに使用できます）。ブルームを繰り返すために新しい助成金を調整し、依存するプロセスは、大規模なハイテクラボのペースに匹敵するには面倒で官僚的です。ブルームは2年以上走っていますが、このグループがフォローアップモデルを作成したかどうかはわかりません。
オープンソースAIを可能にするには、オープンソースの貢献者の費用なしでコンピューティングとデータを貢献するようリソースプロバイダーに奨励する必要があります。
CryptoがオープンソースAIのリソースの問題を解決できる理由
Cryptoのブレークスルーは、所有権を使用して、リソースコストが高いオープンソースソフトウェアプロジェクトを可能にすることです。Cryptoは、オープンソースの貢献者がこれらのリソースを事前に提供することを要求するのではなく、潜在的な資源プロバイダーに潜在的なリソースプロバイダーに潜在的なリソースプロバイダーに潜在的なリソースプロバイダーにインセンティブを与えることにより、オープンソースAIに内在するリソースの問題を解決します。
これを証明するには、元のCrypto Project Bitcoinをご覧ください。Bitcoinはオープンソースソフトウェアプロジェクトです。しかし、コード自体は秘密の武器ではありません。ビットコインノードソフトウェアを実行して、ローカルコンピューターにのみ存在するブロックチェーンを作成します。ソフトウェアは、計算マイニングブロックの数が単一の貢献者のコンピューティング能力を超えるのに十分である場合にのみ役立ちます。この方法でのみ、付加価値ソフトウェアを実現できます。制御されていない元帳を維持します。Foundation Open Source AIと同様に、Bitcoinは、単一の貢献者の機能を超えたリソースを必要とするオープンソースソフトウェアプロジェクトも表しています。彼らはさまざまな理由でこの計算を必要とするかもしれません – ビットコインはネットワークを改ざんすることですが、基礎AIはモデルを反復することですが、より広く、すべての貢献者のニーズを超えてリソースを必要とします実行可能なオープンソースソフトウェアプロジェクトとして機能します。
ビットコイン、または任意の暗号ネットワークは、参加者がトークンの形でネットワークの所有権を提供するためのオープンソースソフトウェアプロジェクトにリソースを提供するように動機付けるための魔法のトリックです。ジェシーは2020年にバリアントの設立論文に書いたように、所有権インセンティブリソースプロバイダーは、ネットワークの潜在的な上昇スペースと引き換えにプロジェクトにリソースを提供します。これは、スウェットエクイティを使用して駆け出しの会社を開始する方法に似ています。主にビジネスの所有権を通じて初期の従業員（創業者など）に支払うことで、スタートアップは、他の方法では余裕のない労働力を取得することでスタートアップの問題を克服できます。Cryptoは、時間を費やす人だけでなく、リソースプロバイダーに汗をかくエクシティの概念を拡張します。したがって、Variantは、所有権を使用してUniswap、Morpho、Worldなどのネットワーク効果を構築するプロジェクトへの投資に焦点を当てています。
オープンソースAIを可能にしたい場合、Cryptoを通じて所有権を認識することは、直面するリソースの問題の解決策です。研究者は、モデルデザインのアイデアをオープンソースプロジェクトに自由に提供することができます。なぜなら、これらの研究者に高い前払いコストを支払うように依頼するのではなく、プロジェクトの所有と引き換えにコンピューティングとデータプロバイダーがアイデアを実装するために必要なリソースは提供されるからです。所有権はオープンソースAIでさまざまな形をとることができますが、私が最も興奮しているのは、Pluralisが提案したアプローチのように、モデル自体の所有権です。
Pluralisはこのアプローチをプロトコルモデルと呼びます。ここでは、コンピューティングプロバイダーがコンピューティングリソースに貢献して、特定のオープンソースモデルをトレーニングし、そのモデルの将来の推論収益の所有権を獲得できます。所有権は特定のモデルに属し、所有権の価値は推論収入に基づいているため、コンピューティングプロバイダーはトレーニングではなく最良のモデルを選択するように動機付けられます（役に立たないトレーニングを提供すると、将来の推論収入の期待値が減少するため）。次に、トレーニングのために計算プロバイダーにウェイトを送信する必要がある場合、Pluralisの所有権を実施する方法は次のとおりです。答えは、モデルの並列性が労働者間でモデルの破片を割り当てるために使用され、ニューラルネットワークの重要な特性の活用を可能にするということです。それは、総重量のごく一部を見る一方で、より大きなモデルのトレーニングに貢献することができます。これにより、完全なものが保証されます。ウェイトセットは未脱退のままです。また、多目的で訓練されている多くの異なるモデルがあるため、トレーナーはさまざまな重量セットを持ち、モデルの再現が非常に困難になります。これはプロトコルモデルのコア概念です。それらはトレーニング可能で、使用できますが、プロトコルから抽出することはできません（モデルをゼロからトレーニングするためには、これ以上の計算能力は必要ありません）。これは、AIの競合他社を閉鎖したオープンソースAI批評家によってしばしば提起された懸念に対処します。
Crypto+Open Source =より良いAI
私はこの投稿を始め、大手ハイテク企業の制御に関する問題を始めて、閉じたAIが悪い理由を規範的な観点から説明しました。しかし、私たちのオンライン経験が致命的な世界では、これがほとんどの読者にとって意味がないかもしれないと心配しています。そのため、最終的には、暗号化を搭載したオープンソースAIが実際により良い人工知能につながるという2つの理由を示したいと思います。
まず、暗号とオープンソースAIの組み合わせにより、閉じたAIよりも多くのリソースを調整するため、次の基本モデルに到達することができます。私たちの現在の研究は、計算とデータの形でより多くのリソースが存在し、データがより良いモデルを意味することを示しているため、基礎となるモデルがしばしばより大きくなります。ビットコインは、コンピューティングパワーの点でオープンソースソフトウェアと暗号化がロック解除されるものを示しています。これは、世界最大かつ最も強力なコンピューティングネットワークであり、大規模なハイテク企業の雲よりも桁違いに大きくなっています。暗号化は、孤立した競争を協力的な競争に変えます。リソースプロバイダーは、問題を個別に解決するためにリソースを貯めるのではなく、集合的な問題を解決するためにリソースを提供するように動機付けられています。暗号化を使用するオープンソースAIは、世界の集合コンピューティングとデータを活用して、閉じたAIの可能性のある可能性をはるかに超えたモデルサイズを構築することができます。双曲線のような企業は、誰もがより低価格でオープンマーケットでGPUをレンタルできる集合的コンピューティングリソースを活用する力を実証しています。
第二に、暗号とオープンソースのAIを組み合わせることで、より多くのイノベーションが促進されます。これは、リソースの問題を克服できれば、機械学習研究の非常に反復的で革新的なオープンソースの性質に戻ることができるためです。Basic LLMの最近の発売の前に、機械学習研究者は、数十年にわたってモデルの青写真を公開し、モデルを再現してきました。これらのモデルは、多くの場合、より限られたオープンデータセットを使用し、管理しやすい計算要件を備えています。つまり、誰でもそれらを繰り返すことができます。この反復を通じて、RNN、LSTM、注意メカニズムなどのシーケンスモデリングを進歩させました。これにより、現在の基礎となるLLMが依存する「トランス」モデルアーキテクチャを構築できます。しかし、これはすべて、GPT-3（オープンソースGPT-2の傾向を逆転させた）とChatGPTの大成功を導入することで変化しました。これは、Openaiが、大規模なモデルに十分な計算とデータを投資すれば、人間の言語を理解しているように見えるLLMを構築できることを証明するためです。これにより、リソースの問題が発生し、アカデミアが高価な価格を提供することを不可能にし、大規模なハイテク企業のラボが基本的に競争上の優位性を維持するためにモデルアーキテクチャの公開を公開するのを停止するようになりました。主に個々の研究所に依存している現在の状態は、最先端の技術の境界を突破する能力を制限します。暗号化を通じて実装されたオープンソースAIは、研究者が最先端のモデルでこの反復プロセスを再び継続して「次の変圧器」を発見できることを意味します。
