# AI x Crypto: ゼロからピークまでAI業界の最近の発展は、ある人々によって第4次産業革命と見なされています。大規模モデルの出現は、各業界の効率を著しく向上させ、米国の作業効率を約20%向上させたと推定されています。また、大規模モデルがもたらす一般化能力は、新しいソフトウェア設計のパラダイムと見なされています。従来のソフトウェア設計は正確なコードでしたが、今ではより一般化された大規模モデルフレームワークがソフトウェアに組み込まれ、これらのソフトウェアはより良いパフォーマンスを持ち、より広範なモードの入力と出力をサポートできるようになっています。深層学習技術はAI業界に第4の繁栄をもたらし、この潮流は暗号通貨業界にも影響を与えています。本報告では、AI業界の発展の歴史、技術の分類、そして深層学習技術が業界に与える影響について詳しく探討します。その後、深層学習におけるGPU、クラウドコンピューティング、データソース、エッジデバイスなどの産業チェーンの上下流の発展状況とトレンドを深く分析します。最後に、本質的に暗号通貨とAI業界の関係について探討し、暗号通貨に関連するAI産業チェーンの構造を整理します。! [新人科学丨AI×暗号:ゼロからピークまで](https://img-cdn.gateio.im/social/moments-7e025deb1fddcd5fa716b6f144701074)## AI業界の歴史AI産業は20世紀50年代に始まり、人工知能のビジョンを実現するために、学術界と産業界は異なる時代、異なる学問的背景のもとで、さまざまな人工知能の実現派を発展させてきました。現代の人工知能技術は主に「機械学習」という用語を使用しており、この技術の理念は、機械がデータに基づいてタスクを繰り返し反復し、システムの性能を改善することです。主なステップは、データをアルゴリズムに送信し、このデータを使用してモデルを訓練し、モデルをテストして展開し、モデルを使用して自動化された予測タスクを完了することです。現在、機械学習には主に3つの流派があり、結合主義、記号主義、行動主義がそれぞれ人間の神経系、思考、行動を模倣しています。現在、神経ネットワークを代表とする結合主義が優勢を占めています(、深層学習とも呼ばれています)。このアーキテクチャの主な理由は、入力層と出力層があり、複数の隠れ層が存在することです。層の数と神経元(のパラメータ)の数が十分に多くなると、複雑な汎用タスクに適合する十分な機会が得られます。データを入力することで、神経元のパラメータを継続的に調整でき、最終的に多くのデータを経て、その神経元は最適な状態(のパラメータ)に達します。これが「大きな力が奇跡を生む」と呼ばれる所以であり、「深さ」という言葉の由来でもあります——十分な層と神経元が存在します。例えば、簡単に理解できるのは、関数を構築したということです。この関数にX=2を入力するとY=3になり、X=3のときはY=5になります。この関数がすべてのXに対応するためには、関数の次数とそのパラメータを常に追加する必要があります。例えば、今の時点でこの条件を満たす関数をY = 2X -1として構築できます。しかし、もしデータがX=2、Y=11の場合は、この3つのデータポイントに適した関数を再構築する必要があります。GPUを使ってブルートフォースで調べた結果、Y = X2 -3X +5が適切であることがわかりましたが、データと完全に一致する必要はなく、バランスを守り、大体似たような出力であれば問題ありません。ここでX2、X、X0はそれぞれ異なるニューロンを表し、1、-3、5はそのパラメータです。この時、大量のデータを神経ネットワークに入力すると、ニューロンを増やしたり、パラメータを反復して新しいデータにフィットさせることができます。こうすることで、すべてのデータにフィットさせることができます。神経ネットワークに基づく深層学習技術も、初期の神経ネットワーク、フィードフォワード神経ネットワーク、RNN、CNN、GANなど、複数の技術の反復と進化を経て、現代の大モデルであるGPTなどで使用されるTransformer技術に進化しました。Transformer技術は神経ネットワークの一つの進化の方向性に過ぎず、すべてのモーダリティ(（音声、動画、画像など）のデータを対応する数値にエンコードするための変換器)を追加しました。これを神経ネットワークに入力することで、神経ネットワークはあらゆるタイプのデータをフィッティングできるようになり、つまりマルチモーダルを実現します。! [新参者科学人気丨AI×暗号:ゼロからピークまで](https://img-cdn.gateio.im/social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c)AIの発展は三つの技術の波を経てきました。最初の波は20世紀60年代で、AI技術が提案されてから10年後に訪れました。この波は、記号主義技術の発展によって引き起こされ、一般的な自然言語処理や人間と機械の対話の問題を解決しました。この時期に、専門家システムが誕生しました。これはスタンフォード大学がアメリカ航空宇宙局の指導の下に完成させたDENRAL専門家システムです。このシステムは非常に強力な化学の知識を持ち、問題を通じて推論を行い、化学の専門家と同じような答えを生成します。この化学専門家システムは、化学の知識ベースと推論システムの統合として見ることができます。専門家システムの後、1990年代にイスラエル系アメリカの科学者であり哲学者であるジュディア・パール(Judea Pearl)はベイズネットワークを提案しました。このネットワークは信念ネットワークとも呼ばれます。同時期に、ブルックスは行動ベースのロボティクスを提案し、行動主義の誕生を示しました。1997年、IBMのディープブルー"Blue"が3.5:2.5でチェスチャンピオンのカスパロフ(Kasparov)に勝利し、この勝利は人工知能の一つのマイルストーンと見なされ、AI技術は第二の発展の波に突入しました。第三のAI技術の波は2006年に発生しました。深層学習の三巨頭であるYann LeCun、Geoffrey Hinton、Yoshua Bengioが人工神経ネットワークを基盤としたデータの表現学習アルゴリズムである深層学習の概念を提唱しました。その後、深層学習のアルゴリズムはRNN、GANからTransformerやStable Diffusionへと進化し、これらの二つのアルゴリズムがこの第三の技術波を形作り、連結主義の全盛期でもありました。多くの象徴的な出来事は、深層学習技術の探求と進化に伴って徐々に現れています。これには、* 2011年、IBMのワトソン(Watson)が「危険な境界」(Jeopardy)のクイズ番組で人間に勝利し、チャンピオンになりました。* 2014年、GoodfellowはGAN(生成的対抗ネットワーク、Generative Adversarial Network)を提案し、2つの神経ネットワークが相互に競い合うことで学習し、リアルに見える写真を生成できるようにしました。同時にGoodfellowは「Deep Learning」という本を書き、花の本と呼ばれ、深層学習の分野における重要な入門書の一つです。* 2015年、ヒントンらが「ネイチャー」誌で深層学習アルゴリズムを提案し、この深層学習手法の提案は、学術界や産業界で直ちに大きな反響を呼びました。* 2015年、OpenAIが設立され、マスク、YC社長アルトマン、エンジェル投資家ピーター・ティール(などが共同で10億ドルの投資を発表しました。* 2016年、深層学習技術に基づくAlphaGoが囲碁の世界チャンピオンであるプロ九段棋士の李世石と囲碁の人機戦を行い、4対1の総スコアで勝利した。* 2017年、中国香港のハンソンロボティクス社)Hanson Robotics(が開発した人型ロボットソフィアは、歴史上初めて市民権を取得したロボットと呼ばれ、豊かな表情と人間の言語理解能力を備えています。* 2017年、人工知能の分野で豊富な才能と技術的予備力を持つGoogleは、Transformerアルゴリズムを提案した論文「Attention is all you need」を発表し、大規模な言語モデルが登場し始めました。※2018年、OpenAIは、当時最大級の言語モデルであったTransformerアルゴリズム上に構築されたGPT)Generative Pre-trained Transformer(をリリースしました。* 2018年、GoogleチームのDeepmindは深層学習に基づくAlphaGoを発表し、タンパク質の構造予測を行うことができ、人工知能分野の大きな進歩の象徴と見なされています。* 2019年、OpenAIはGPT-2を発表しました。このモデルは15億のパラメータを持っています。* 2020年、OpenAIが開発したGPT-3は、1750億のパラメータを持ち、以前のバージョンであるGPT-2の100倍の性能を誇ります。このモデルは570GBのテキストを使用して訓練され、複数のNLP)自然言語処理(タスク)において、質問応答、翻訳、文章作成(で最先端の性能を達成しています。* 2021年、OpenAIはGPT-4を発表しました。このモデルは1.76兆のパラメータを持ち、GPT-3の10倍です。* 2023年1月にGPT-4モデルに基づくChatGPTアプリケーションがリリースされ、3月にChatGPTは1億ユーザーに達し、歴史上最も早く1億ユーザーに達したアプリケーションとなりました。※2024年、OpenAIはGPT-4 omniを発売します。! 【新人科学丨AI×暗号:ゼロからピークまで])https://img-cdn.gateio.im/social/moments-0c9bdea33a39a2c07d1f06760ed7e804(## ディープラーニング産業チェーン現在、大規模モデルの言語はすべて神経ネットワークに基づく深層学習方法を使用しています。GPTを先頭とする大規模モデルは人工知能の熱潮を生み出し、多くのプレーヤーがこの分野に参入しています。私たちは、データと計算能力に対する市場の需要が急激に増加していることを発見しました。したがって、この報告のこの部分では、主に深層学習アルゴリズムの産業チェーンを探求します。深層学習アルゴリズムが主導するAI業界において、その上流と下流はどのように構成されているのか、またその上流と下流の現状と需給関係、未来の発展はどのようになるのかについて考察します。まず明確にする必要があるのは、Transformer技術に基づくGPTを中心としたLLMs)大規模モデル(のトレーニングは、合計で3つのステップに分かれているということです。トレーニングの前に、Transformerに基づいているため、コンバーターはテキスト入力を数値に変換する必要があります。このプロセスは「トークン化」と呼ばれ、その後、これらの数値はトークンと呼ばれます。一般的な経験則に従えば、英単語または文字はおおよそ1つのトークンと見なされ、各漢字はおおよそ2つのトークンと見なされます。これがGPTの評価に使用される基本単位でもあります。第一ステップ、事前トレーニング。入力層に十分なデータペアを与えることによって、報告の第一部で例示された)X,Y(のように、モデルの各ニューロンの最適なパラメータを見つけます。この時、多量のデータが必要であり、このプロセスは非常に計算能力を消費します。なぜなら、ニューロンがさまざまなパラメータを試すために繰り返し反復する必要があるからです。一批のデータペアのトレーニングが完了した後、一般的には同じデータセットを使用してパラメータを反復するために二次トレーニングが行われます。第二ステップ、ファインチューニング。ファインチューニングは、少量ですが非常に高品質なデータを用いてモデルをトレーニングすることです。このような変更により、モデルの出力の品質が向上します。なぜなら、事前トレーニングには大量のデータが必要ですが、多くのデータには誤りや低品質なものが含まれている可能性があるからです。ファインチューニングのステップは、高品質なデータを通じてモデルの品質を向上させることができます。第3ステップ、強化学習。まず全く新しいモデルを構築します。これを「報酬モデル」と呼びます。このモデルの目的は非常にシンプルで、出力結果をランク付けすることです。そのため、このモデルの実装は比較的簡単です。なぜなら、ビジネスシーンが比較的垂直であるからです。その後、このモデルを使用して私たちの大きなモデルの出力が高品質であるかどうかを判断します。これにより、報酬モデルを使って大きなモデルのパラメータを自動的に反復することができます。)しかし、時にはモデルの出力品質を評価するために人間の参加も必要です。(簡単に言えば、大規模モデルのトレーニングプロセスでは、事前トレーニングはデータの量に非常に高い要求があり、必要とされるGPUの計算能力も最も多く、ファインチューニングはパラメーターを改善するためにより高品質なデータが必要です。強化学習は報酬モデルを通じてパラメーターを反復的に更新し、より高品質な結果を出力することができます。トレーニングの過程では、パラメータが多ければ多いほど、その一般化能力の限界は高くなります。例えば、関数の例を挙げると、Y = aX + bの場合、実際には2つのニューロンXとX0があります。したがって、パラメータがどのように変化しても、フィットできるデータは非常に限られています。なぜなら、それは本質的には直線だからです。ニューロンが増えれば、より多くのパラメータを反復できるようになり、より多くのデータをフィットさせることができるようになります。これが、大きなモデルが奇跡を生み出す理由であり、一般的に「大モデル」と呼ばれる理由でもあります。本質的には膨大な数のニューロンとパラメータ、膨大なデータが必要であり、同時に膨大な計算能力も必要です。したがって、大規模モデルのパフォーマンスに影響を与える主な要因は、パラメータの数、データの量と質、計算能力の3つであり、これら3つが共同で大規模モデルの結果の質と一般化能力に影響を与えています。パラメータの数をp、データの量をn)トークン数で計算すると(、一般的な経験則を用いて必要な計算量を計算することができ、これによって大まかに購入すべき計算能力やトレーニング時間を予測することができます。計算能力は一般的にFlopsを基本単位としており、これは1回の浮動小数点演算を表し、浮動小数点演算は非整数の数値の加減乗除の総称です。例えば2.5+3.557のように、浮動小数点は小数点を持つことができ、FP16はそれをサポートしています。
AIと暗号通貨の融合:基本から未来へ
AI x Crypto: ゼロからピークまで
AI業界の最近の発展は、ある人々によって第4次産業革命と見なされています。大規模モデルの出現は、各業界の効率を著しく向上させ、米国の作業効率を約20%向上させたと推定されています。また、大規模モデルがもたらす一般化能力は、新しいソフトウェア設計のパラダイムと見なされています。従来のソフトウェア設計は正確なコードでしたが、今ではより一般化された大規模モデルフレームワークがソフトウェアに組み込まれ、これらのソフトウェアはより良いパフォーマンスを持ち、より広範なモードの入力と出力をサポートできるようになっています。深層学習技術はAI業界に第4の繁栄をもたらし、この潮流は暗号通貨業界にも影響を与えています。
本報告では、AI業界の発展の歴史、技術の分類、そして深層学習技術が業界に与える影響について詳しく探討します。その後、深層学習におけるGPU、クラウドコンピューティング、データソース、エッジデバイスなどの産業チェーンの上下流の発展状況とトレンドを深く分析します。最後に、本質的に暗号通貨とAI業界の関係について探討し、暗号通貨に関連するAI産業チェーンの構造を整理します。
! 新人科学丨AI×暗号:ゼロからピークまで
AI業界の歴史
AI産業は20世紀50年代に始まり、人工知能のビジョンを実現するために、学術界と産業界は異なる時代、異なる学問的背景のもとで、さまざまな人工知能の実現派を発展させてきました。
現代の人工知能技術は主に「機械学習」という用語を使用しており、この技術の理念は、機械がデータに基づいてタスクを繰り返し反復し、システムの性能を改善することです。主なステップは、データをアルゴリズムに送信し、このデータを使用してモデルを訓練し、モデルをテストして展開し、モデルを使用して自動化された予測タスクを完了することです。
現在、機械学習には主に3つの流派があり、結合主義、記号主義、行動主義がそれぞれ人間の神経系、思考、行動を模倣しています。
現在、神経ネットワークを代表とする結合主義が優勢を占めています(、深層学習とも呼ばれています)。このアーキテクチャの主な理由は、入力層と出力層があり、複数の隠れ層が存在することです。層の数と神経元(のパラメータ)の数が十分に多くなると、複雑な汎用タスクに適合する十分な機会が得られます。データを入力することで、神経元のパラメータを継続的に調整でき、最終的に多くのデータを経て、その神経元は最適な状態(のパラメータ)に達します。これが「大きな力が奇跡を生む」と呼ばれる所以であり、「深さ」という言葉の由来でもあります——十分な層と神経元が存在します。
例えば、簡単に理解できるのは、関数を構築したということです。この関数にX=2を入力するとY=3になり、X=3のときはY=5になります。この関数がすべてのXに対応するためには、関数の次数とそのパラメータを常に追加する必要があります。例えば、今の時点でこの条件を満たす関数をY = 2X -1として構築できます。しかし、もしデータがX=2、Y=11の場合は、この3つのデータポイントに適した関数を再構築する必要があります。GPUを使ってブルートフォースで調べた結果、Y = X2 -3X +5が適切であることがわかりましたが、データと完全に一致する必要はなく、バランスを守り、大体似たような出力であれば問題ありません。ここでX2、X、X0はそれぞれ異なるニューロンを表し、1、-3、5はそのパラメータです。
この時、大量のデータを神経ネットワークに入力すると、ニューロンを増やしたり、パラメータを反復して新しいデータにフィットさせることができます。こうすることで、すべてのデータにフィットさせることができます。
神経ネットワークに基づく深層学習技術も、初期の神経ネットワーク、フィードフォワード神経ネットワーク、RNN、CNN、GANなど、複数の技術の反復と進化を経て、現代の大モデルであるGPTなどで使用されるTransformer技術に進化しました。Transformer技術は神経ネットワークの一つの進化の方向性に過ぎず、すべてのモーダリティ(（音声、動画、画像など）のデータを対応する数値にエンコードするための変換器)を追加しました。これを神経ネットワークに入力することで、神経ネットワークはあらゆるタイプのデータをフィッティングできるようになり、つまりマルチモーダルを実現します。
! 新参者科学人気丨AI×暗号:ゼロからピークまで
AIの発展は三つの技術の波を経てきました。最初の波は20世紀60年代で、AI技術が提案されてから10年後に訪れました。この波は、記号主義技術の発展によって引き起こされ、一般的な自然言語処理や人間と機械の対話の問題を解決しました。この時期に、専門家システムが誕生しました。これはスタンフォード大学がアメリカ航空宇宙局の指導の下に完成させたDENRAL専門家システムです。このシステムは非常に強力な化学の知識を持ち、問題を通じて推論を行い、化学の専門家と同じような答えを生成します。この化学専門家システムは、化学の知識ベースと推論システムの統合として見ることができます。
専門家システムの後、1990年代にイスラエル系アメリカの科学者であり哲学者であるジュディア・パール(Judea Pearl)はベイズネットワークを提案しました。このネットワークは信念ネットワークとも呼ばれます。同時期に、ブルックスは行動ベースのロボティクスを提案し、行動主義の誕生を示しました。
1997年、IBMのディープブルー"Blue"が3.5:2.5でチェスチャンピオンのカスパロフ(Kasparov)に勝利し、この勝利は人工知能の一つのマイルストーンと見なされ、AI技術は第二の発展の波に突入しました。
第三のAI技術の波は2006年に発生しました。深層学習の三巨頭であるYann LeCun、Geoffrey Hinton、Yoshua Bengioが人工神経ネットワークを基盤としたデータの表現学習アルゴリズムである深層学習の概念を提唱しました。その後、深層学習のアルゴリズムはRNN、GANからTransformerやStable Diffusionへと進化し、これらの二つのアルゴリズムがこの第三の技術波を形作り、連結主義の全盛期でもありました。
多くの象徴的な出来事は、深層学習技術の探求と進化に伴って徐々に現れています。これには、
2011年、IBMのワトソン(Watson)が「危険な境界」(Jeopardy)のクイズ番組で人間に勝利し、チャンピオンになりました。
2014年、GoodfellowはGAN(生成的対抗ネットワーク、Generative Adversarial Network)を提案し、2つの神経ネットワークが相互に競い合うことで学習し、リアルに見える写真を生成できるようにしました。同時にGoodfellowは「Deep Learning」という本を書き、花の本と呼ばれ、深層学習の分野における重要な入門書の一つです。
2015年、ヒントンらが「ネイチャー」誌で深層学習アルゴリズムを提案し、この深層学習手法の提案は、学術界や産業界で直ちに大きな反響を呼びました。
2015年、OpenAIが設立され、マスク、YC社長アルトマン、エンジェル投資家ピーター・ティール(などが共同で10億ドルの投資を発表しました。
2016年、深層学習技術に基づくAlphaGoが囲碁の世界チャンピオンであるプロ九段棋士の李世石と囲碁の人機戦を行い、4対1の総スコアで勝利した。
2017年、中国香港のハンソンロボティクス社)Hanson Robotics(が開発した人型ロボットソフィアは、歴史上初めて市民権を取得したロボットと呼ばれ、豊かな表情と人間の言語理解能力を備えています。
2017年、人工知能の分野で豊富な才能と技術的予備力を持つGoogleは、Transformerアルゴリズムを提案した論文「Attention is all you need」を発表し、大規模な言語モデルが登場し始めました。
※2018年、OpenAIは、当時最大級の言語モデルであったTransformerアルゴリズム上に構築されたGPT)Generative Pre-trained Transformer(をリリースしました。
2018年、GoogleチームのDeepmindは深層学習に基づくAlphaGoを発表し、タンパク質の構造予測を行うことができ、人工知能分野の大きな進歩の象徴と見なされています。
2019年、OpenAIはGPT-2を発表しました。このモデルは15億のパラメータを持っています。
2020年、OpenAIが開発したGPT-3は、1750億のパラメータを持ち、以前のバージョンであるGPT-2の100倍の性能を誇ります。このモデルは570GBのテキストを使用して訓練され、複数のNLP)自然言語処理(タスク)において、質問応答、翻訳、文章作成(で最先端の性能を達成しています。
2021年、OpenAIはGPT-4を発表しました。このモデルは1.76兆のパラメータを持ち、GPT-3の10倍です。
2023年1月にGPT-4モデルに基づくChatGPTアプリケーションがリリースされ、3月にChatGPTは1億ユーザーに達し、歴史上最も早く1億ユーザーに達したアプリケーションとなりました。
※2024年、OpenAIはGPT-4 omniを発売します。
! 【新人科学丨AI×暗号:ゼロからピークまで])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
ディープラーニング産業チェーン
現在、大規模モデルの言語はすべて神経ネットワークに基づく深層学習方法を使用しています。GPTを先頭とする大規模モデルは人工知能の熱潮を生み出し、多くのプレーヤーがこの分野に参入しています。私たちは、データと計算能力に対する市場の需要が急激に増加していることを発見しました。したがって、この報告のこの部分では、主に深層学習アルゴリズムの産業チェーンを探求します。深層学習アルゴリズムが主導するAI業界において、その上流と下流はどのように構成されているのか、またその上流と下流の現状と需給関係、未来の発展はどのようになるのかについて考察します。
まず明確にする必要があるのは、Transformer技術に基づくGPTを中心としたLLMs)大規模モデル(のトレーニングは、合計で3つのステップに分かれているということです。
トレーニングの前に、Transformerに基づいているため、コンバーターはテキスト入力を数値に変換する必要があります。このプロセスは「トークン化」と呼ばれ、その後、これらの数値はトークンと呼ばれます。一般的な経験則に従えば、英単語または文字はおおよそ1つのトークンと見なされ、各漢字はおおよそ2つのトークンと見なされます。これがGPTの評価に使用される基本単位でもあります。
第一ステップ、事前トレーニング。入力層に十分なデータペアを与えることによって、報告の第一部で例示された)X,Y(のように、モデルの各ニューロンの最適なパラメータを見つけます。この時、多量のデータが必要であり、このプロセスは非常に計算能力を消費します。なぜなら、ニューロンがさまざまなパラメータを試すために繰り返し反復する必要があるからです。一批のデータペアのトレーニングが完了した後、一般的には同じデータセットを使用してパラメータを反復するために二次トレーニングが行われます。
第二ステップ、ファインチューニング。ファインチューニングは、少量ですが非常に高品質なデータを用いてモデルをトレーニングすることです。このような変更により、モデルの出力の品質が向上します。なぜなら、事前トレーニングには大量のデータが必要ですが、多くのデータには誤りや低品質なものが含まれている可能性があるからです。ファインチューニングのステップは、高品質なデータを通じてモデルの品質を向上させることができます。
第3ステップ、強化学習。まず全く新しいモデルを構築します。これを「報酬モデル」と呼びます。このモデルの目的は非常にシンプルで、出力結果をランク付けすることです。そのため、このモデルの実装は比較的簡単です。なぜなら、ビジネスシーンが比較的垂直であるからです。その後、このモデルを使用して私たちの大きなモデルの出力が高品質であるかどうかを判断します。これにより、報酬モデルを使って大きなモデルのパラメータを自動的に反復することができます。)しかし、時にはモデルの出力品質を評価するために人間の参加も必要です。(
簡単に言えば、大規模モデルのトレーニングプロセスでは、事前トレーニングはデータの量に非常に高い要求があり、必要とされるGPUの計算能力も最も多く、ファインチューニングはパラメーターを改善するためにより高品質なデータが必要です。強化学習は報酬モデルを通じてパラメーターを反復的に更新し、より高品質な結果を出力することができます。
トレーニングの過程では、パラメータが多ければ多いほど、その一般化能力の限界は高くなります。例えば、関数の例を挙げると、Y = aX + bの場合、実際には2つのニューロンXとX0があります。したがって、パラメータがどのように変化しても、フィットできるデータは非常に限られています。なぜなら、それは本質的には直線だからです。ニューロンが増えれば、より多くのパラメータを反復できるようになり、より多くのデータをフィットさせることができるようになります。これが、大きなモデルが奇跡を生み出す理由であり、一般的に「大モデル」と呼ばれる理由でもあります。本質的には膨大な数のニューロンとパラメータ、膨大なデータが必要であり、同時に膨大な計算能力も必要です。
したがって、大規模モデルのパフォーマンスに影響を与える主な要因は、パラメータの数、データの量と質、計算能力の3つであり、これら3つが共同で大規模モデルの結果の質と一般化能力に影響を与えています。パラメータの数をp、データの量をn)トークン数で計算すると(、一般的な経験則を用いて必要な計算量を計算することができ、これによって大まかに購入すべき計算能力やトレーニング時間を予測することができます。
計算能力は一般的にFlopsを基本単位としており、これは1回の浮動小数点演算を表し、浮動小数点演算は非整数の数値の加減乗除の総称です。例えば2.5+3.557のように、浮動小数点は小数点を持つことができ、FP16はそれをサポートしています。