日々、生成AIの領域は拡大しています。
今日、Metaは新しいAIモデルのファミリー、Llama 2を発表しました。このモデルは、OpenAIのChatGPTやMicrosoftのBing Chatなどのアプリを推進するために設計されています。Metaは、公に利用可能なデータをミックスしてトレーニングされたLlama 2のパフォーマンスが、以前のLlamaモデルと比べて大幅に改善されたと主張しています。
Llama 2は、Llamaの後継モデルであり、他のチャットボットのようなシステムと同様にプロンプトに対してテキストやコードを生成することができるモデルのコレクションです。ただし、Llamaはリクエストによってのみ利用可能でした。Metaは、モデルの誤用を避けるためにアクセスを制限することを決定しました（この予防策にもかかわらず、後にLlamaはオンラインで漏洩し、さまざまなAIコミュニティに広まりました）。
対照的に、Llama 2は研究や商用利用に無料で利用できるようになります。事前学習済み形式では、AWS、Azure、およびHugging FaceのAIモデルホスティングプラットフォームでファインチューニングが可能です。また、Metaによれば、Microsoftとのパートナーシップを拡大したことにより、Windows向けに最適化され、QualcommのSnapdragonシステムオンチップを搭載したスマートフォンやPCでも簡単に実行できるとのことです（Qualcommは2024年にLlama 2をSnapdragonデバイスにもたらすために取り組んでいると述べています）。
Llama 2とLlamaの違いは何か？Metaがホワイトペーパーで詳細に説明されています。
Llama 2には、Llama 2とLlama 2-Chatの2つのバリエーションがあります。Llama 2-Chatは、会話型のモデルであり、双方向の対話に適したモデルです。Llama 2とLlama 2-Chatは、さまざまな洗練度のバージョンにさらに分けられています：70億パラメータ、130億パラメータ、700億パラメータ。 (“パラメータ”とは、トレーニングデータから学習されたモデルの部分であり、この場合はテキストの生成におけるモデルのスキルを実質的に定義します。）
Llama 2は2兆トークンでトレーニングされました。ここでの「トークン」とは、生のテキストを表します。例えば、「fantastic」という単語のための「fan, tas, tic」などです。このトレーニングデータは、Llamaがトレーニングされたデータ量（140兆）のほぼ2倍です。一般的に言えば、トークンが多いほど生成AIの性能も向上します。Googleの現行の主力の大規模言語モデル（LLM）であるPaLM 2は、報道によると、360万トークンでトレーニングされており、GPT-4は数兆トークンでトレーニングされたと推測されています。
ホワイトペーパーでは、Metaはトレーニングデータの具体的なソースを明示していませんが、これらはMeta自身の製品やサービスではなく、主に英語で「事実に基づいた」テキストであることに注目しています。
トレーニングの詳細を明示しない理由は、競争上の理由だけでなく、生成AIに関連する法的な論争にも関わる可能性があると考えられます。たとえば、今日、数千人の作家が署名した手紙は、許可や補償なしに彼らの文章がAIモデルのトレーニングに使用されることを技術企業に止めるよう求めています。
しかし、話がそれてしまいました。Metaによれば、一連のベンチマークでは、Llama 2モデルは一部の非公開のライバルであるGPT-4とPaLM 2よりも若干劣るパフォーマンスを示し、コンピュータプログラミングに関してはGPT-4に大きく遅れています。しかし、Metaは、Llama 2がChatGPTとほぼ同じ程度に「有用」であると人間の評価者が判断していると主張しています。Llama 2は、「有用さ」と「安全性」を探るために設計された約4,000のプロンプトのセットに対して、同等の回答をしています。
ただし、結果には注意が必要です。Metaは、自社のテストがすべての実世界のシナリオを網羅することは不可能であり、ベンチマークが多様性に欠ける可能性があることを認めています。言い換えれば、コーディングや人間の推論など、十分にカバーしていない領域があります。
また、Metaは、Llama 2を含むすべての生成AIモデルには、特定の軸に沿ったバイアスがあることも認めています。たとえば、トレーニングデータの不均衡により、Llama 2は「彼」の代名詞を「彼女」の代名詞よりも高い割合で生成しやすいです。また、トレーニングデータ中の有害なテキストの影響により、Llama 2は有害性のベンチマークで他のモデルに勝ることがありません。さらに、Llama 2は、トレーニングデータの不均衡（「キリスト教」、「カトリック」、「ユダヤ
元記事はこちら
