今年7月に発売最大4050億グループのパラメータスケールを持つ人工知能モデル「ラマ3.1」Metaは先日、700億グループのパラメータスケールを持つLlama 3.3を発表し、その性能は4050億グループのパラメータスケールを持つ人工知能モデルLlama 3.1に匹敵、もしくは凌駕していると主張している。Amazonが最近発表したNovaモデル。
Llama 700は、3.3億のパラメータサイズを持つ大規模な多言語自然言語モデルとして構築されており、15兆語以上の事前学習済みで、公開命令セットと2500万以上の合成データを用いて微調整されています。GitHubとHugging Faceを通じてオープンソースとして公開されています。ホスティング提供。
Llama 3.3は、Transformerベースの自己回帰言語モデルを採用しています。教師ありファインチューニング（SFT）と人間によるフィードバックによる強化学習（RLHF）により、このモデルは期待値により近い結果を生成すると同時に、生成された結果の精度とセキュリティを確保します。さらに、Grouped-Query Attention（GQA）機能により、将来の推論を通じて回答可能なコンテンツの範囲を拡大することが可能です。
現在、Llama 3.3 は英語、ドイツ語、スペイン語、ポルトガル語、イタリア語、フランス語、タイ語、ヒンディー語をネイティブでサポートしており、さらに多くの言語をサポートするように微調整できます。
運用パフォーマンスに関して、MetaはLlama 3.3がLlama 3.1 70B、Amazon Nova、Google Gemini Pro 1.5、OpenAI GPT-4oを凌駕し、マルチタスク言語理解や金融、数学、マルチタスク学習推論などのテスト項目において、以前リリースされたLlama 3.1 405Bにも匹敵すると指摘しました。また、多言語対話シナリオにも対応しており、多言語の商用および研究シナリオに非常に適しています。
Llama 3.3 のご紹介 – 70B モデルと同等の性能を備えながら、より容易かつコスト効率の高い実行が可能な新しい 405B モデルです。オンライン選好最適化を含む最新の学習後技術を活用することで、このモデルはコアパフォーマンスを… pic.twitter.com/6oQ7b3Yuzc
— アフマド・アル・ダール (@Ahmad_Al_Dahle) 2024 年 12 月 6 日