Meta AIの研究チームは9月30日、重みを共有する反復処理とMixture-of-Experts(MoE)の疎性を同時に扱う「Loop Scaling Laws」をarXivで公開した。同じ学習計算量で比較した実験では、ループ型MoEが総パラメータ数で約2倍の通常のMoEに、二つの推論課題で匹敵したと報告している。この比較は、ループ回数を増やした際の推論時の計算量も踏まえて読む必要がある。
■二つの設計軸を一つの法則に
論文の著者はYanbei Chen、Anirudh Goyal、Raghuraman Krishnamoorthiの3氏だ。MoEは、入力されたトークンごとに「専門家」と呼ばれるネットワークの一部を選んで使う。全専門家を毎回動かさずにモデルの総パラメータ数を増やせる点が特徴で、DeepSeek-V3やMixtralにも採用されている。
ループ型Transformerは、同じ層の重みを複数回使い、保存するパラメータ数を増やさずに処理の深さを増す。2019年の国際会議ICLRで発表されたUniversal Transformerにも通じる発想だ。近年は、35億パラメータのHuginnや、IQuest Researchが発表した総200億・有効20億パラメータのLoopieなど、より大きな規模での研究が進んでいる。
従来のスケーリング則は主にループ回数かMoEの疎性の一方を扱っていた。Meta AIの研究は、モデル規模と学習データ量に加えて両者を変数に取り込み、限られた学習計算量と重みの保存容量の下で構成を選ぶ指針を示した。
■ループの効果をどう予測するか
Loop Scaling Lawsの中心には、ループ回数による性能上の利得をMoEの疎性に応じて表す関数がある。著者らは、同じ重みを繰り返し使うと、初めの数回では損失が下がる一方、追加の1回による改善は次第に小さくなると観測した。この傾向を反映し、関数の利得に上限を設けている。
同じMoEブロックを繰り返しても、各回でトークンの表現が変われば、ルーターが別の専門家を選ぶ場合がある。Meta AIは学習済みモデルのルーティングを調べ、専門家の数が多い構成ほど、複数回の処理を通じてトークンが利用する専門家の種類が増えると報告した。ループと疎性を一緒に扱う発想を支える観測結果だ。
著者らによると、この法則は学習に使わなかった条件での損失を、比較対象の予測式より正確に見積もった。ループを1回に設定すると通常のMoE向けの法則に、専門家を1種類にすると密なモデル向けの法則に対応する。学習計算量と重み用メモリの予算を与え、候補となるループ回数や専門家数から予測損失の低い構成を選ぶ用途も示している。
■実験で示されたパラメータ効率
著者らは、数学・論理の推論、科学、常識、読解、知識にまたがる14のベンチマークでモデルを評価した。同じ学習計算量の比較では、MoEの疎性を高めたモデルが、有効パラメータ数で約3倍の密なモデルを上回る例を報告している。ループ回数を増やした場合には、推論課題で総パラメータ数が約2倍の非ループ型モデルに匹敵する例を示した。
大規模な比較では、ループ型MoEの総パラメータ数は13億、有効パラメータ数は3億だった。比較対象の非ループ型MoEはそれぞれ29億と6億で、両モデルの学習計算量は約1.5×10の22乗FLOPsにそろえた。ループ型は約3兆トークン、比較対象は約6兆トークンで学習している。
ループ型を4~5回処理すると、推論課題のBBHとGSM8Kで比較対象に近い成績となった。一方、14項目の平均スコアは比較対象の50.2に対し、4回処理で46.7、5回処理で46.9だった。論文の計算方法による推論時の計算量は、4回処理で比較対象の約1.5倍、5回処理で約1.8倍となる。
■推論時に処理回数を変える
この実験のループ型MoEには、途中の各ループでも出力できるよう学習時に追加の教師信号が与えられている。研究チームは同じ学習済みモデルで推論時のループ回数を1~5回に変え、14項目の平均スコアが36.6から46.9へ上がると報告した。処理回数を増やせば、その分だけ推論時の計算量も増える。
ループのたびに異なる専門家を選び得る点は、この構成を理解する手掛かりになる。南カリフォルニア大学とNetflixの研究者らも、ループ間で専門家の選択が変わることを調べ、疎な層がループ型モデルの性能に果たす役割を報告している。
■関連研究と設計上の課題
清華大学とByteDance Seedの研究者らによる「SMELT」は、MoEの中間層を2回使う構成を検討した。同研究は、比較条件をそろえた実験に基づき、同じ損失に達するまでの学習計算量を6.8~18.0%減らせると推計している。Loopieの研究チームも、総200億・有効20億パラメータのモデルを含む系列で、調べた条件では2回の反復が学習計算量と性能のよい折り合いになったと報告した。
プリンストン大学とカリフォルニア大学ロサンゼルス校の研究者らによる「DeepLoop」は、同じ重みを繰り返す際の残差接続の調整を研究した。ループ型では通常のTransformerと異なる係数設定が有効になるという結果だ。ループ回数と専門家数だけでなく、こうした設計上の条件もモデルの性能に関わる。
■設計則の使いどころ
Loop Scaling Lawsは実験結果に合わせて係数を求める経験則であり、論文中の比較も著者らが採用したモデル構成と評価課題に基づく。異なるルーティング方式や学習条件で利用する際には、その構成に合わせて予測精度を確かめることになる。推論時の計算量や待ち時間も、ループ回数を選ぶ際の条件だ。
LLMのスケーリング則には、モデル規模と学習データ量への計算資源の配分を扱ったKaplanらの研究や、2022年のChinchilla研究がある。MoE向けにも専門家数や疎性を扱う研究が積み重なってきた。今回の提案は、そこにループ回数を加え、学習計算量、重み用メモリ、推論時の計算量の関係を見ながらループ型MoEを設計するための枠組みとなる。
元記事: Meta AI Loop Scaling Laws: Half-Size Looped MoE Matches Larger AI Models on Reasoning Tasks