収束進化：異なる言語モデルが類似した数値表現を学習する仕組み
Convergent Evolution: How Different Language Models Learn Similar Number Representations
要約
自然言語テキストで学習した言語モデルは、周期T=2、5、10を主要周期とする周期的特徴を用いて数値を表現することが知られている。本論文では、これらの特徴に2階層の階層構造が存在することを明らかにした。Transformerや線形RNN（Linear RNN）、LSTM、古典的な単語埋め込み（word embeddings）といった多様なアーキテクチャは、フーリエ領域（Fourier domain）に周期Tのスパイクを持つ特徴を学習する一方、数値をmod-Tで線形分類可能な幾何学的分離可能特徴（geometrically separable features）を学習するモデルは一部に限られる。この非対称性を説明するため、フーリエドメインのスパース性はmod-T幾何学的分離可能性の必要条件であるが十分条件ではないことを理論的に証明した。さらに実験的に、データ・アーキテクチャ・オプティマイザ・トークナイザが幾何学的分離可能特徴の獲得に関与することを示し、多様なモデルが異なる学習信号から類似した特徴を獲得する「収束進化（convergent evolution）」現象を確認した。
筆者コメント
本論文は、Neel Nandaらによる「モジュラー算術の回路発見」研究や、Fourier特徴による数値表現に関する一連の解釈可能性（mechanistic interpretability）研究と同じ文脈に位置づけられる。先行研究がTransformerに焦点を当てていたのに対し、本論文はLSTMや線形RNNなど複数のアーキテクチャに横断的な比較を行っている点が貢献として大きいと考えられる。「収束進化」という生物学的比喩を用いることで、特徴学習の普遍性を論じる視点は興味深く、今後の基盤モデル間の表現比較研究に示唆を与えると見られる。実務観点では、日本語のような数値の表記揺れが多い言語（漢数字・算用数字・全角半角混在）においても同様の周期的特徴が出現するかは未検証であり、日本語LLMへの適用時には注意が必要と考えられる。また、トークナイザが重要な役割を果たすという知見は、数値処理精度がサブワードトークナイザの設計に左右されるという実務的な課題と直接結びつくため、数値計算タスクへのモデル適用を検討するエンジニアにとって参照価値の高い論文と言えるだろう。
※ このコメントは本サイト独自のものです。論文・記事の公式見解ではありません。