LoopCTR: クリック率予測のためのループスケーリングの解放
LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction
要約
Transformerベースのクリック率予測（CTR）モデルをスケールアップする際、パラメータ増加に伴う計算・ストレージコストが産業展開上の制約と乖離するという課題がある。本論文はLoopCTRを提案する。これは共有モデル層の再帰的再利用により学習時の計算量を増やしつつ、パラメータ数の増加から計算量を分離する「ループスケーリング」パラダイムを導入するものである。アーキテクチャはHyper-Connected ResidualとMixture-of-Experts（MoE）を組み合わせたサンドイッチ構造を採用し、各ループ深さでのプロセス監督（process supervision）により多段ループの恩恵を共有パラメータに蒸留する。これにより「多ループで学習・ゼロループで推論」戦略が実現し、ループ無しの単一フォワードパスのみで全ベースラインを上回る性能を達成した。3つの公開ベンチマークと1つの産業データセットで最先端性能を示し、オラクル分析ではさらに0.02〜0.04 AUCの潜在的改善余地も確認されている。
筆者コメント
本研究のループスケーリング戦略は、重みを共有しながら繰り返し処理するアイデアとして、Universal TransformerやDEQT（Deep Equilibrium Models）の系譜に近いと見られる。ただし、CTRという極めてレイテンシに敏感なドメインに対して「推論時はゼロループ（通常の単一フォワードパス）」を実現した点は実用上の意義が大きく、学習時のみ計算コストが増加するトレードオフは産業界に受け入れられやすい設計と考えられる。MoEとプロセス監督の組み合わせは実装複雑性を高める可能性があり、再現コストや学習安定性については論文本文の確認が必要だろう。日本語・日本企業への適用を考えると、ECや広告プラットフォームで活用される場面が想定されるが、特徴量エンジニアリングの慣習やIDベースのスパース特徴量の扱いがベンチマークとどの程度一致するかは留意が必要である。オラクル分析で示された未活用の改善余地（0.02〜0.04 AUC）は、アダプティブ推論（ループ数を動的に変える手法）との組み合わせで更なる発展が期待できる方向性として興味深いと考えられる。
※ このコメントは本サイト独自のものです。論文・記事の公式見解ではありません。