【1】sMLP: Efficient Language Modeling with Sparse all-MLP (担当: Kazuki Hirataさん)

• https://arxiv.org/abs/2203.06850

概要

• all-MLPでの言語モデルに関する研究(ACL2022)
• gMLP(ゲート付きMLP)の派生手法
• baselineに比べて、学習効率をUP！精度向上！

問題

• MLPベースの手法はTransformerベースの手法に代わるかもしれない、と話題になっているものの、現状下流タスクではまだ課題あり
• Transformerに比べて、特に表現力の点で、MLPベースの手法は劣っている → 言語モデルのパラメータを増やしたい
• Transformerのような入力層全てに同じパラメータを使用する手法（論文内では、dense models、または dense Transformerと記載）では、パラメータを増やした時の学習の計算コストが高い
  • 「モデルサイズ」、「データセットサイズ」、「計算量」に関してべき乗で計算量が増える
• Switch Transformerで採用されているMoE(Mixture of Experts)という手法に着目
  • MoEでは、入力トークンによってパラメータを切り替える
  • パラメータ数を大幅に増やしつつ計算量を抑える

提案

• gMLPに、MoEの機構を追加したsMLPという手法を提案

  

  • sMLPのsparse blockには、tMoEとsMoEという二つのモジュールがある

    

  • xijのiはtoken、jは次元のindexを示しています

  • tMoEはTransformerのFFNに相当するもので、入力トークンを各エキスパートに送ります

  • sMoEはself-attentionに相当するもので、gMLPのSpatial Gating Unitが使われています。の特徴ベクトルをエキスパートに送る

  • routerは入力トークンをどのエキスパートに送るかを決めてくれます

結果

• baseline

  

  • Gshard (Lepikhin et al., 2020)
  • Switch Transformer (Fedus et al., 2021)
  • Base Layers (Lewis et al., 2021)
  • HASH Layers (Roller et al., 2021)

• 実験にはRoBERTaのデータセットを使用

  

• 学習効率

  

  • perplexityに関しては、小規模モデル、大規模モデル共にBaselineに比べ向上
  • 学習時間に関しては、大規模モデルではHASH Layersに劣るものの112時間と高速