【1】PaLM: Scaling Language Modeling with Pathways (担当: Yuki Kawaraさん)

論文情報

• タイトル：PaLM: Scaling Language Modeling with Pathways
• 学会：
• 発表年：2022
• URL：
  • https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html
  • https://arxiv.org/abs/2204.02311

一言説明

• Pathways アーキテクチャを使用することで、よりパラメータ数が多く、より多数のタスクに適応できる言語モデルを提案した。BIG-bench と呼ばれるベンチマークでは人間の平均的な性能を上回る性能を達成した。

先行研究との比較

• より効率的なスケーリング: Pathways と TPU v4 Pods を使用することで、今までのモデルでは到達できなかった大きさのモデルを学習することが可能になった。
• スケーリングによる精度向上: パラメータを増やしたことで、過去のモデルと比較してさらなる精度向上を達成した。
• 問題解決能力の増強: 常識推論などのタスクでは、これまでタスク固有のファインチューニングやドメインに特化したアーキテクチャを使用することで良い結果を出していた。PaLM では、それらを使用せず、chain-of-thought prompting という推論の一連の流れを示すようなプロンプトを与えるだけで、推論性能が大幅に向上できることを示した。
• べき乗則を超える精度向上: スケーリング則の分析のために、8B、62B、540B のパラメータを持つモデルを訓練して性能を評価した。

技術や手法のキモ

• Pathways アーキテクチャを使用して、より巨大なモデルの学習を行っている。Pathways アーキテクチャは、MoE のようにタスクによって使用する経路を変えられるアーキテクチャのようで、これによってスパースなモデルとなる（参考：https://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/）。スパースなモデルになったおかげで、モデルサイズがより大きくなっても速いモデルが出来る。