【1】AlphaCode (担当: ＠ELYZA_inc fujiki)

• 概要・書誌情報
  • preprint: URL
    • 73ページある大作。
  • DeepMind の 競技プログラミングAI
  • 平均的な競技プログラミング競技者程度。

1. 問題

• 競技プログラミング
  • 問題文が与えられて、その問題を解く解法としてのプログラムを提出する。
  • テストケースがある。
    • テストケースの一部は一般に公開されていない。
  • <> 自然言語をプログラムに翻訳。
    • = 仕様が与えられてプログラムを書く。

2. 提案・方法

• モデル

  • 非対称な Encoder-Decoder モデル
    • Decoder 層 ~= 6x Encoder 層
    • Encoder: 入力は 1,526 tokens。MLM で訓練
    • Decoder: 入力は 768 tokens。CausalLM で訓練
  • モデルサイズ: 基本 1B オーダ。最大 41B
  • 効率の良いサンプリングための multi-query attention

• 全体像を端的に表した図

• 図左: DATA - 事前学習・fine-tuning の学習パラダイム

  • 事前学習:
    • GitHub 上の code
    • 715.1 GB
  • fine-tuning:

    • 競プロ用に整備された CodeContests データセットを作成 (→ 公開)

      • = 既存のデータセット (e.g. Description2Code, CodeNet) + Codeforces

        • Description2Code: ~7764 programming challenges
        • CodeNet: 4053 problems

      • データ数: 10kオーダ → 比較的リーズナブル

        

    • 時系列 split

    • cleansing

      • Appendix. B.2 に詳細

• 学習には、更なる工夫を追加。

  • Tempering - 正則化

    • (論文読む限り) 温度付き Softmax の温度 $T$ に同じ概念。
    • 学習時には $T = 0.2 < 1$ とすることで分布を急峻にし、fine-tuning 用データセットへの過学習を防ぐことができた。

  • Value conditioning & prediction

    • 正解・不正解などの追加情報も得られているため、それらの情報で条件付ける。
    • また、その値の予測を補助タスクとして訓練。

    

  • GOLD - オフライン強化学習

    • “重み付き損失で学習” といったイメージ。

      

    • モチベーションとしては、”recall” よりも “precision” を高めたい。

      • 学習データの分布をまんべんなく捉えてほしいというよりかは、他のソリューションがハズレていても、1つは正解を確実に生成してほしい。よって importance weight を導入している、という感じ。

• 全体像を端的に表した図 (再掲)

• 図右: SAMPLING & EVALUATION - 推論時の工夫
  • 大規模なサンプリング
    • 多様さを確保
      • プログラミング言語 - Python, C++
      • 高い temperature
      • 問題タグ・レーティングをランダムに → 改善が見られた
  • Filtering
    • テストケースをフィルタとして使い、通ったものを採用
      • テストケースに通るプログラム生成自体難しく、10% 程度の問題に対しては解法を生成することができなかった。
  • Clustering
    • さらに、追加のテストケースで、その入力に対して同じ解答をするサンプルをクラスタリング
      • 擬似的なテストケースも使用
        • テスト入力を生成するモデル: 説明文 → テスト入力

3. 結果