機械学習

第8回: 法則性の発見+自信のなさの見積もり: ベイズ線形回帰

千葉工業大学 上田 隆一

This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.

今日やること

• ベイズ線形回帰
• そのまえに
  • ガウス分布の式を書いてみてください！
    • 最初はなにも見ずに（正規化定数はでOK）
    • ギブアップなら調べましょう
    • 答え:
      • : 平均値、分散のガウス分布
      • 変数は分布の形と無関係なのでという表記が一般的

前回のおさらい

• 回帰を勉強した
  • けど、少ないデータでもひとつにグラフを決めてしまう
• なにが足りないか
  • 第6回のようなベイズ的な考えが抜けている
• ベイズ的な考え方をとりいれた回帰がないか?
  • ある

ベイズ線形回帰

• の分布を考える
  • 関数の分布ってなに? パラメータの分布
• 例: の場合
  • との確率分布を考える
  • 右図: それぞれをガウス分布で分布すると考えてサンプリング
    • どちらも平均値、標準偏差
    • データ（丸印）に合うように、ベイズの定理での分布を変更していく

ベイズ線形回帰のための数式

ややこしいので意味だけ考えましょう

• 例: 当てはめる式: 多項式
• いくつか仮定を置きましょう
  • 仮定1: に対して、は多項式の値を中心に、分散でばらつく
    • と表記
    • 補足: 分散の逆数は精度と呼ばれる

回帰のための数式（続き）

• 仮定2: も多次元のガウス分布で、最初は大きくばらついている
  • 分布これが推定対象
    • （の平均値）
    • はの行列
      • : 「精度行列」と呼ばれるもの

回帰のための数式（続き）

• 仮定3: の値も分からないので確率分布で表現（最初は大きくばらつく）
  • こういう分布: （ガンマ分布）
    • 下図(a): ガンマ分布の確率分布
    • 下図(b): (a)の横軸をlog尺にしたもの
  • でのばらつきの標準偏差が

回帰の方法（式だけ見せますね）

• の事前分布
  • • は分布の形を決めるパラメータ
      （=事前分布のパラメータ）
  • 「ガウス-ガンマ分布」と呼ばれる分布

回帰の方法（続き）

• データをひとつだけ情報として入れた事後分布
  • ベイズの定理を使う
    • 
      
      （の分布は一様分布と考える）
      （仮定1から）
      

回帰の方法（続き）

• 左辺の事後分布が同じ形だとすると、こういう等式ができる

  • 
    

• 実際に左辺はガウス-ガンマ分布となり、事後分布のパラメータはこうなる

  • （ここで）

ポイント

• 事前確率と事後確率の分布が同じ形
  • 事前確率:
  • 事後確率:
• は既存の数値で計算可能事後分布が計算可能
  • 講義だとどうしても原理の話になり、それは重要なのだけど、使うときは前ページの下の4つの式に事前分布のパラメータとデータの値を入力するだけ
  • まず大事なことは、使いどころがどこなのかおさえておくこと

データが複数の場合

• 最小二乗法のように一気に計算可能
• データに対する事後分布:
  • • （データが増えて精度向上）
      • ここで
    • （パラメータの平均値の調整）
    • （データが増えて分布が鋭く）
    • • の式の意味はよくわかりませんがの平均値は

さらに以外の曲線を当てはめることを考えてみる

• いろんな関数に係数をかけて足したもの
• でも難しいのに大丈夫か?大丈夫
  • 実は前ページの式がそのまま使える

例:

• 少しずつデータを入力して、事後分布から関数（多項式）をサンプリング
  • データが増えるにしたがって関数のばらつきが減る
  • データ（2次関数からサンプリング）にしたがい、高次のパラメータがへ

まとめ

• ベイズの定理で回帰がより一般的に
  • 関数の分布=パラメータの分布と考える
  • データの不足によるあいまいさをも考慮可能に
• ベイズ線形回帰の導出
  • 難しいが結果は機械的に使用可能
  • 使いどころを間違えなければ誰にでも便利な道具に