機械学習

第5回: 連想ゲームとベイズの定理

千葉工業大学 上田 隆一


This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.

機械学習（と統計）第5回

今日やること

  • クイズ
  • ベイズの定理
機械学習（と統計）第5回

クイズ

  • なんのことをいっているのでしょう？ヒントをひとつずつ出すので候補をいろいろ書いてみてください。
    • 上に卵が乗っていることがある
    • スープに入っている
    • 日本人はズルズルいわせて食べる
    • 白い
機械学習（と統計）第5回

クイズの答えと、答えより重要なこと

  • たぶん「うどん」が正解
    • ほかにあるかもしれませんが
  • 答えよりも重要なこと: 我々の頭のなかはどうなってる？
    • 脳細胞がなにをやっているかはこの講義の範囲を超える
    • なんとなく「確率」を使ってないでしょうか？
      （どうやって使っているか議論してみましょう）
機械学習（と統計）第5回

連想ゲームと確率の計算

  • たとえばこの状態のとき、「白い」を教えられたらどうなるか
    • うどん: 40%
    • そば: 60%（ 関東なのでそば強めで👈これもあとから議論）
  • 「白い」を教えられたあとの確率は条件付き確率（2回目で出てきたやつ）
    で表記できる
    • Prうどん白い
    • Prそば白い
表記はできるけど計算は？
機械学習（と統計）第5回

これで計算できる（理屈はあとで）

  • 乗法定理とよく似ているが違う式で計算
    • うどん白い白いうどんうどん
    • そば白い白いそばそば
    • は上記2つの確率の和が1になる確率
  • 以下の数値で計算してみましょう
    • うどん、そば
    • 白いうどん、白いそば
      • 補足: 白いそばもある
    • 答えは次ページ
機械学習（と統計）第5回

答え

  • とりあえず以外を計算
    • うどん白い
    • そば白い
  • したがって
    • うどん白い
    • そば白い
「白い」という情報でうどんがそばを逆転
機械学習（と統計）第5回

ベイズの定理

  • さっき使った式を一般化すると
    • 答えの候補:
    • が答え新たな情報新たな情報が答え
      • 新たな情報が答え
  • 確率分布版
      • はに全通りのを入れて足したもの

ぱっと見ただけだと難しそうだけど情報を扱う上で自然な式
機械学習（と統計）第5回

乗法定理とベイズの定理

  • ベイズの定理は乗法定理から導出できる
    • かつ
    • かつ
  • 右辺から（どうなるでしょうか?）

機械学習（と統計）第5回

式を見た上でもう1問

  • 人をたずねて知らない10階建のビルで迷って何階にいるかわからなくなりました。とりあえずその人のいる2階は床の色が青だそうですが、いまいるところは床が赤色です。各階にいる確率はどうなるでしょうか?

答えはなんとなく分かるはずなので、ベイズの定理で説明を
答えは次のページ
機械学習（と統計）第5回

答え

  • 階にいる確率を表す確率分布を考えると、まず次が成り立つ
    • 床が赤色床が赤色床が赤色
  • 次も成り立つ（はでない確率）ので上の式に代入
    • 床が赤色
      床が赤色
  • 床が赤色床が赤色床が赤色の和は1なので、
    • 床が赤色

※人間だと別のものを見たらすぐ何階か分かるが、ロボットの場合はこうやって位置を求めることがある

機械学習（と統計）第5回

ベイズの定理の実用

  • ロボットの位置推定
機械学習（と統計）第5回

さらに問題（答えは提示しません）

  • コインを投げて表裏を当てる遊びをしています。ここ3回、すべて表が出ていますが、次の回に表が出る確率はどれだけでしょうか?
機械学習（と統計）第5回

さらにさらに問題

  • 信じると絶対に風邪をひかないという宗教を信じている人が風邪をひきました。風邪をひかないという考えは変わるでしょうか?
機械学習（と統計）第5回

ベイズの定理による推論の構造

  • 「事前知識」に新しい情報と解釈が入って知識が更新される
    • 知識: 確率分布
      • 事前知識: 事前分布
      • 更新された知識: 事後分布
      • 知識の解釈: 尤度
機械学習（と統計）第5回

ものごとに対する人間の推論

  • ベイズの定理を計算しているかは不明だが、解いている問題は同じ
    • 重要: ベイズの定理以上の推論は不可能
  • 人の思考回路をいろいろ解釈できる（要議論）
    • 洗脳が解けない: 事前確率が尖っているから/
      0だから/尤度がおかしい
  • 勉強についてもモデルかできる
    • 尤度がフラット（理解に必要な前提知識がついてない/関心がない）
    • 事後分布の変化が小さく成長に気づいてない
同様のことは機械学習でも起こる
機械学習（と統計）第5回

ベイズの定理の注意

  • 情報をどんどん追加していくことができるが、同じデータや互いに独立でないデータを入れてはならない
    • 事象A, Bの起こる確率にAかつBCACBCの関係が必要（Cは尤度に反映されているなんらかの条件）
  • よくない例（不当に分布が鋭くなる）
    • うどんの例で「白い」を2回情報として入れると計算がおかしくなる
    • 洗脳（みんな同じことを言うけど原因は教祖1人）
  • よくある例
    • 同じ原因の雑音が乗ったセンサデータをロボットに入力し続ける
      ロボットが勘違いする
    • 先生に聞けばいいことを学生間で情報を回しているうちに集団で間違える
      • 勝手に怖い先生にされているとか、レポートを変な方向にがんばるとか
機械学習（と統計）第5回

尤度

  • この式（ベイズの定理）の赤い部分
    • は新たな情報新たな情報はは
    • 「はだ」と仮定したときに「新たな情報」がどれだけ「尤も（もっとも）らしい」かを数値化
  • おさらい
    • 白いうどん、白いそば
      • 「白い」が新しい情報で、「うどん」と「そば」が未定だった
  • 尤度（=知識を受け入れるときの解釈）の根拠は?
    • ある場合とない場合がある（次回は「ある場合」）
    • うどん/そばについては根拠は特にない
      • 、は講師が「経験で」なんとなく決めたもの（あとで議論）
機械学習（と統計）第5回

尤度の表記、性質

  • 新たな情報は: 「新たな情報」は確定しているので、「は」のほうをいろいろ変えると値が変わる条件のほうが変数になっている
    • おさまりが悪い
  • は新たな情報新たな情報はを考える
    • これが尤度の明示的な表現方法
  • 尤度は確率の要件を満たさなくてよい
    • 例: 白いうどん、白いそばは足しても1にならない
    • 確率で扱われているのは「新たな情報」の方
    • それでもベイズの定理は成立（なぜか考えてみましょう）
機械学習（と統計）第5回

事前分布の解釈

  • ある時点での知識の積み重ねや知識・意識の偏り

    • さきほどの例:
      • うどん: 40%、そば: 60%
      • 関西だとおそらく逆転

  • ある時点でのベイズの定理の結果


人によって異なる
機械学習（と統計）第5回

議論

  • これは数学なんだろうか?
    • 尤度の根拠がはっきりしない場合がある
    • 事前分布は人によって違う

  • 議論してみましょう
    • 数学なのにあんまり厳密じゃなさそうなのにこれでいいのか?
    • 逆にこれだからいいことは?
機械学習（と統計）第5回

知能の研究的によいところ（自然なところ）

  • エージェント（要は個々の人や人工知能）の癖を扱える
  • 尤度や事前分布が決まれば、その前提の上で正しい事後確率を計算できる

  • 統計学での議論は興味のある人が各自調べましょう
機械学習（と統計）第5回

まとめ

  • ベイズの定理
    • ある情報を知りたい情報の確率分布に反映させる方法（原理?）
      • 「学習」というものの本質?
    • 情報定理から導出できる
    • 尤度関数が媒介
    • まだそこまで便利だとは思えないかもしれない
  • 時間が余ったときの問題
機械学習（と統計）第5回