カレーの恩返し

おいしいのでオススメ。

【PRML】演習問題 2.38 解答

二次形式を平方完成することで, (2.141)と(2.142)の結果を導出せよ.

この問題で使う数式

{  \mathcal N
\displaystyle
( x | \mu , \sigma ^ 2 ) = \frac{ 1 }{ ( 2 \pi \sigma ^ 2 ) ^ \frac{ 1 }{ 2 } } \exp \{ - \frac{ 1 }{ 2 \sigma ^ 2} ( x - \mu ) ^ 2 \} \tag{2.38}
}

{ \displaystyle
p ( \mathbf{ x } | \mu ) = \prod_{ n = 1 }^N p ( x_n | \mu )  =
\frac{ 1 }{ ( 2 \pi \sigma ^ 2 ) ^ \frac{ N }{ 2 } } \exp \{ - \frac{ 1 }{ 2 \sigma ^ 2} \sum_{ n = 1 } ^ N ( x_n - \mu ) ^ 2 \}  \tag{2.137}
}

{ \displaystyle
p ( \mu ) = \mathcal N ( \mu | \mu_0 , \sigma_0 ^ 2 ) \tag{2.138}
}

{ \displaystyle
p ( \mu | \mathbf{ x } ) \propto p ( \mathbf{ x } | \mu )  p ( \mu )  \tag{2.139}
}

{ \displaystyle
p ( \mu | \mathbf{ x } ) = \mathcal N ( \mu | \mu_N , \sigma_N ^ 2 ) \tag{2.140}
}

{ \displaystyle
\mu_N = \frac{ \sigma ^ 2}{ N \sigma_0 ^ 2 + \sigma ^ 2} \mu_0 + \frac{N \sigma_0 ^ 2}{ N \sigma_0 ^ 2 + \sigma ^ 2} \mu_{ML}   \tag{2.141}
}

{ \displaystyle
\frac{ 1 }{ \sigma_N ^ 2 } = \frac{ 1 }{ \sigma_0 ^ 2} + \frac{ N }{ \sigma ^ 2 }  \tag{2.142}
}

{ \displaystyle
\mu_{ML} = \frac{ 1 }{ N } \sum_{ n = 1 } ^ N x_n  \tag{2.143}
}


{ \displaystyle p ( \mu | \mathbf{ x } ) } を式変形し指数部を平方完成させて(2.141), (2.142) を導出する。

(2.139), (2.137), (2.138)より

{
\displaystyle
p ( \mu | \mathbf{ x } ) \propto p ( \mathbf{ x } | \mu )  p ( \mu ) = \prod_{ n = 1 }^N p ( x_n | \mu ) \mathcal N ( \mu | \mu_0 , \sigma_0 ^ 2 )
} {
\displaystyle
\qquad \quad = \frac{ 1 }{ ( 2 \pi \sigma ^ 2 ) ^ \frac{ N }{ 2 } } \exp \{ - \frac{ 1 }{ 2 \sigma ^ 2} \sum_{ n = 1 } ^ N ( x_n - \mu ) ^ 2 \} * \frac{ 1 }{ ( 2 \pi \sigma_0 ^ 2 ) ^ \frac{ 1 }{ 2 } } \exp \{ - \frac{ 1 }{ 2 \sigma_0 ^ 2} ( \mu - \mu_0 ) ^ 2 \}
} {
\displaystyle
\qquad \quad = \frac{ 1 }{ ( 2 \pi \sigma ^ 2 ) ^ \frac{ N }{ 2 } ( 2 \pi \sigma_0 ^ 2 ) ^ \frac{ 1 }{ 2 } } \exp \{ - \frac{ 1 }{ 2 \sigma ^ 2} \sum_{ n = 1 } ^ N ( x_n - \mu ) ^ 2 - \frac{ 1 }{ 2 \sigma_0 ^ 2} ( \mu - \mu_0 ) ^ 2 \}
}

指数部を { ( \mu - \mu_N ) ^ 2 } となるように平方完成させる。
また、{ p ( \mu | \mathbf{ x } ) }{ p ( \mathbf{ x } | \mu )  p ( \mu ) } は比例関係であるため{ \mu }と無関係な指数部は定数として無視できる。

指数部を取り出し展開させていくと

{
\displaystyle
\qquad \quad - \frac{ 1 }{ 2 \sigma ^ 2} \sum_{ n = 1 } ^ N ( x_n - \mu ) ^ 2 - \frac{ 1 }{ 2 \sigma_0 ^ 2} ( x - \mu_0 ) ^ 2
} {
\displaystyle
\qquad \quad = - \frac{ 1 }{ 2 \sigma ^ 2} \sum_{ n = 1 } ^ N ( x_n ^ 2 - 2 x_n \mu + \mu ^ 2 ) - \frac{ 1 }{ 2 \sigma_0 ^ 2} ( \mu ^ 2 - 2 \mu_0 \mu + \mu_0 ^ 2 )
} {
\displaystyle
\qquad \quad = - ( \frac{ N }{ 2 \sigma ^ 2} + \frac{1}{2 \sigma_0 ^ 2 } ) \mu ^ 2 + ( \frac{1}{\sigma ^ 2} \sum_{n=1}^N x_n + \frac{\mu_0}{\sigma_0 ^2} ) \mu +  \underbrace{( - \frac{1}{2 \sigma ^2} \sum_{n=1}^N x_n ^ 2 - \frac{1}{2 \sigma_0 ^2} \mu_0 ^2 )}_{const.}
} {
\displaystyle
\qquad \quad = - ( \frac{ N }{ 2 \sigma ^ 2} + \frac{1}{2 \sigma_0 ^ 2 } ) \{ \mu ^ 2 - \frac{1}{\frac{ N }{ 2 \sigma ^ 2} + \frac{1}{x \sigma_0 ^ 2 }} ( \frac{1}{\sigma ^ 2} \sum_{n=1}^N x_n + \frac{\mu_0}{\sigma_0 ^2} ) \mu + const. \}
} {
\displaystyle
\qquad \quad = - ( \frac{ N }{ 2 \sigma ^ 2} + \frac{1}{2 \sigma_0 ^ 2 } ) \{ \mu ^ 2 - 2 * \frac{\sigma_0 ^2 \sum_{n=1}^N x_n + \sigma ^2 \mu_0 }{ N \sigma_0 ^ 2 + \sigma ^2}  \mu + const. \}
} {
\displaystyle
\qquad \quad = - ( \frac{ N }{ 2 \sigma ^ 2} + \frac{1}{2 \sigma_0 ^ 2 } ) \{ \mu - \frac{\sigma_0 ^2 \sum_{n=1}^N x_n + \sigma ^2 \mu_0 }{ N \sigma_0 ^ 2 + \sigma ^2} \} ^ 2
} {
\displaystyle
\qquad \quad = - ( \frac{ N }{ 2 \sigma ^ 2} + \frac{1}{2 \sigma_0 ^ 2 } ) \{ \mu - \frac{\sigma ^2}{ N \sigma_0 ^ 2 + \sigma ^2} \mu_0 + \frac{\sigma_0 ^2 \sum_{n=1}^N x_n }{N \sigma_0 ^ 2 + \sigma ^2 } \} ^ 2
} {
\displaystyle
\qquad \quad = - ( \frac{ N }{ 2 \sigma ^ 2} + \frac{1}{2 \sigma_0 ^ 2 } ) \{ \mu - \{ \frac{\sigma ^2}{ N \sigma_0 ^ 2 + \sigma ^2} \mu_0 + \frac{ N \sigma_0 ^2  }{N \sigma_0 ^ 2 + \sigma ^2 } \frac{1}{N} \sum_{n=1}^N x_n \} \} ^ 2
}

(2.143)より

{
\displaystyle
\qquad \quad = - \frac{1}{2} ( \frac{ N }{ \sigma ^ 2} + \frac{1}{ \sigma_0 ^ 2 } ) \{ \mu - \{ \frac{\sigma ^2}{ N \sigma_0 ^ 2 + \sigma ^2} \mu_0 + \frac{ N \sigma_0 ^2  }{N \sigma_0 ^ 2 + \sigma ^2 } \mu_{ML} \} \} ^ 2
}

{
\displaystyle
\frac{1}{\sigma_N ^ 2} = - ( \frac{ N }{ \sigma ^ 2} + \frac{1}{ \sigma_0 ^ 2 } ) , \mu_N = \frac{\sigma ^2}{ N \sigma_0 ^ 2 + \sigma ^2} \mu_0 + \frac{ N \sigma_0 ^2  }{N \sigma_0 ^ 2 + \sigma ^2 } \mu_{ML}
} とおくと

{
\displaystyle
\qquad \quad = - \frac{1}{2 \sigma_N ^ 2} \{ \mu - \mu_N \} ^ 2 = \mathcal N ( \mu | \mu_N , \sigma_N ^ 2 )
}

となり(2.140)と等しくなるので(2.141), (2.142)を導出できた。