【読書メモ】フリーソフトでつくる音声認識システム（荒木 雅弘）

フリーソフトでつくる音声認識システム パターン認識・機械学習の初歩から対話システムまで

実際に活用するためには，「数式で表すとどうなるか」を整理する必要があると感じました．そこで，計算方法の整理や，省略されている計算の補足をします．

かなりわかりやすく書かれているので，補足することはあまりないかもしれませんが．

第3章：パターンの特徴を調べよう

一連の例題を整理

後で使われる，整理された記法に書き直す．

標準化

パターン行列

\begin{aligned}
\boldsymbol{X}
=
\begin{pmatrix}
\boldsymbol{x}_{1}^{T} \\
\boldsymbol{x}_{2}^{T} \\
\boldsymbol{x}_{3}^{T} \\
\boldsymbol{x}_{4}^{T}
\end{pmatrix}
=
\begin{pmatrix}
3&2 \\
3&4 \\
5&4 \\
5&6
\end{pmatrix}
\end{aligned}

を考える．平均ベクトルは

\begin{aligned}
\boldsymbol{m}
=\frac{1}{4}\sum_{i=1}^{4} \boldsymbol{x}_{i}
=
\begin{pmatrix}
4 \\
4
\end{pmatrix}
\end{aligned}

で与えられる．ここで，

\begin{aligned}
\boldsymbol{M}=
\begin{pmatrix}
\boldsymbol{m}^{T} \\
\boldsymbol{m}^{T} \\
\boldsymbol{m}^{T} \\
\boldsymbol{m}^{T}
\end{pmatrix}
\end{aligned}

とすれば

\begin{aligned}
\boldsymbol{X}-\boldsymbol{M}
=
\begin{pmatrix}
(\boldsymbol{x}_{1}-\boldsymbol{m})^{T} \\
(\boldsymbol{x}_{2}-\boldsymbol{m})^{T} \\
(\boldsymbol{x}_{3}-\boldsymbol{m})^{T} \\
(\boldsymbol{x}_{4}-\boldsymbol{m})^{T}
\end{pmatrix}
=
\begin{pmatrix}
-1&-2 \\
-1&0 \\
1&0 \\
1&2
\end{pmatrix}
\end{aligned}

である．よって，共分散行列は

\begin{aligned}
\boldsymbol{\Sigma}
&=
\begin{pmatrix}
\sigma_{1}^{2} & \mathrm{Cov}() \\
\mathrm{Cov}() & \sigma_{2}^{2}
\end{pmatrix}\\
&=\frac{1}{4} (\boldsymbol{X}-\boldsymbol{M})^{T} (\boldsymbol{X}-\boldsymbol{M}) \\
&=
\begin{pmatrix}
1&1\\
1&2
\end{pmatrix}
\end{aligned}

と計算できる．

以上より，

\begin{aligned}
\boldsymbol{A}
&=
\begin{pmatrix}
1/\sigma_{1} & 0 \\
0 & 1/\sigma_{2}
\end{pmatrix}
=
\begin{pmatrix}
1&0\\
0&1/\sqrt{2}
\end{pmatrix}
\end{aligned}

を用いて，標準化されたデータは

\begin{aligned}
\boldsymbol{X}^{\prime}
&=(\boldsymbol{X}-\boldsymbol{M}) \boldsymbol{A} \\
&=
\begin{pmatrix}
(\boldsymbol{x}_{1}-\boldsymbol{m})_{1}^{T}/\sigma_{1} & (\boldsymbol{x}_{1}-\boldsymbol{m})_{2}^{T}/\sigma_{2} \\
(\boldsymbol{x}_{2}-\boldsymbol{m})_{1}^{T}/\sigma_{1} & (\boldsymbol{x}_{2}-\boldsymbol{m})_{2}^{T}/\sigma_{2} \\
(\boldsymbol{x}_{3}-\boldsymbol{m})_{1}^{T}/\sigma_{1} & (\boldsymbol{x}_{3}-\boldsymbol{m})_{2}^{T}/\sigma_{2} \\
(\boldsymbol{x}_{4}-\boldsymbol{m})_{1}^{T}/\sigma_{1} & (\boldsymbol{x}_{4}-\boldsymbol{m})_{2}^{T}/\sigma_{2}
\end{pmatrix} \\
&=
\begin{pmatrix}
-1 & -\sqrt{2} \\
-1 & 0 \\
1 & 0 \\
1 & \sqrt{2}
\end{pmatrix}
\end{aligned}

となる．

主成分分析

標準化したデータの共分散行列は，平均ベクトルがゼロベクトルになるので

\begin{aligned}
\boldsymbol{\Sigma}^{\prime}
&=\frac{1}{4} \boldsymbol{X}^{\prime \,T} \boldsymbol{X}^{\prime} \\
&=
\begin{pmatrix}
1&1/\sqrt{2}\\
1/\sqrt{2}&1
\end{pmatrix}
\end{aligned}

となる．以下，例題3.4と同じ．

第4章：パターンを識別しよう

例題4.1

ベクトル

\begin{aligned}
\boldsymbol{p}_{2} - \boldsymbol{p}_{1}
=
\begin{pmatrix}
6 \\
-4
\end{pmatrix}
\end{aligned}

に直交するベクトル$\boldsymbol{v}$は，

\begin{aligned}
(\boldsymbol{p}_{2} - \boldsymbol{p}_{1})
\cdot\boldsymbol{v}
=0
\end{aligned}

で与えられる．

特に，$\boldsymbol{x}$が2点$\boldsymbol{p}_{1},\boldsymbol{p}_{2}$の垂直二等分線であるとき，上式を満たす$\boldsymbol{v}$によって

\begin{aligned}
\boldsymbol{x}
&=\frac{\boldsymbol{p}_{1} + \boldsymbol{p}_{2}}{2}
+ \boldsymbol{v} \\
&=
\begin{pmatrix}
5 \\
6
\end{pmatrix} + \boldsymbol{v}
\end{aligned}

と分解できる．

よって，$\boldsymbol{p}_{1},\boldsymbol{p}_{2}$の垂直二等分線の方程式は

\begin{aligned}
6x_{1}-4x_{2}
&=(\boldsymbol{p}_{2} - \boldsymbol{p}_{1}) \cdot \boldsymbol{x} \\
&=
\begin{pmatrix}
6 \\
-4
\end{pmatrix}\cdot
\begin{pmatrix}
5 \\
6
\end{pmatrix} \\
&=6
\end{aligned}

すなわち，$3x_{1}-2x_{2}=3$となる．//