【簡単】ベクトル・行列の微分の基礎を完全解説

スカラ値関数やベクトル値関数を、ベクトルや行列で微分する際の概念や結果をまとめております。ラプラシアンやヘッセ行列との関係も扱っています。

ベクトル・行列の微分公式一覧はこちらから

本記事では、ベクトルと行列による微分の基本の説明をしています。

基本は知っており、公式だけが知りたい方は以下のチートシートをご覧ください。

それでは、以下の章からベクトルと行列の微分の基礎について解説します。

スカラ値関数のベクトル微分

列ベクトルで微分〜勾配〜

$f:\mathbb{R}^N\to\mathbb{R}$をN変数実数値関数とし、N変数(次元)ベクトル$\mathbf{x}=\begin{bmatrix}x_1,\cdots,x_N\end{bmatrix}^\top$で微分することを考える。

つまり、N変数スカラ値関数$y=f(x_1,x_2,\cdots,x_N)$をベクトル$\mathbf{x}$で微分する。

• スカラ値関数とは、結果が1変数になる、いわば中高で扱うような$y=f(・)$で表せる関数のこと。
  対して、ベクトル値関数はyがベクトルで、$\mathbf{y}=[y_1,\cdots,y_M]^\top=\mathbf{f}(・)$のように表せる関数をいう。

スカラ値関数$f$をN変数の列ベクトル$\mathbf{x}$で微分すると、その結果もN変数の列ベクトルとなる。

各要素は、スカラ値関数$f$を、微分に用いたベクトル$\mathbf{x}$の各要素それぞれについて微分したものとなる。

上記の演算は勾配演算とも呼び、以下の表記はいずれも同じ演算である。

つまり、

行ベクトルでの微分

行ベクトル$\mathbf{x}^\top$で微分すると、その結果も行ベクトルとなる。

先ほどと同様に、元の関数を微分に用いたベクトルの要素それぞれで微分したものになっている。

また、次が成り立つ。

ベクトルで2階微分〜ヘッセ行列〜

行ベクトルで微分した後、列ベクトルで微分したものをヘッセ行列(へシアン)という。

この演算は$\nabla$のテンソル積でも表現できる。

【補足】ラプラシアン

$\nabla^2$は$\nabla$と$\nabla$の内積で、この演算子をラプラシアンといい$\Delta$で表す。つまり、

ラプラシアンは次の演算を行う演算子である。

ベクトル値関数のベクトル値微分

$\mathbf{f}:\mathbb{R}^N\to\mathbb{R}^M$をベクトル値関数、$\mathbf{x}=\begin{bmatrix}x_1,\cdots,x_N\end{bmatrix}^\top$をN変数ベクトルとする。

つまり、次のように定義する。

ベクトルをベクトルで微分

ベクトルをベクトルで微分すると、行列になる。

ここで、行列には簡略的な表記法を使い、$n\times{m}$の行列を$\mathbf{A}=\begin{bmatrix}a_{i,j}\end{bmatrix}$と表記する。iが行、jが列を表している。

2つ目の行列をヤコビ行列(ヤコビアン)という。

スカラ値関数を行列で微分

$n\times{m}$の行列を$\mathbf{A}=\begin{bmatrix}a_{i,j}\end{bmatrix}$と簡略的に表記する。スカラ値関数$f$を行列$\mathbf{A}$で微分した値は、$\mathbf{A}$の各成分$a_{i,j}$で$f$を微分した行列となり、元の行列と同じ大きさとなる。

公式一覧

次のチートシートにまとめてあります。