ベクトル・行列の微分の公式をまとめたチートシートです。
前提
fはスカラ値関数、小文字の太文字アルファベットはベクトル、大文字の太文字アルファベットは行列とします。
スカラによる微分
∂x∂(AB)=∂x∂AB+A∂x∂B
∂x∂(A−1)=−A−1∂x∂AA−1
∂x∂ln∣A∣=tr(A−1∂x∂A)
ベクトルによる微分
内積の微分
∂x∂(x⊤y)=y
∂x⊤∂(x⊤y)=y⊤
一次形式・一次式の微分
∂x∂(Ax)=A⊤
∂x⊤∂(Ax)=A
∂x∂(x⊤A)=A
∂x∂(x⊤A⊤)=A⊤
∂x∂(Ax+b)=A⊤
∂x∂(y⊤Ax)=A⊤y
∂y∂(y⊤Ax)=Ax
二次形式・二次式の微分
∂x∂(x⊤Ax)=(A+A⊤)x
∂x⊤∂(x⊤Ax)=x⊤(A+A⊤)
∂x∂x⊤∂2(x⊤Ax)=A+A⊤
∂x∂2∥Ax+b∥2=2A⊤(Ax+b)
行列による微分
∂A∂tr(AB)=B⊤
∂A∂tr(A⊤B)=B
∂A∂tr(A)=I
∂A∂tr(ABA⊤)=A(B+B⊤)
∂A∂ln∣A∣=(A−1)⊤
一般的な関数のベクトル・行列による微分
次の記事でベクトル・行列の微分の基礎を解説し、より一般的な公式もいくつか掲載しております。
