プログラミングの備忘録と情報発信

数学の記事一覧

ベクトル・行列の微分チートシート

ベクトル・行列の微分の公式をまとめたチートシートです。

スカラ値関数やベクトル値関数を、ベクトルや行列で微分する際の概念や結果をまとめております。

カーネルリッジ回帰の数式を導出・解説します。流れが詳しくわかるよう、丁寧に式変形するよう心がけております。

リッジ回帰の数式を導出・解説します。流れが詳しくわかるよう、丁寧に式変形するよう心がけております。まずは通常の回帰の数式の導出から始め、リッジ回帰の数式の理解につなげます。

カーネル主成分分析(PCA)の数式を導出・解説します。式変形の流れが詳しくわかるよう、丁寧に導出するよう心がけております。

主成分分析(PCA)の数式を導出・解説します。式変形の流れが詳しくわかるよう、丁寧に導出するよう心がけております。

サポートベクターマシン(SVM)の数学を高校数学の知識があれば理解できるよう解説しています。マージンの概念から初めて目的関数に双対問題、決定関数を導出するまでの式変形を細部に至るまで全て記載しています。ソフトマージンSVMのスラック変数についても解説しています。

「多変数・N変数のラグランジュの未定乗数法」とその解き方を、「等式制約」の場合と「不等式制約」の場合に分けて解説します。さらに「不等式制約」について2次計画問題と呼ばれるものについて説明します。

この記事ではN次元空間における「超曲面と等高線(等値面)の法線ベクトル」の公式について、図と例を用いて直感的に分かりやすく説明しています。大学の初等数学が分かれば読める内容となっています。これが理解できれば、ラグランジュの未定乗数法や機械学習にも応用できます。

微分は高校生でも習いますが、機械学習で出てくる微分の理解には大学数学の知識が必要です。しかし0から大学数学の微積分を学ぼうとするのは遠回りかもしれません。この記事では機械学習で出てくる微分の必要最低限の知識をまとめます。